RunSummaryJsonExporter
Run Summary JSON Exporter
Liquid Biopsy жидкостная биопсия cfDNA ctDNA CTC exosomes NGS qPCR
Открыть подборкуОписание утилиты: Run Summary JSON Exporter
Run Summary JSON Exporter — Генерация и валидация стандартизированных JSON-отчетов по запускам
ℹ️ Утилита обеспечивает машиночитаемый экспорт run summaries согласно CAP/CLIA §GEN.48800, ISO 15189 §7.4, HL7 FHIR Genomics, GA4GH Run Metadata Schema и FDA 21 CFR Part 11:
СТРУКТУРА RUN SUMMARY JSON (9 ОБЯЗАТЕЛЬНЫХ СЕКЦИЙ):
• run_metadata: ID, assay, platform, instrument, operator, timestamps, reagent lot, pipeline version, reference genome.
• pre_analytical_summary: Received/accepted/rejected counts, rejection reasons, mean input, below-threshold count.
• sequencing_summary: Total reads, Q30, cluster density, PF%, phiX error rate, index hopping.
• enrichment_summary: On-target rate, uniformity, mean depth, fold-80, critical regions coverage.
• variant_calling_summary: Total/passed/filtered variants, SNV/indel/CNV/fusion counts, mean VAF, UMI dedup rate.
• interpretation_summary: Reportable/Tier I/Tier II/VUS/resistance/SF counts, MSI status, TMB score.
• qc_decisions: Run QC status, sample pass/fail/flag counts, controls status, lot verification.
• signout_summary: Reports generated/signed/pending, signer, timestamp, SLA/TAT compliance.
• audit_trail: Total events, modifications, overrides, amendments, reason completeness, compliance standard.
ВАЛИДАЦИЯ ЭКСПОРТА:
• Schema Version: Поддержка 3.0.0, 3.1.0, 3.2.0 с semantic versioning.
• JSON Syntax: Парсинг без ошибок.
• Required Sections: Все 9 секций обязательны; пропуск = EXPORT_FAILED.
• Numeric Fields: Отсутствие NaN, Infinity, недопустимых отрицательных значений.
• Timestamps: ISO 8601 UTC формат для кросс-системной интероперабельности.
• Audit Trail: Полнота событий, наличие причин для всех модификаций.
• Cross-Section Consistency: Согласованность счетчиков между секциями.
• Size & Compatibility: Рекомендованный лимит 5 MB, backward compatibility flag.
⚠️ ВАЖНО:
• Run summary JSON — ЕДИНЫЙ ИСТОЧНИК ПРАВДЫ о запуске для всех downstream систем.
• Отсутствие audit trail = НАРУШЕНИЕ 21 CFR Part 11 и ISO 15189; экспорт должен быть заблокирован.
• Cross-section несогласованность (например, passed > total) указывает на баг в пайплайне сбора.
• Schema versioning обязателен; breaking changes требуют major version bump.
• Timestamps ДОЛЖНЫ быть в UTC; локальные часовые пояса создают проблемы при аудите.
• Null в обязательных полях = неполный экспорт; источник данных должен быть проверен.
• Размер >5 MB может вызвать таймауты в REST API; используйте пагинацию или сжатие.
• Backward compatibility должна быть явно декларирована; потребители должны быть уведомлены.
Использование:
RunSummaryJsonExporter.exe → демо-режим (вывод в консоль)
RunSummaryJsonExporter.exe input.csv output.json → оценка ваших данных
📍 Область применения:
• LIMS/LIS интеграция: Автоматический импорт метрик запуска.
• EHR/FHIR: Генерация Genomics Reporting ресурсов.
• Регуляторный аудит: Машиночитаемая документация по каждому запуску.
• QA Dashboard: Агрегация трендов по множеству запусков.
• Multi-site networks: Стандартизированный обмен данными между лабораториями.
• Bioinformatics pipeline monitoring: Автоматическая проверка целостности выхода.
💡 Советы:
1. Schema Registry: Ведите централизованный реестр схем с changelog для каждой версии.
2. Validation Library: Вынесите валидацию в переиспользуемую библиотеку; не дублируйте в каждом экспортере.
3. Compression: Для больших запусков поддерживайте gzip/brotli с Content-Encoding header.
4. Idempotency: Экспорт одного и того же run_id должен давать идентичный JSON (детерминированная сериализация).
5. Consumer Testing: При каждом изменении схемы тестируйте со всеми известными потребителями.
⚠️ Примечание: Утилита валидирует СТРУКТУРУ И СОГЛАСОВАННОСТЬ JSON-экспорта. Она не проверяет научную корректность метрик внутри. Корректность данных обеспечивается upstream QC-утилитами (NgsRunQcChecker, PanelCoverageQcChecker и др.). Run summary — это транспортный формат, не инструмент принятия решений.input.csv
RunId,AssayName,Platform,SchemaVersion,JsonSyntaxValid,HasRunMetadata,HasPreAnalytical,HasSequencing,HasEnrichment,HasVariantCalling,HasInterpretation,HasQcDecisions,HasSignout,HasAuditTrail,NumericFieldsValid,TimestampsIso8601,AuditTrailComplete,CrossSectionConsistent,JsonSizeKb,NullRequiredFields,BackwardCompatible RUN-2026-0142,NSCLC_CGP_Panel,NovaSeq_6000,3.2.0,true,true,true,true,true,true,true,true,true,true,true,true,true,true,48.5,0,true RUN-2026-0143,BRCA1_2_Germline,NextSeq_2000,3.2.0,true,true,true,true,false,true,true,true,true,false,false,false,false,false,32.1,4,false
URS & FS — спецификация пользователя и функциональная спецификация
Документ описывает контролируемый интерфейс и поведение утилиты RunSummaryJsonExporter для сценария Run Summary JSON Exporter.
Предметные ограничения и критические параметры
Ниже приведены ключевые фрагменты исходного описания. Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- ℹ️ Утилита обеспечивает машиночитаемый экспорт run summaries согласно CAP/CLIA §GEN.48800, ISO 15189 §7.4, HL7 FHIR Genomics, GA4GH Run Metadata Schema и FDA 21 CFR Part 11:
- • enrichment_summary: On-target rate, uniformity, mean depth, fold-80, critical regions coverage.
- • Timestamps: ISO 8601 UTC формат для кросс-системной интероперабельности.
- ⚠️ ВАЖНО:
- • Отсутствие audit trail = НАРУШЕНИЕ 21 CFR Part 11 и ISO 15189; экспорт должен быть заблокирован.
- • Cross-section несогласованность (например, passed > total) указывает на баг в пайплайне сбора.
- • Размер >5 MB может вызвать таймауты в REST API; используйте пагинацию или сжатие.
- 4. Idempotency: Экспорт одного и того же run_id должен давать идентичный JSON (детерминированная сериализация).
URS — пользовательские требования
| ID | Требование | Критичность | Критерий приемки |
|---|---|---|---|
| URS-001 | Утилита должна принимать файл input.csv для Run Summary JSON Exporter с заголовками, определёнными в контракте данных. | High | Файл обрабатывается без ручного изменения заголовков. |
| URS-002 | Утилита должна выполнять детерминированную оценку QC/ОКК без машинного обучения и без вероятностного принятия решения о соответствии. | High | При одинаковых входных данных, версии правил и конфигурации результат полностью воспроизводим. |
| URS-003 | Утилита должна валидировать обязательные поля, типы данных, диапазоны, единицы измерения и предметную правдоподобность значений. | High | Ошибки схемы, преобразования и диапазона явно отражаются в результате. |
| URS-004 | Утилита должна применять предметные пределы и правила из описания, утверждённой спецификации, регистрационного досье и локальных SOP. | High | Каждая проверка имеет результат PASS/WARNING/FAIL и понятное сообщение. |
| URS-005 | Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями, отказами и критическими находками. | High | JSON пригоден для LIMS/ELN/MES-интеграции и QA/QC review. |
| URS-006 | Утилита должна сохранять трассируемость между серией/образцом, входным файлом, применёнными правилами и итоговым статусом. | High | Выход содержит идентификаторы, список параметров и audit metadata. |
| URS-007 | Документация должна поддерживать подготовку IQ/OQ/PQ, CSV/CSA и обсуждение с инспекторами или внутренним QA. | Medium | URS, FS, контракт input/output и тестовые сценарии поставляются вместе с утилитой. |
| URS-008 | Утилита должна использоваться как decision-support инструмент QC, а не как замена утверждённым спецификациям и выпускному решению Qualified Person/QA. | Medium | В документации указан контроль change control и необходимость сверки пределов. |
Контракт input.csv
| # | Поле | Тип | Пример | Назначение |
|---|---|---|---|---|
| 1 | RunId | string / controlled vocabulary | RUN-2026-0142 | Контролируемый входной параметр для детерминированных QC-правил. |
| 2 | AssayName | string / controlled vocabulary | NSCLC_CGP_Panel | Контролируемый входной параметр для детерминированных QC-правил. |
| 3 | Platform | string / controlled vocabulary | NovaSeq_6000 | Контролируемый входной параметр для детерминированных QC-правил. |
| 4 | SchemaVersion | string / controlled vocabulary | 3.2.0 | Контролируемый входной параметр для детерминированных QC-правил. |
| 5 | JsonSyntaxValid | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 6 | HasRunMetadata | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 7 | HasPreAnalytical | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 8 | HasSequencing | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 9 | HasEnrichment | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 10 | HasVariantCalling | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 11 | HasInterpretation | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 12 | HasQcDecisions | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 13 | HasSignout | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 14 | HasAuditTrail | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 15 | NumericFieldsValid | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 16 | TimestampsIso8601 | string / controlled vocabulary | true | Временной параметр процесса, инкубации, хранения или анализа. |
| 17 | AuditTrailComplete | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 18 | CrossSectionConsistent | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
| 19 | JsonSizeKb | decimal | 48.5 | Контролируемый входной параметр для детерминированных QC-правил. |
| 20 | NullRequiredFields | decimal | 0 | Контролируемый входной параметр для детерминированных QC-правил. |
| 21 | BackwardCompatible | string / controlled vocabulary | true | Контролируемый входной параметр для детерминированных QC-правил. |
RunId,AssayName,Platform,SchemaVersion,JsonSyntaxValid,HasRunMetadata,HasPreAnalytical,HasSequencing,HasEnrichment,HasVariantCalling,HasInterpretation,HasQcDecisions,HasSignout,HasAuditTrail,NumericFieldsValid,TimestampsIso8601,AuditTrailComplete,CrossSectionConsistent,JsonSizeKb,NullRequiredFields,BackwardCompatible RUN-2026-0142,NSCLC_CGP_Panel,NovaSeq_6000,3.2.0,true,true,true,true,true,true,true,true,true,true,true,true,true,true,48.5,0,true RUN-2026-0143,BRCA1_2_Germline,NextSeq_2000,3.2.0,true,true,true,true,false,true,true,true,true,false,false,false,false,false,32.1,4,false
Правила валидации входных данных
| ID | Поле | Правило | Критичность |
|---|---|---|---|
| VR-001 | RunId | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-002 | AssayName | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-003 | Platform | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-004 | SchemaVersion | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-005 | JsonSyntaxValid | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-006 | HasRunMetadata | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-007 | HasPreAnalytical | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-008 | HasSequencing | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-009 | HasEnrichment | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-010 | HasVariantCalling | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-011 | HasInterpretation | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-012 | HasQcDecisions | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-013 | HasSignout | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-014 | HasAuditTrail | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-015 | NumericFieldsValid | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-016 | TimestampsIso8601 | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-017 | AuditTrailComplete | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-018 | CrossSectionConsistent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-019 | JsonSizeKb | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-020 | NullRequiredFields | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-021 | BackwardCompatible | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
FS — функциональная спецификация
| ID | Функция | Реализация |
|---|---|---|
| FS-001 | CLI execution | Поддержать режимы запуска: demo mode без аргументов и production mode input.csv output.json. |
| FS-002 | CSV import | Прочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок. |
| FS-003 | Schema validation | Проверить обязательные поля, количество колонок, неизвестные ключевые поля и пустые обязательные значения. |
| FS-004 | Type conversion | Преобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки. |
| FS-005 | Domain rule engine | Применить правила для Run Summary JSON Exporter, включая критические пределы из описания и утверждённой спецификации. |
| FS-006 | Status aggregation | Сформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии. |
| FS-007 | JSON export | Записать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings. |
| FS-008 | Audit support | Сохранять структуру результата пригодной для review, расследования отклонений и воспроизведения расчёта. |
| FS-009 | Integration contract | Поддержать сценарий LIMS/ELN/MES → input.csv → utility → output.json → portal/admin review. |
| FS-010 | Error handling | Возвращать явные сообщения для отсутствующего файла, пустого CSV, неверной схемы, ошибки записи output.json и некорректного формата. |
Пример output.json
{
"utilityId": "runsummaryjsonexporter",
"utilityFolder": "RunSummaryJsonExporter",
"package": "LiquidBiopsy",
"overallStatus": "PASS|WARNING|FAIL",
"sourceFile": "input.csv",
"processedAtUtc": "2026-06-10T00:00:00Z",
"checks": [
{
"parameter": "RunId",
"value": "RUN-2026-0142",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-001"
},
{
"parameter": "AssayName",
"value": "NSCLC_CGP_Panel",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-002"
},
{
"parameter": "Platform",
"value": "NovaSeq_6000",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-003"
},
{
"parameter": "SchemaVersion",
"value": "3.2.0",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-004"
},
{
"parameter": "JsonSyntaxValid",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-005"
},
{
"parameter": "HasRunMetadata",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-006"
},
{
"parameter": "HasPreAnalytical",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-007"
},
{
"parameter": "HasSequencing",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-008"
},
{
"parameter": "HasEnrichment",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-009"
},
{
"parameter": "HasVariantCalling",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-010"
},
{
"parameter": "HasInterpretation",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-011"
},
{
"parameter": "HasQcDecisions",
"value": "true",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-012"
}
],
"criticalFindings": [],
"warnings": [],
"audit": {
"inputHash": "sha256:<calculated at runtime>",
"rulesVersion": "<utility executable version>",
"documentation": "RunSummaryJsonExporter.documentation.html"
}
}
Матрица трассируемости
| URS | FS | Тест | Подтверждение |
|---|---|---|---|
| URS-001 | FS-001, FS-002 | OQ-001 | Проверить запуск и импорт валидного input.csv. |
| URS-002 | FS-005, FS-006 | OQ-004 | Повторить один и тот же набор данных и сравнить output.json. |
| URS-003 | FS-003, FS-004, FS-010 | OQ-002, OQ-003 | Проверить отсутствующие колонки и неверные типы. |
| URS-004 | FS-005, FS-006 | OQ-004, PQ-001 | Проверить критические отклонения по реальным/граничным данным. |
| URS-005 | FS-007, FS-009 | OQ-005 | Проверить JSON schema и пригодность для downstream-систем. |
| URS-006 | FS-008 | OQ-006 | Проверить наличие идентификаторов и audit metadata. |
| URS-007 | FS-008, FS-010 | IQ-001, OQ-007 | Проверить комплектность документации и control evidence. |
| URS-008 | FS-005, FS-008 | PQ-002 | Проверить review workflow и запрет автоматической замены QA-решения. |
IQ/OQ/PQ тестовые сценарии
| ID | Сценарий | Ожидаемый результат |
|---|---|---|
| IQ-001 | Проверить наличие executable, input.csv, документации и контрольной суммы. | Комплект поставки полон; версия зафиксирована. |
| OQ-001 | Валидная строка из примера input.csv. | PASS или допустимый WARNING согласно правилам. |
| OQ-002 | Удалить обязательную колонку из CSV. | Ошибка схемы или FAIL с указанием отсутствующей колонки. |
| OQ-003 | Внести нечисловое значение в числовое поле. | Ошибка преобразования типа с указанием строки/поля. |
| OQ-004 | Значение критического параметра вывести за предел. | FAIL и critical finding. |
| OQ-005 | Проверить структуру output.json. | Все обязательные секции присутствуют, JSON валиден. |
| OQ-006 | Проверить трассируемость серии/образца. | Идентификаторы входа и результатов совпадают. |
| PQ-001 | Проверить 3–5 реальных партий/образцов пользователя. | Результат подтверждён QC/QA review. |
| PQ-002 | Проверить workflow отклонения и ручного QA-решения. | Утилита поддерживает review, но не заменяет утверждённое решение. |
QA/QC и change control
- Не менять имена колонок без обновления валидатора, документации и тестового набора.
- Хранить
input.csv,output.json, версию исполняемого файла и контрольную сумму. - Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
- Критические пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- Утилита предоставляет формализованный QC decision support, но окончательное решение выпуска остаётся за QA/QP и утверждёнными процедурами.
Входит в пакеты
Биофармацевтика расширенная
Расширенный coverage-пакет QC-утилит для mAb, биоаналогов, белков, инсулинов, вакцин, mRNA/LNP, HCP, стерильного выпуска, микробиологии, воды, cleanroom и стабильности.
ОткрытьЖидкостная биопсия
Пакет для QC и преданалитического контроля жидкостной биопсии: cfDNA/ctDNA, CTC, EV/exosomes, метилирование, NGS/qPCR/ddPCR, контроль образцов, контаминации, чувствительности и отчётности.
Открыть