RunSummaryJsonExporter

Run Summary JSON Exporter

Liquid Biopsy жидкостная биопсия cfDNA ctDNA CTC exosomes NGS qPCR
Открыть подборку

Описание утилиты: Run Summary JSON Exporter

Run Summary JSON Exporter — Генерация и валидация стандартизированных JSON-отчетов по запускам

ℹ️  Утилита обеспечивает машиночитаемый экспорт run summaries согласно CAP/CLIA §GEN.48800, ISO 15189 §7.4, HL7 FHIR Genomics, GA4GH Run Metadata Schema и FDA 21 CFR Part 11:

     СТРУКТУРА RUN SUMMARY JSON (9 ОБЯЗАТЕЛЬНЫХ СЕКЦИЙ):
     • run_metadata: ID, assay, platform, instrument, operator, timestamps, reagent lot, pipeline version, reference genome.
     • pre_analytical_summary: Received/accepted/rejected counts, rejection reasons, mean input, below-threshold count.
     • sequencing_summary: Total reads, Q30, cluster density, PF%, phiX error rate, index hopping.
     • enrichment_summary: On-target rate, uniformity, mean depth, fold-80, critical regions coverage.
     • variant_calling_summary: Total/passed/filtered variants, SNV/indel/CNV/fusion counts, mean VAF, UMI dedup rate.
     • interpretation_summary: Reportable/Tier I/Tier II/VUS/resistance/SF counts, MSI status, TMB score.
     • qc_decisions: Run QC status, sample pass/fail/flag counts, controls status, lot verification.
     • signout_summary: Reports generated/signed/pending, signer, timestamp, SLA/TAT compliance.
     • audit_trail: Total events, modifications, overrides, amendments, reason completeness, compliance standard.

     ВАЛИДАЦИЯ ЭКСПОРТА:
     • Schema Version: Поддержка 3.0.0, 3.1.0, 3.2.0 с semantic versioning.
     • JSON Syntax: Парсинг без ошибок.
     • Required Sections: Все 9 секций обязательны; пропуск = EXPORT_FAILED.
     • Numeric Fields: Отсутствие NaN, Infinity, недопустимых отрицательных значений.
     • Timestamps: ISO 8601 UTC формат для кросс-системной интероперабельности.
     • Audit Trail: Полнота событий, наличие причин для всех модификаций.
     • Cross-Section Consistency: Согласованность счетчиков между секциями.
     • Size & Compatibility: Рекомендованный лимит 5 MB, backward compatibility flag.

⚠️  ВАЖНО:
     • Run summary JSON — ЕДИНЫЙ ИСТОЧНИК ПРАВДЫ о запуске для всех downstream систем.
     • Отсутствие audit trail = НАРУШЕНИЕ 21 CFR Part 11 и ISO 15189; экспорт должен быть заблокирован.
     • Cross-section несогласованность (например, passed > total) указывает на баг в пайплайне сбора.
     • Schema versioning обязателен; breaking changes требуют major version bump.
     • Timestamps ДОЛЖНЫ быть в UTC; локальные часовые пояса создают проблемы при аудите.
     • Null в обязательных полях = неполный экспорт; источник данных должен быть проверен.
     • Размер >5 MB может вызвать таймауты в REST API; используйте пагинацию или сжатие.
     • Backward compatibility должна быть явно декларирована; потребители должны быть уведомлены.

Использование:
  RunSummaryJsonExporter.exe                            → демо-режим (вывод в консоль)
  RunSummaryJsonExporter.exe input.csv output.json      → оценка ваших данных

📍 Область применения:
     • LIMS/LIS интеграция: Автоматический импорт метрик запуска.
     • EHR/FHIR: Генерация Genomics Reporting ресурсов.
     • Регуляторный аудит: Машиночитаемая документация по каждому запуску.
     • QA Dashboard: Агрегация трендов по множеству запусков.
     • Multi-site networks: Стандартизированный обмен данными между лабораториями.
     • Bioinformatics pipeline monitoring: Автоматическая проверка целостности выхода.

💡 Советы:
1. Schema Registry: Ведите централизованный реестр схем с changelog для каждой версии.
2. Validation Library: Вынесите валидацию в переиспользуемую библиотеку; не дублируйте в каждом экспортере.
3. Compression: Для больших запусков поддерживайте gzip/brotli с Content-Encoding header.
4. Idempotency: Экспорт одного и того же run_id должен давать идентичный JSON (детерминированная сериализация).
5. Consumer Testing: При каждом изменении схемы тестируйте со всеми известными потребителями.

⚠️ Примечание: Утилита валидирует СТРУКТУРУ И СОГЛАСОВАННОСТЬ JSON-экспорта. Она не проверяет научную корректность метрик внутри. Корректность данных обеспечивается upstream QC-утилитами (NgsRunQcChecker, PanelCoverageQcChecker и др.). Run summary — это транспортный формат, не инструмент принятия решений.

input.csv

RunId,AssayName,Platform,SchemaVersion,JsonSyntaxValid,HasRunMetadata,HasPreAnalytical,HasSequencing,HasEnrichment,HasVariantCalling,HasInterpretation,HasQcDecisions,HasSignout,HasAuditTrail,NumericFieldsValid,TimestampsIso8601,AuditTrailComplete,CrossSectionConsistent,JsonSizeKb,NullRequiredFields,BackwardCompatible
RUN-2026-0142,NSCLC_CGP_Panel,NovaSeq_6000,3.2.0,true,true,true,true,true,true,true,true,true,true,true,true,true,true,48.5,0,true
RUN-2026-0143,BRCA1_2_Germline,NextSeq_2000,3.2.0,true,true,true,true,false,true,true,true,true,false,false,false,false,false,32.1,4,false

URS & FS — спецификация пользователя и функциональная спецификация

Документ описывает контролируемый интерфейс и поведение утилиты RunSummaryJsonExporter для сценария Run Summary JSON Exporter.

Предметные ограничения и критические параметры

Ниже приведены ключевые фрагменты исходного описания. Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
  • ℹ️ Утилита обеспечивает машиночитаемый экспорт run summaries согласно CAP/CLIA §GEN.48800, ISO 15189 §7.4, HL7 FHIR Genomics, GA4GH Run Metadata Schema и FDA 21 CFR Part 11:
  • • enrichment_summary: On-target rate, uniformity, mean depth, fold-80, critical regions coverage.
  • • Timestamps: ISO 8601 UTC формат для кросс-системной интероперабельности.
  • ⚠️ ВАЖНО:
  • • Отсутствие audit trail = НАРУШЕНИЕ 21 CFR Part 11 и ISO 15189; экспорт должен быть заблокирован.
  • • Cross-section несогласованность (например, passed > total) указывает на баг в пайплайне сбора.
  • • Размер >5 MB может вызвать таймауты в REST API; используйте пагинацию или сжатие.
  • 4. Idempotency: Экспорт одного и того же run_id должен давать идентичный JSON (детерминированная сериализация).

URS — пользовательские требования

IDТребованиеКритичностьКритерий приемки
URS-001Утилита должна принимать файл input.csv для Run Summary JSON Exporter с заголовками, определёнными в контракте данных.HighФайл обрабатывается без ручного изменения заголовков.
URS-002Утилита должна выполнять детерминированную оценку QC/ОКК без машинного обучения и без вероятностного принятия решения о соответствии.HighПри одинаковых входных данных, версии правил и конфигурации результат полностью воспроизводим.
URS-003Утилита должна валидировать обязательные поля, типы данных, диапазоны, единицы измерения и предметную правдоподобность значений.HighОшибки схемы, преобразования и диапазона явно отражаются в результате.
URS-004Утилита должна применять предметные пределы и правила из описания, утверждённой спецификации, регистрационного досье и локальных SOP.HighКаждая проверка имеет результат PASS/WARNING/FAIL и понятное сообщение.
URS-005Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями, отказами и критическими находками.HighJSON пригоден для LIMS/ELN/MES-интеграции и QA/QC review.
URS-006Утилита должна сохранять трассируемость между серией/образцом, входным файлом, применёнными правилами и итоговым статусом.HighВыход содержит идентификаторы, список параметров и audit metadata.
URS-007Документация должна поддерживать подготовку IQ/OQ/PQ, CSV/CSA и обсуждение с инспекторами или внутренним QA.MediumURS, FS, контракт input/output и тестовые сценарии поставляются вместе с утилитой.
URS-008Утилита должна использоваться как decision-support инструмент QC, а не как замена утверждённым спецификациям и выпускному решению Qualified Person/QA.MediumВ документации указан контроль change control и необходимость сверки пределов.

Контракт input.csv

#ПолеТипПримерНазначение
1RunIdstring / controlled vocabularyRUN-2026-0142Контролируемый входной параметр для детерминированных QC-правил.
2AssayNamestring / controlled vocabularyNSCLC_CGP_PanelКонтролируемый входной параметр для детерминированных QC-правил.
3Platformstring / controlled vocabularyNovaSeq_6000Контролируемый входной параметр для детерминированных QC-правил.
4SchemaVersionstring / controlled vocabulary3.2.0Контролируемый входной параметр для детерминированных QC-правил.
5JsonSyntaxValidstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
6HasRunMetadatastring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
7HasPreAnalyticalstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
8HasSequencingstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
9HasEnrichmentstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
10HasVariantCallingstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
11HasInterpretationstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
12HasQcDecisionsstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
13HasSignoutstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
14HasAuditTrailstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
15NumericFieldsValidstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
16TimestampsIso8601string / controlled vocabularytrueВременной параметр процесса, инкубации, хранения или анализа.
17AuditTrailCompletestring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
18CrossSectionConsistentstring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
19JsonSizeKbdecimal48.5Контролируемый входной параметр для детерминированных QC-правил.
20NullRequiredFieldsdecimal0Контролируемый входной параметр для детерминированных QC-правил.
21BackwardCompatiblestring / controlled vocabularytrueКонтролируемый входной параметр для детерминированных QC-правил.
RunId,AssayName,Platform,SchemaVersion,JsonSyntaxValid,HasRunMetadata,HasPreAnalytical,HasSequencing,HasEnrichment,HasVariantCalling,HasInterpretation,HasQcDecisions,HasSignout,HasAuditTrail,NumericFieldsValid,TimestampsIso8601,AuditTrailComplete,CrossSectionConsistent,JsonSizeKb,NullRequiredFields,BackwardCompatible
RUN-2026-0142,NSCLC_CGP_Panel,NovaSeq_6000,3.2.0,true,true,true,true,true,true,true,true,true,true,true,true,true,true,48.5,0,true
RUN-2026-0143,BRCA1_2_Germline,NextSeq_2000,3.2.0,true,true,true,true,false,true,true,true,true,false,false,false,false,false,32.1,4,false

Правила валидации входных данных

IDПолеПравилоКритичность
VR-001RunIdПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-002AssayNameПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-003PlatformПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-004SchemaVersionПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-005JsonSyntaxValidПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-006HasRunMetadataПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-007HasPreAnalyticalПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-008HasSequencingПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-009HasEnrichmentПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-010HasVariantCallingПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-011HasInterpretationПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-012HasQcDecisionsПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-013HasSignoutПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-014HasAuditTrailПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-015NumericFieldsValidПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-016TimestampsIso8601Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-017AuditTrailCompleteПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-018CrossSectionConsistentПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-019JsonSizeKbПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-020NullRequiredFieldsПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-021BackwardCompatibleПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium

FS — функциональная спецификация

IDФункцияРеализация
FS-001CLI executionПоддержать режимы запуска: demo mode без аргументов и production mode input.csv output.json.
FS-002CSV importПрочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок.
FS-003Schema validationПроверить обязательные поля, количество колонок, неизвестные ключевые поля и пустые обязательные значения.
FS-004Type conversionПреобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки.
FS-005Domain rule engineПрименить правила для Run Summary JSON Exporter, включая критические пределы из описания и утверждённой спецификации.
FS-006Status aggregationСформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии.
FS-007JSON exportЗаписать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings.
FS-008Audit supportСохранять структуру результата пригодной для review, расследования отклонений и воспроизведения расчёта.
FS-009Integration contractПоддержать сценарий LIMS/ELN/MES → input.csv → utility → output.json → portal/admin review.
FS-010Error handlingВозвращать явные сообщения для отсутствующего файла, пустого CSV, неверной схемы, ошибки записи output.json и некорректного формата.

Пример output.json

{
  "utilityId": "runsummaryjsonexporter",
  "utilityFolder": "RunSummaryJsonExporter",
  "package": "LiquidBiopsy",
  "overallStatus": "PASS|WARNING|FAIL",
  "sourceFile": "input.csv",
  "processedAtUtc": "2026-06-10T00:00:00Z",
  "checks": [
    {
      "parameter": "RunId",
      "value": "RUN-2026-0142",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-001"
    },
    {
      "parameter": "AssayName",
      "value": "NSCLC_CGP_Panel",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-002"
    },
    {
      "parameter": "Platform",
      "value": "NovaSeq_6000",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-003"
    },
    {
      "parameter": "SchemaVersion",
      "value": "3.2.0",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-004"
    },
    {
      "parameter": "JsonSyntaxValid",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-005"
    },
    {
      "parameter": "HasRunMetadata",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-006"
    },
    {
      "parameter": "HasPreAnalytical",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-007"
    },
    {
      "parameter": "HasSequencing",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-008"
    },
    {
      "parameter": "HasEnrichment",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-009"
    },
    {
      "parameter": "HasVariantCalling",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-010"
    },
    {
      "parameter": "HasInterpretation",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-011"
    },
    {
      "parameter": "HasQcDecisions",
      "value": "true",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-012"
    }
  ],
  "criticalFindings": [],
  "warnings": [],
  "audit": {
    "inputHash": "sha256:<calculated at runtime>",
    "rulesVersion": "<utility executable version>",
    "documentation": "RunSummaryJsonExporter.documentation.html"
  }
}

Матрица трассируемости

URSFSТестПодтверждение
URS-001FS-001, FS-002OQ-001Проверить запуск и импорт валидного input.csv.
URS-002FS-005, FS-006OQ-004Повторить один и тот же набор данных и сравнить output.json.
URS-003FS-003, FS-004, FS-010OQ-002, OQ-003Проверить отсутствующие колонки и неверные типы.
URS-004FS-005, FS-006OQ-004, PQ-001Проверить критические отклонения по реальным/граничным данным.
URS-005FS-007, FS-009OQ-005Проверить JSON schema и пригодность для downstream-систем.
URS-006FS-008OQ-006Проверить наличие идентификаторов и audit metadata.
URS-007FS-008, FS-010IQ-001, OQ-007Проверить комплектность документации и control evidence.
URS-008FS-005, FS-008PQ-002Проверить review workflow и запрет автоматической замены QA-решения.

IQ/OQ/PQ тестовые сценарии

IDСценарийОжидаемый результат
IQ-001Проверить наличие executable, input.csv, документации и контрольной суммы.Комплект поставки полон; версия зафиксирована.
OQ-001Валидная строка из примера input.csv.PASS или допустимый WARNING согласно правилам.
OQ-002Удалить обязательную колонку из CSV.Ошибка схемы или FAIL с указанием отсутствующей колонки.
OQ-003Внести нечисловое значение в числовое поле.Ошибка преобразования типа с указанием строки/поля.
OQ-004Значение критического параметра вывести за предел.FAIL и critical finding.
OQ-005Проверить структуру output.json.Все обязательные секции присутствуют, JSON валиден.
OQ-006Проверить трассируемость серии/образца.Идентификаторы входа и результатов совпадают.
PQ-001Проверить 3–5 реальных партий/образцов пользователя.Результат подтверждён QC/QA review.
PQ-002Проверить workflow отклонения и ручного QA-решения.Утилита поддерживает review, но не заменяет утверждённое решение.

QA/QC и change control

  • Не менять имена колонок без обновления валидатора, документации и тестового набора.
  • Хранить input.csv, output.json, версию исполняемого файла и контрольную сумму.
  • Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
  • Критические пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
  • Утилита предоставляет формализованный QC decision support, но окончательное решение выпуска остаётся за QA/QP и утверждёнными процедурами.

Входит в пакеты

Биофармацевтика расширенная

Расширенный coverage-пакет QC-утилит для mAb, биоаналогов, белков, инсулинов, вакцин, mRNA/LNP, HCP, стерильного выпуска, микробиологии, воды, cleanroom и стабильности.

Открыть

Жидкостная биопсия

Пакет для QC и преданалитического контроля жидкостной биопсии: cfDNA/ctDNA, CTC, EV/exosomes, метилирование, NGS/qPCR/ddPCR, контроль образцов, контаминации, чувствительности и отчётности.

Открыть