BioinformaticsPipelineVersionChecker

Bioinformatics Pipeline Version

Liquid Biopsy жидкостная биопсия cfDNA ctDNA CTC exosomes NGS qPCR
Открыть подборку

Описание утилиты: Bioinformatics Pipeline Version

Bioinformatics Pipeline Version Checker — Контроль версий биоинформатических пайплайнов

ℹ️  Утилита выполняет автоматическую верификацию программного окружения биоинформатических пайплайнов согласно требованиям CAP/CLIA и FDA Guidance on NGS-based Testing:
     • Инструменты: Сверка версий aligners, variant callers и аннотаторов с валидированным манифестом.
     • Базы данных: Контроль версий референсных геномов и баз знаний (ClinVar, COSMIC, gnomAD).
     • Контейнеры: Проверка хешей Docker/Singularity образов для гарантии идентичности среды.
     • Скрипты: Верификация версий кастомных скриптов (Python, R, Bash).

⚠️  ВАЖНО: 
     • Биоинформатический пайплайн является медицинским устройством (SaMD).
     • Неавторизованное обновление даже минорной версии может изменить клинический результат.

Использование:
  BioinformaticsPipelineVersionChecker.exe                            → демо-режим (вывод в консоль)
  BioinformaticsPipelineVersionChecker.exe input.csv output.json      → оценка ваших данных

Формат input.csv:
RunID,PipelineName,ComponentName,ActualVersion,ValidatedVersion,ComponentType

Пример:
  RUN-001,OncoPanel_v3,GATK,4.2.6.1,4.2.6.1,Tool

📍 Область применения (Usage Where):
     • Клинические NGS-лаборатории: Обязательная проверка перед каждым запуском пайплайна.
     • Управление изменениями (Change Control): Документирование дрейфа версий.
     • Аудит и инспекции: Доказательство воспроизводимости in silico анализа.
     • CI/CD пайплайны: Автоматический gatekeeper перед деплоем в продакшн.

— ЗАЧЕМ ЭТО НУЖНО?
В отличие от «мокрых» реагентов, программное обеспечение меняется незаметно.
Автоматическая проверка версий исключает риск использования невалидированного кода.
Это фундаментальное требование Data Integrity и Patient Safety в эпоху Precision Medicine.

⚠️  КРИТИЧЕСКИ ВАЖНО:
• Exact Match: Для клинических тестов требуется точное совпадение версий, не «совместимость».
• Database Versions: Обновление ClinVar без ревалидации может реклассифицировать варианты.
• Container Hash: Версия тега Docker (latest) недостаточна; нужен SHA256 digest.
• Audit Trail: Каждая проверка должна логироваться с timestamp и operator ID.

Ключевые особенности утилиты:
• Построчная сверка каждого компонента пайплайна
• Поддержка различных типов компонентов (Tool, DB, Script, Container)
• Мгновенная блокировка при несоответствии
• Генерация детального отчета о расхождениях
• Соответствие требованиям CAP Molecular Pathology Checklist

Критические параметры:
• Actual Version: Должна точно совпадать с Validated Version
• Component Coverage: Все критические компоненты должны быть проверены
• Database Date: Актуальность референсных данных

💡 Советы по использованию:
1. Манифест: Ведите централизованный YAML/JSON манифест валидированных версий.
2. Контейнеризация: Используйте Docker/Singularity для фиксации окружения.
3. Автоматизация: Интегрируйте чекер в начало Nextflow/Snakemake пайплайна.
4. Ревавалидация: При обновлении версии запускайте полный протокол ревалидации.
5. Документирование: Сохраняйте JSON-отчеты как часть аудиторского следа каждого запуска.

⚠️ Примечание: Данная утилита является инструментом Software Quality Assurance. Она не заменяет функциональную валидацию пайплайна, но гарантирует, что используется именно та версия, которая была валидирована.

input.csv

RunID,PipelineName,ComponentName,ActualVersion,ValidatedVersion,ComponentType
NGS-RUN-2026-001,OncoPanel_v3,BWA-MEM,0.7.17-r1188,0.7.17-r1188,Tool
NGS-RUN-2026-001,OncoPanel_v3,GATK,4.2.6.1,4.2.6.1,Tool
NGS-RUN-2026-001,OncoPanel_v3,ClinVar,2026-05-01,2026-05-01,Database
NGS-RUN-2026-002,OncoPanel_v3,Samtools,1.19,1.17,Tool
NGS-RUN-2026-002,OncoPanel_v3,VEP,110,110,Tool

URS & FS — спецификация пользователя и функциональная спецификация

Документ описывает контролируемый интерфейс и поведение утилиты BioinformaticsPipelineVersionChecker для сценария Bioinformatics Pipeline Version Checker.

Предметные ограничения и критические параметры

Ниже приведены ключевые фрагменты исходного описания. Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
  • ⚠️ ВАЖНО:
  • ⚠️ КРИТИЧЕСКИ ВАЖНО:
  • Критические параметры:
  • • Component Coverage: Все критические компоненты должны быть проверены

URS — пользовательские требования

IDТребованиеКритичностьКритерий приемки
URS-001Утилита должна принимать файл input.csv для Bioinformatics Pipeline Version Checker с заголовками, определёнными в контракте данных.HighФайл обрабатывается без ручного изменения заголовков.
URS-002Утилита должна выполнять детерминированную оценку QC/ОКК без машинного обучения и без вероятностного принятия решения о соответствии.HighПри одинаковых входных данных, версии правил и конфигурации результат полностью воспроизводим.
URS-003Утилита должна валидировать обязательные поля, типы данных, диапазоны, единицы измерения и предметную правдоподобность значений.HighОшибки схемы, преобразования и диапазона явно отражаются в результате.
URS-004Утилита должна применять предметные пределы и правила из описания, утверждённой спецификации, регистрационного досье и локальных SOP.HighКаждая проверка имеет результат PASS/WARNING/FAIL и понятное сообщение.
URS-005Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями, отказами и критическими находками.HighJSON пригоден для LIMS/ELN/MES-интеграции и QA/QC review.
URS-006Утилита должна сохранять трассируемость между серией/образцом, входным файлом, применёнными правилами и итоговым статусом.HighВыход содержит идентификаторы, список параметров и audit metadata.
URS-007Документация должна поддерживать подготовку IQ/OQ/PQ, CSV/CSA и обсуждение с инспекторами или внутренним QA.MediumURS, FS, контракт input/output и тестовые сценарии поставляются вместе с утилитой.
URS-008Утилита должна использоваться как decision-support инструмент QC, а не как замена утверждённым спецификациям и выпускному решению Qualified Person/QA.MediumВ документации указан контроль change control и необходимость сверки пределов.

Контракт input.csv

#ПолеТипПримерНазначение
1RunIDstring / controlled vocabularyNGS-RUN-2026-001Контролируемый входной параметр для детерминированных QC-правил.
2PipelineNamestring / controlled vocabularyOncoPanel_v3Контролируемый входной параметр для детерминированных QC-правил.
3ComponentNamestring / controlled vocabularyBWA-MEMКонтролируемый входной параметр для детерминированных QC-правил.
4ActualVersionstring / controlled vocabulary0.7.17-r1188Контролируемый входной параметр для детерминированных QC-правил.
5ValidatedVersionstring / controlled vocabulary0.7.17-r1188Контролируемый входной параметр для детерминированных QC-правил.
6ComponentTypestring / controlled vocabularyToolКонтролируемый входной параметр для детерминированных QC-правил.
RunID,PipelineName,ComponentName,ActualVersion,ValidatedVersion,ComponentType
NGS-RUN-2026-001,OncoPanel_v3,BWA-MEM,0.7.17-r1188,0.7.17-r1188,Tool
NGS-RUN-2026-001,OncoPanel_v3,GATK,4.2.6.1,4.2.6.1,Tool
NGS-RUN-2026-001,OncoPanel_v3,ClinVar,2026-05-01,2026-05-01,Database

Правила валидации входных данных

IDПолеПравилоКритичность
VR-001RunIDПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-002PipelineNameПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-003ComponentNameПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.High
VR-004ActualVersionПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-005ValidatedVersionПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium
VR-006ComponentTypeПоле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме.Medium

FS — функциональная спецификация

IDФункцияРеализация
FS-001CLI executionПоддержать режимы запуска: demo mode без аргументов и production mode input.csv output.json.
FS-002CSV importПрочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок.
FS-003Schema validationПроверить обязательные поля, количество колонок, неизвестные ключевые поля и пустые обязательные значения.
FS-004Type conversionПреобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки.
FS-005Domain rule engineПрименить правила для Bioinformatics Pipeline Version Checker, включая критические пределы из описания и утверждённой спецификации.
FS-006Status aggregationСформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии.
FS-007JSON exportЗаписать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings.
FS-008Audit supportСохранять структуру результата пригодной для review, расследования отклонений и воспроизведения расчёта.
FS-009Integration contractПоддержать сценарий LIMS/ELN/MES → input.csv → utility → output.json → portal/admin review.
FS-010Error handlingВозвращать явные сообщения для отсутствующего файла, пустого CSV, неверной схемы, ошибки записи output.json и некорректного формата.

Пример output.json

{
  "utilityId": "bioinformaticspipelineversionchecker",
  "utilityFolder": "BioinformaticsPipelineVersionChecker",
  "package": "LiquidBiopsy",
  "overallStatus": "PASS|WARNING|FAIL",
  "sourceFile": "input.csv",
  "processedAtUtc": "2026-06-10T00:00:00Z",
  "checks": [
    {
      "parameter": "RunID",
      "value": "NGS-RUN-2026-001",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-001"
    },
    {
      "parameter": "PipelineName",
      "value": "OncoPanel_v3",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-002"
    },
    {
      "parameter": "ComponentName",
      "value": "BWA-MEM",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-003"
    },
    {
      "parameter": "ActualVersion",
      "value": "0.7.17-r1188",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-004"
    },
    {
      "parameter": "ValidatedVersion",
      "value": "0.7.17-r1188",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-005"
    },
    {
      "parameter": "ComponentType",
      "value": "Tool",
      "status": "PASS|WARNING|FAIL",
      "message": "Deterministic rule-based check result",
      "ruleReference": "FS-RULE-006"
    }
  ],
  "criticalFindings": [],
  "warnings": [],
  "audit": {
    "inputHash": "sha256:<calculated at runtime>",
    "rulesVersion": "<utility executable version>",
    "documentation": "BioinformaticsPipelineVersionChecker.documentation.html"
  }
}

Матрица трассируемости

URSFSТестПодтверждение
URS-001FS-001, FS-002OQ-001Проверить запуск и импорт валидного input.csv.
URS-002FS-005, FS-006OQ-004Повторить один и тот же набор данных и сравнить output.json.
URS-003FS-003, FS-004, FS-010OQ-002, OQ-003Проверить отсутствующие колонки и неверные типы.
URS-004FS-005, FS-006OQ-004, PQ-001Проверить критические отклонения по реальным/граничным данным.
URS-005FS-007, FS-009OQ-005Проверить JSON schema и пригодность для downstream-систем.
URS-006FS-008OQ-006Проверить наличие идентификаторов и audit metadata.
URS-007FS-008, FS-010IQ-001, OQ-007Проверить комплектность документации и control evidence.
URS-008FS-005, FS-008PQ-002Проверить review workflow и запрет автоматической замены QA-решения.

IQ/OQ/PQ тестовые сценарии

IDСценарийОжидаемый результат
IQ-001Проверить наличие executable, input.csv, документации и контрольной суммы.Комплект поставки полон; версия зафиксирована.
OQ-001Валидная строка из примера input.csv.PASS или допустимый WARNING согласно правилам.
OQ-002Удалить обязательную колонку из CSV.Ошибка схемы или FAIL с указанием отсутствующей колонки.
OQ-003Внести нечисловое значение в числовое поле.Ошибка преобразования типа с указанием строки/поля.
OQ-004Значение критического параметра вывести за предел.FAIL и critical finding.
OQ-005Проверить структуру output.json.Все обязательные секции присутствуют, JSON валиден.
OQ-006Проверить трассируемость серии/образца.Идентификаторы входа и результатов совпадают.
PQ-001Проверить 3–5 реальных партий/образцов пользователя.Результат подтверждён QC/QA review.
PQ-002Проверить workflow отклонения и ручного QA-решения.Утилита поддерживает review, но не заменяет утверждённое решение.

QA/QC и change control

  • Не менять имена колонок без обновления валидатора, документации и тестового набора.
  • Хранить input.csv, output.json, версию исполняемого файла и контрольную сумму.
  • Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
  • Критические пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
  • Утилита предоставляет формализованный QC decision support, но окончательное решение выпуска остаётся за QA/QP и утверждёнными процедурами.

Входит в пакеты

Жидкостная биопсия

Пакет для QC и преданалитического контроля жидкостной биопсии: cfDNA/ctDNA, CTC, EV/exosomes, метилирование, NGS/qPCR/ddPCR, контроль образцов, контаминации, чувствительности и отчётности.

Открыть