Описание утилиты: Classifier Version Control
Classifier Version Control Checker — Контроль версий ML-классификаторов
ℹ️ Утилита выполняет строгую верификацию всех компонентов ML-классификатора перед запуском в клиническом продакшене согласно FDA 21 CFR Part 11, EU AI Act и CAP/CLIA:
• Веса модели: Сверка версии И SHA256-хеша для гарантии идентичности бинарного файла.
• Конфигурация: Проверка файлов инференса (пороги, параметры препроцессинга).
• Зависимости: Контроль версий всех библиотек (PyTorch, TensorFlow, NumPy, Python).
• Контейнеры: Верификация digest Docker/Singularity образов.
⚠️ ВАЖНО:
• ML-классификатор в медицине = медицинское изделие. Любое изменение = новая версия, требующая ревалидации.
• Обновление NumPy с 1.24 на 1.26 может изменить результаты float-операций и предсказания модели.
Использование:
ClassifierVersionControlChecker.exe → демо-режим (вывод в консоль)
ClassifierVersionControlChecker.exe input.csv output.json → оценка ваших данных
Формат input.csv:
RunID,ClassifierName,ComponentType,ComponentName,ActualVersion,ValidatedVersion,ActualHash,ValidatedHash
Пример:
RUN-001,VarPath_v3,ModelWeights,model.pt,3.2.1,3.2.1,a1b2c3,a1b2c3
📍 Область применения (Usage Where):
• Клинические NGS-лаборатории: Gatekeeper перед каждым запуском классификатора.
• MLOps/CI-CD: Автоматическая проверка перед деплоем в продакшен.
• Регуляторные инспекции: Доказательство использования только валидированных версий.
• Управление изменениями: Документирование дрейфа конфигурации.
— ЗАЧЕМ ЭТО НУЖНО?
В отличие от традиционного ПО, ML-модели чувствительны к мельчайшим изменениям окружения.
«Тихое» обновление зависимости через pip может незаметно изменить клинический результат.
Хеш-проверка весов исключает подмену модели, повреждение файла или использование hotfix без ревалидации.
Это фундаментальное требование воспроизводимости в SaMD.
⚠️ КРИТИЧЕСКИ ВАЖНО:
• Exact Match Only: Никакой «совместимости» — только точное совпадение версии и хеша.
• Hash Verification: Версия модели может совпадать, но файл быть заменен — хеш обязателен.
• Transitive Dependencies: Проверяйте ВСЕ зависимости, включая транзитивные.
• Container Digest: Тег «latest» или «v3.2» недостаточен — нужен sha256 digest.
Ключевые особенности утилиты:
• Двойная проверка: версия + хеш для критических компонентов
• Поддержка 4 типов компонентов (Weights, Config, Dependency, Container)
• Мгновенная блокировка при любом несоответствии
• Детальный отчет о каждом расхождении
• Соответствие GMLP Principle 5 (Software Configuration Management)
Критические параметры:
• Model Weights: Version + SHA256 exact match
• Config Files: Version + hash match
• Dependencies: Exact version string match
• Container: SHA256 digest match
💡 Советы по использованию:
1. Манифест: Ведите YAML/JSON манифест валидированного окружения в репозитории.
2. Lock-файлы: Используйте pip-tools/poetry/conda-lock для фиксации транзитивных зависимостей.
3. Artifact Registry: Храните веса моделей в реестре артефактов (MLflow, DVC) с хешами.
4. Immutable Containers: Собирайте контейнеры детерминированно, фиксируйте digest.
5. Интеграция: Встройте чекер как первый шаг Nextflow/Snakemake/Airflow пайплайна.
⚠️ Примечание: Данная утилита является инструментом Software Configuration Management. Она не заменяет функциональную валидацию модели, но гарантирует, что используется именно та конфигурация, которая была валидирована.input.csv
RunID,ClassifierName,ComponentType,ComponentName,ActualVersion,ValidatedVersion,ActualHash,ValidatedHash
NGS-RUN-2026-001,VariantPathogenicity_v3,ModelWeights,model_v3.pt,3.2.1,3.2.1,a1b2c3d4e5f6,a1b2c3d4e5f6
NGS-RUN-2026-001,VariantPathogenicity_v3,Config,inference_config.yaml,3.2.1,3.2.1,f6e5d4c3b2a1,f6e5d4c3b2a1
NGS-RUN-2026-001,VariantPathogenicity_v3,Dependency,torch,2.1.0+cu118,2.1.0+cu118,,
NGS-RUN-2026-002,VariantPathogenicity_v3,ModelWeights,model_v3.pt,3.2.1-hotfix,3.2.1,x9y8z7w6v5u4,a1b2c3d4e5f6
NGS-RUN-2026-002,VariantPathogenicity_v3,Dependency,numpy,1.26.0,1.24.3,,
NGS-RUN-2026-002,VariantPathogenicity_v3,Container,classifier-docker,sha256:def456,sha256:abc123,def456,abc123
URS & FS — спецификация пользователя и функциональная спецификация
Документ описывает контролируемый интерфейс и поведение утилиты ClassifierVersionControlChecker для сценария Classifier Version Control Checker.
Предметные ограничения и критические параметры
Ниже приведены ключевые фрагменты исходного описания. Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- ⚠️ ВАЖНО:
- ⚠️ КРИТИЧЕСКИ ВАЖНО:
- • Двойная проверка: версия + хеш для критических компонентов
- Критические параметры:
URS — пользовательские требования
| ID | Требование | Критичность | Критерий приемки |
|---|
| URS-001 | Утилита должна принимать файл input.csv для Classifier Version Control Checker с заголовками, определёнными в контракте данных. | High | Файл обрабатывается без ручного изменения заголовков. |
| URS-002 | Утилита должна выполнять детерминированную оценку QC/ОКК без машинного обучения и без вероятностного принятия решения о соответствии. | High | При одинаковых входных данных, версии правил и конфигурации результат полностью воспроизводим. |
| URS-003 | Утилита должна валидировать обязательные поля, типы данных, диапазоны, единицы измерения и предметную правдоподобность значений. | High | Ошибки схемы, преобразования и диапазона явно отражаются в результате. |
| URS-004 | Утилита должна применять предметные пределы и правила из описания, утверждённой спецификации, регистрационного досье и локальных SOP. | High | Каждая проверка имеет результат PASS/WARNING/FAIL и понятное сообщение. |
| URS-005 | Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями, отказами и критическими находками. | High | JSON пригоден для LIMS/ELN/MES-интеграции и QA/QC review. |
| URS-006 | Утилита должна сохранять трассируемость между серией/образцом, входным файлом, применёнными правилами и итоговым статусом. | High | Выход содержит идентификаторы, список параметров и audit metadata. |
| URS-007 | Документация должна поддерживать подготовку IQ/OQ/PQ, CSV/CSA и обсуждение с инспекторами или внутренним QA. | Medium | URS, FS, контракт input/output и тестовые сценарии поставляются вместе с утилитой. |
| URS-008 | Утилита должна использоваться как decision-support инструмент QC, а не как замена утверждённым спецификациям и выпускному решению Qualified Person/QA. | Medium | В документации указан контроль change control и необходимость сверки пределов. |
Контракт input.csv
| # | Поле | Тип | Пример | Назначение |
|---|
| 1 | RunID | string / controlled vocabulary | NGS-RUN-2026-001 | Контролируемый входной параметр для детерминированных QC-правил. |
| 2 | ClassifierName | string / controlled vocabulary | VariantPathogenicity_v3 | Биологический/молекулярный компонент, контролируемый как CQA. |
| 3 | ComponentType | string / controlled vocabulary | ModelWeights | Контролируемый входной параметр для детерминированных QC-правил. |
| 4 | ComponentName | string / controlled vocabulary | model_v3.pt | Контролируемый входной параметр для детерминированных QC-правил. |
| 5 | ActualVersion | string / controlled vocabulary | 3.2.1 | Контролируемый входной параметр для детерминированных QC-правил. |
| 6 | ValidatedVersion | string / controlled vocabulary | 3.2.1 | Контролируемый входной параметр для детерминированных QC-правил. |
| 7 | ActualHash | string / controlled vocabulary | a1b2c3d4e5f6 | Контролируемый входной параметр для детерминированных QC-правил. |
| 8 | ValidatedHash | string / controlled vocabulary | a1b2c3d4e5f6 | Контролируемый входной параметр для детерминированных QC-правил. |
RunID,ClassifierName,ComponentType,ComponentName,ActualVersion,ValidatedVersion,ActualHash,ValidatedHash
NGS-RUN-2026-001,VariantPathogenicity_v3,ModelWeights,model_v3.pt,3.2.1,3.2.1,a1b2c3d4e5f6,a1b2c3d4e5f6
NGS-RUN-2026-001,VariantPathogenicity_v3,Config,inference_config.yaml,3.2.1,3.2.1,f6e5d4c3b2a1,f6e5d4c3b2a1
NGS-RUN-2026-001,VariantPathogenicity_v3,Dependency,torch,2.1.0+cu118,2.1.0+cu118,,
Правила валидации входных данных
| ID | Поле | Правило | Критичность |
|---|
| VR-001 | RunID | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-002 | ClassifierName | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-003 | ComponentType | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-004 | ComponentName | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-005 | ActualVersion | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-006 | ValidatedVersion | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-007 | ActualHash | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-008 | ValidatedHash | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
FS — функциональная спецификация
| ID | Функция | Реализация |
|---|
| FS-001 | CLI execution | Поддержать режимы запуска: demo mode без аргументов и production mode input.csv output.json. |
| FS-002 | CSV import | Прочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок. |
| FS-003 | Schema validation | Проверить обязательные поля, количество колонок, неизвестные ключевые поля и пустые обязательные значения. |
| FS-004 | Type conversion | Преобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки. |
| FS-005 | Domain rule engine | Применить правила для Classifier Version Control Checker, включая критические пределы из описания и утверждённой спецификации. |
| FS-006 | Status aggregation | Сформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии. |
| FS-007 | JSON export | Записать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings. |
| FS-008 | Audit support | Сохранять структуру результата пригодной для review, расследования отклонений и воспроизведения расчёта. |
| FS-009 | Integration contract | Поддержать сценарий LIMS/ELN/MES → input.csv → utility → output.json → portal/admin review. |
| FS-010 | Error handling | Возвращать явные сообщения для отсутствующего файла, пустого CSV, неверной схемы, ошибки записи output.json и некорректного формата. |
Пример output.json
{
"utilityId": "classifierversioncontrolchecker",
"utilityFolder": "ClassifierVersionControlChecker",
"package": "LiquidBiopsy",
"overallStatus": "PASS|WARNING|FAIL",
"sourceFile": "input.csv",
"processedAtUtc": "2026-06-10T00:00:00Z",
"checks": [
{
"parameter": "RunID",
"value": "NGS-RUN-2026-001",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-001"
},
{
"parameter": "ClassifierName",
"value": "VariantPathogenicity_v3",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-002"
},
{
"parameter": "ComponentType",
"value": "ModelWeights",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-003"
},
{
"parameter": "ComponentName",
"value": "model_v3.pt",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-004"
},
{
"parameter": "ActualVersion",
"value": "3.2.1",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-005"
},
{
"parameter": "ValidatedVersion",
"value": "3.2.1",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-006"
},
{
"parameter": "ActualHash",
"value": "a1b2c3d4e5f6",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-007"
},
{
"parameter": "ValidatedHash",
"value": "a1b2c3d4e5f6",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-008"
}
],
"criticalFindings": [],
"warnings": [],
"audit": {
"inputHash": "sha256:<calculated at runtime>",
"rulesVersion": "<utility executable version>",
"documentation": "ClassifierVersionControlChecker.documentation.html"
}
}
Матрица трассируемости
| URS | FS | Тест | Подтверждение |
|---|
| URS-001 | FS-001, FS-002 | OQ-001 | Проверить запуск и импорт валидного input.csv. |
| URS-002 | FS-005, FS-006 | OQ-004 | Повторить один и тот же набор данных и сравнить output.json. |
| URS-003 | FS-003, FS-004, FS-010 | OQ-002, OQ-003 | Проверить отсутствующие колонки и неверные типы. |
| URS-004 | FS-005, FS-006 | OQ-004, PQ-001 | Проверить критические отклонения по реальным/граничным данным. |
| URS-005 | FS-007, FS-009 | OQ-005 | Проверить JSON schema и пригодность для downstream-систем. |
| URS-006 | FS-008 | OQ-006 | Проверить наличие идентификаторов и audit metadata. |
| URS-007 | FS-008, FS-010 | IQ-001, OQ-007 | Проверить комплектность документации и control evidence. |
| URS-008 | FS-005, FS-008 | PQ-002 | Проверить review workflow и запрет автоматической замены QA-решения. |
IQ/OQ/PQ тестовые сценарии
| ID | Сценарий | Ожидаемый результат |
|---|
| IQ-001 | Проверить наличие executable, input.csv, документации и контрольной суммы. | Комплект поставки полон; версия зафиксирована. |
| OQ-001 | Валидная строка из примера input.csv. | PASS или допустимый WARNING согласно правилам. |
| OQ-002 | Удалить обязательную колонку из CSV. | Ошибка схемы или FAIL с указанием отсутствующей колонки. |
| OQ-003 | Внести нечисловое значение в числовое поле. | Ошибка преобразования типа с указанием строки/поля. |
| OQ-004 | Значение критического параметра вывести за предел. | FAIL и critical finding. |
| OQ-005 | Проверить структуру output.json. | Все обязательные секции присутствуют, JSON валиден. |
| OQ-006 | Проверить трассируемость серии/образца. | Идентификаторы входа и результатов совпадают. |
| PQ-001 | Проверить 3–5 реальных партий/образцов пользователя. | Результат подтверждён QC/QA review. |
| PQ-002 | Проверить workflow отклонения и ручного QA-решения. | Утилита поддерживает review, но не заменяет утверждённое решение. |
QA/QC и change control
- Не менять имена колонок без обновления валидатора, документации и тестового набора.
- Хранить
input.csv, output.json, версию исполняемого файла и контрольную сумму. - Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
- Критические пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- Утилита предоставляет формализованный QC decision support, но окончательное решение выпуска остаётся за QA/QP и утверждёнными процедурами.