Описание утилиты: Genome-Wide Signal Batch
Genome-Wide Signal Batch Checker — Контроль пакетных эффектов в полногеномных данных
ℹ️ Утилита выполняет систематическую оценку batch effects согласно стандартам ENCODE, IHEC и рекомендациям по воспроизводимости:
• PCA-Batch Correlation: Коэффициент детерминации (R²) между главными компонентами и батчевой переменной.
• Variance Decomposition: Соотношение межбатчевой и внутрибатчевой дисперсии как мера доминирования технического шума.
• Outlier Detection: Идентификация образцов, выпадающих из своего батча или образующих отдельные кластеры.
• Confounding Check: Выявление ситуаций, когда батч полностью или частично совпадает с биологической переменной.
• Actionable Classification: NO_BATCH_EFFECT / MINOR_EFFECT / SEVERE_EFFECT с конкретными рекомендациями.
⚠️ ВАЖНО:
• PC1-Batch R² > 0.15 указывает на значимый пакетный эффект, требующий коррекции.
• Конфаундинг батча с фенотипом НЕ МОЖЕТ быть исправлен статистически — требуется перепланирование эксперимента.
• Межбатчевая дисперсия >20% означает, что техническая вариация превышает биологическую.
• Коррекция batch effect (ComBat, SVA, RUV) должна применяться ТОЛЬКО после подтверждения эффекта.
Использование:
GenomeWideSignalBatchChecker.exe → демо-режим (вывод в консоль)
GenomeWideSignalBatchChecker.exe input.csv output.json → оценка ваших данных
Формат input.csv:
StudyID,DataType,BatchID,SampleCount_InBatch,PC1_VarianceExplained_Percent,PC2_VarianceExplained_Percent,PC1_BatchCorrelation_R2,MaxAcceptable_PC1_BatchR2,InterBatchVariance_Percent,MaxInterBatchVariance_Percent,IntraBatchCV_Percent,OutlierSampleCount,TotalSamplesInStudy,BatchConfoundedWithPhenotype,ProcessingDate,InstrumentID,OperatorID_Source
Пример:
GWAS-01,SNPArray,BATCH-A,120,8.2,3.1,0.04,0.15,6.5,20,4.2,2,360,false,2026-01-15,Illumina-iScan,OP-01
📍 Область применения (Usage Where):
• GWAS/EWAS: Обязательный QC перед ассоциативным анализом.
• Мультицентровые исследования: Гармонизация данных из разных источников.
• Эпигеномные консорциумы (IHEC, ENCODE): Стандартизация мета-анализов.
• Публикация данных: Требование большинства журналов для полногеномных исследований.
— ЗАЧЕМ ЭТО НУЖНО?
Batch effect — самая частая причина невоспроизводимости в геномике.
Ложные ассоциации, вызванные техническими артефактами, публикуются ежегодно и подрывают доверие к науке.
Автоматизированная проверка позволяет выявить проблему ДО дорогостоящего анализа и публикации.
Это фундаментальное требование scientific integrity и patient safety в трансляционных исследованиях.
⚠️ КРИТИЧЕСКИ ВАЖНО:
• PC1-Batch R² ≤ 0.15: Порог значимости для большинства полногеномных данных.
• Inter-Batch Variance ≤ 20%: Превышение = технический шум доминирует.
• Confounding = SEVERE: Статистическая коррекция невозможна без потери биологического сигнала.
• Outliers < 5%: Высокий процент аутлайеров указывает на системную проблему батча.
• Документирование: ВСЕ батчевые переменные должны быть зафиксированы в метаданных.
Ключевые особенности утилиты:
• Пятипараметрическая оценка batch effect
• Автоматическая детекция конфаундинга
• Агрегация по исследованию (не по отдельному батчу)
• Классификация с actionable рекомендациями
• Соответствие ENCODE/IHEC standards
Критические параметры:
• PC1-Batch R²: ≤ 0.15
• Inter-Batch Variance: ≤ 20%
• Outlier Rate: < 5%
• Batch-Phenotype Confounding: Absent
• Number of Batches: > 1
💡 Советы по использованию:
1. Экспериментальный дизайн: Рандомизируйте образцы по батчам; никогда не группируйте случаи/контроли в разные батчи.
2. Метаданные: Фиксируйте ВСЕ технические переменные (дата, прибор, оператор, партия реагентов).
3. Референсные образцы: Включайте общие контрольные образцы в каждый батч для прямой оценки drift.
4. Коррекция: Применяйте ComBat/SVA только при подтвержденном эффекте; всегда проверяйте результат коррекции визуально.
5. Публикация: Предоставляйте PCA-плоты до и после коррекции как supplementary material.
⚠️ Примечание: Данная утилита оценивает наличие и тяжесть batch effect. Она не выполняет саму коррекцию — для этого используйте специализированные инструменты (ComBat, sva, RUVSeq). Утилита определяет, КОГДА и КАКУЮ коррекцию применять.
input.csv
StudyID,DataType,BatchID,SampleCount_InBatch,PC1_VarianceExplained_Percent,PC2_VarianceExplained_Percent,PC1_BatchCorrelation_R2,MaxAcceptable_PC1_BatchR2,InterBatchVariance_Percent,MaxInterBatchVariance_Percent,IntraBatchCV_Percent,OutlierSampleCount,TotalSamplesInStudy,BatchConfoundedWithPhenotype,ProcessingDate,InstrumentID,OperatorID_Source
GWAS-2026-01,SNPArray,BATCH-A,120,8.2,3.1,0.04,0.15,6.5,20.0,4.2,2,360,false,2026-01-15,Illumina-iScan,OP-01
GWAS-2026-01,SNPArray,BATCH-B,120,8.2,3.1,0.05,0.15,6.5,20.0,3.8,1,360,false,2026-02-10,Illumina-iScan,OP-02
GWAS-2026-01,SNPArray,BATCH-C,120,8.2,3.1,0.03,0.15,6.5,20.0,4.5,3,360,false,2026-03-05,Illumina-iScan,OP-01
METHYL-2026-02,MethylationArray,BATCH-X,48,35.6,12.4,0.68,0.15,42.0,20.0,8.5,7,96,true,2026-01-20,Illumina-iScan,OP-03
METHYL-2026-02,MethylationArray,BATCH-Y,48,35.6,12.4,0.72,0.15,42.0,20.0,9.1,5,96,true,2026-04-01,Illumina-iScan,OP-04
URS & FS — спецификация пользователя и функциональная спецификация
Документ описывает контролируемый интерфейс и поведение утилиты GenomeWideSignalBatchChecker для сценария Genome-Wide Signal Batch Checker.
Предметные ограничения и критические параметры
Ниже приведены ключевые фрагменты исходного описания. Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- ⚠️ ВАЖНО:
- • PC1-Batch R² > 0.15 указывает на значимый пакетный эффект, требующий коррекции.
- • Межбатчевая дисперсия >20% означает, что техническая вариация превышает биологическую.
- ⚠️ КРИТИЧЕСКИ ВАЖНО:
- • PC1-Batch R² ≤ 0.15: Порог значимости для большинства полногеномных данных.
- • Inter-Batch Variance ≤ 20%: Превышение = технический шум доминирует.
- • Outliers < 5%: Высокий процент аутлайеров указывает на системную проблему батча.
- Критические параметры:
- • PC1-Batch R²: ≤ 0.15
- • Inter-Batch Variance: ≤ 20%
- • Outlier Rate: < 5%
- • Number of Batches: > 1
- ⚠️ Примечание: Данная утилита оценивает наличие и тяжесть batch effect. Она не выполняет саму коррекцию — для этого используйте специализированные инструменты (ComBat, sva, RUVSeq). Утилита определяет, КОГДА и КАКУЮ коррекцию применять.
URS — пользовательские требования
| ID | Требование | Критичность | Критерий приемки |
|---|
| URS-001 | Утилита должна принимать файл input.csv для Genome-Wide Signal Batch Checker с заголовками, определёнными в контракте данных. | High | Файл обрабатывается без ручного изменения заголовков. |
| URS-002 | Утилита должна выполнять детерминированную оценку QC/ОКК без машинного обучения и без вероятностного принятия решения о соответствии. | High | При одинаковых входных данных, версии правил и конфигурации результат полностью воспроизводим. |
| URS-003 | Утилита должна валидировать обязательные поля, типы данных, диапазоны, единицы измерения и предметную правдоподобность значений. | High | Ошибки схемы, преобразования и диапазона явно отражаются в результате. |
| URS-004 | Утилита должна применять предметные пределы и правила из описания, утверждённой спецификации, регистрационного досье и локальных SOP. | High | Каждая проверка имеет результат PASS/WARNING/FAIL и понятное сообщение. |
| URS-005 | Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями, отказами и критическими находками. | High | JSON пригоден для LIMS/ELN/MES-интеграции и QA/QC review. |
| URS-006 | Утилита должна сохранять трассируемость между серией/образцом, входным файлом, применёнными правилами и итоговым статусом. | High | Выход содержит идентификаторы, список параметров и audit metadata. |
| URS-007 | Документация должна поддерживать подготовку IQ/OQ/PQ, CSV/CSA и обсуждение с инспекторами или внутренним QA. | Medium | URS, FS, контракт input/output и тестовые сценарии поставляются вместе с утилитой. |
| URS-008 | Утилита должна использоваться как decision-support инструмент QC, а не как замена утверждённым спецификациям и выпускному решению Qualified Person/QA. | Medium | В документации указан контроль change control и необходимость сверки пределов. |
Контракт input.csv
| # | Поле | Тип | Пример | Назначение |
|---|
| 1 | StudyID | string / controlled vocabulary | GWAS-2026-01 | Контролируемый входной параметр для детерминированных QC-правил. |
| 2 | DataType | string / controlled vocabulary | SNPArray | Контролируемый входной параметр для детерминированных QC-правил. |
| 3 | BatchID | string / controlled vocabulary | BATCH-A | Идентификатор серии/партии для трассируемости. |
| 4 | SampleCount_InBatch | integer / decimal | 120 | Идентификатор серии/партии для трассируемости. |
| 5 | PC1_VarianceExplained_Percent | decimal | 8.2 | Контролируемый входной параметр для детерминированных QC-правил. |
| 6 | PC2_VarianceExplained_Percent | decimal | 3.1 | Контролируемый входной параметр для детерминированных QC-правил. |
| 7 | PC1_BatchCorrelation_R2 | string / controlled vocabulary | 0.04 | Идентификатор серии/партии для трассируемости. |
| 8 | MaxAcceptable_PC1_BatchR2 | string / controlled vocabulary | 0.15 | Идентификатор серии/партии для трассируемости. |
| 9 | InterBatchVariance_Percent | decimal | 6.5 | Идентификатор серии/партии для трассируемости. |
| 10 | MaxInterBatchVariance_Percent | decimal | 20.0 | Идентификатор серии/партии для трассируемости. |
| 11 | IntraBatchCV_Percent | decimal | 4.2 | Идентификатор серии/партии для трассируемости. |
| 12 | OutlierSampleCount | integer / decimal | 2 | Идентификатор образца или лабораторной пробы. |
| 13 | TotalSamplesInStudy | string / controlled vocabulary | 360 | Идентификатор образца или лабораторной пробы. |
| 14 | BatchConfoundedWithPhenotype | string / controlled vocabulary | false | Идентификатор серии/партии для трассируемости. |
| 15 | ProcessingDate | string / controlled vocabulary | 2026-01-15 | Контролируемый входной параметр для детерминированных QC-правил. |
| 16 | InstrumentID | string / controlled vocabulary | Illumina-iScan | Контролируемый входной параметр для детерминированных QC-правил. |
| 17 | OperatorID_Source | string / controlled vocabulary | OP-01 | Идентификатор исполнителя/аналитика для audit trail. |
StudyID,DataType,BatchID,SampleCount_InBatch,PC1_VarianceExplained_Percent,PC2_VarianceExplained_Percent,PC1_BatchCorrelation_R2,MaxAcceptable_PC1_BatchR2,InterBatchVariance_Percent,MaxInterBatchVariance_Percent,IntraBatchCV_Percent,OutlierSampleCount,TotalSamplesInStudy,BatchConfoundedWithPhenotype,ProcessingDate,InstrumentID,OperatorID_Source
GWAS-2026-01,SNPArray,BATCH-A,120,8.2,3.1,0.04,0.15,6.5,20.0,4.2,2,360,false,2026-01-15,Illumina-iScan,OP-01
GWAS-2026-01,SNPArray,BATCH-B,120,8.2,3.1,0.05,0.15,6.5,20.0,3.8,1,360,false,2026-02-10,Illumina-iScan,OP-02
GWAS-2026-01,SNPArray,BATCH-C,120,8.2,3.1,0.03,0.15,6.5,20.0,4.5,3,360,false,2026-03-05,Illumina-iScan,OP-01
Правила валидации входных данных
| ID | Поле | Правило | Критичность |
|---|
| VR-001 | StudyID | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-002 | DataType | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-003 | BatchID | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | High |
| VR-004 | SampleCount_InBatch | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-005 | PC1_VarianceExplained_Percent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-006 | PC2_VarianceExplained_Percent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-007 | PC1_BatchCorrelation_R2 | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-008 | MaxAcceptable_PC1_BatchR2 | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-009 | InterBatchVariance_Percent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-010 | MaxInterBatchVariance_Percent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-011 | IntraBatchCV_Percent | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-012 | OutlierSampleCount | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-013 | TotalSamplesInStudy | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-014 | BatchConfoundedWithPhenotype | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-015 | ProcessingDate | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-016 | InstrumentID | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
| VR-017 | OperatorID_Source | Поле должно соответствовать утверждённому справочнику/словарю или допустимой строковой форме. | Medium |
FS — функциональная спецификация
| ID | Функция | Реализация |
|---|
| FS-001 | CLI execution | Поддержать режимы запуска: demo mode без аргументов и production mode input.csv output.json. |
| FS-002 | CSV import | Прочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок. |
| FS-003 | Schema validation | Проверить обязательные поля, количество колонок, неизвестные ключевые поля и пустые обязательные значения. |
| FS-004 | Type conversion | Преобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки. |
| FS-005 | Domain rule engine | Применить правила для Genome-Wide Signal Batch Checker, включая критические пределы из описания и утверждённой спецификации. |
| FS-006 | Status aggregation | Сформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии. |
| FS-007 | JSON export | Записать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings. |
| FS-008 | Audit support | Сохранять структуру результата пригодной для review, расследования отклонений и воспроизведения расчёта. |
| FS-009 | Integration contract | Поддержать сценарий LIMS/ELN/MES → input.csv → utility → output.json → portal/admin review. |
| FS-010 | Error handling | Возвращать явные сообщения для отсутствующего файла, пустого CSV, неверной схемы, ошибки записи output.json и некорректного формата. |
Пример output.json
{
"utilityId": "genomewidesignalbatchchecker",
"utilityFolder": "GenomeWideSignalBatchChecker",
"package": "LiquidBiopsy",
"overallStatus": "PASS|WARNING|FAIL",
"sourceFile": "input.csv",
"processedAtUtc": "2026-06-10T00:00:00Z",
"checks": [
{
"parameter": "StudyID",
"value": "GWAS-2026-01",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-001"
},
{
"parameter": "DataType",
"value": "SNPArray",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-002"
},
{
"parameter": "BatchID",
"value": "BATCH-A",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-003"
},
{
"parameter": "SampleCount_InBatch",
"value": "120",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-004"
},
{
"parameter": "PC1_VarianceExplained_Percent",
"value": "8.2",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-005"
},
{
"parameter": "PC2_VarianceExplained_Percent",
"value": "3.1",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-006"
},
{
"parameter": "PC1_BatchCorrelation_R2",
"value": "0.04",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-007"
},
{
"parameter": "MaxAcceptable_PC1_BatchR2",
"value": "0.15",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-008"
},
{
"parameter": "InterBatchVariance_Percent",
"value": "6.5",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-009"
},
{
"parameter": "MaxInterBatchVariance_Percent",
"value": "20.0",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-010"
},
{
"parameter": "IntraBatchCV_Percent",
"value": "4.2",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-011"
},
{
"parameter": "OutlierSampleCount",
"value": "2",
"status": "PASS|WARNING|FAIL",
"message": "Deterministic rule-based check result",
"ruleReference": "FS-RULE-012"
}
],
"criticalFindings": [],
"warnings": [],
"audit": {
"inputHash": "sha256:<calculated at runtime>",
"rulesVersion": "<utility executable version>",
"documentation": "GenomeWideSignalBatchChecker.documentation.html"
}
}
Матрица трассируемости
| URS | FS | Тест | Подтверждение |
|---|
| URS-001 | FS-001, FS-002 | OQ-001 | Проверить запуск и импорт валидного input.csv. |
| URS-002 | FS-005, FS-006 | OQ-004 | Повторить один и тот же набор данных и сравнить output.json. |
| URS-003 | FS-003, FS-004, FS-010 | OQ-002, OQ-003 | Проверить отсутствующие колонки и неверные типы. |
| URS-004 | FS-005, FS-006 | OQ-004, PQ-001 | Проверить критические отклонения по реальным/граничным данным. |
| URS-005 | FS-007, FS-009 | OQ-005 | Проверить JSON schema и пригодность для downstream-систем. |
| URS-006 | FS-008 | OQ-006 | Проверить наличие идентификаторов и audit metadata. |
| URS-007 | FS-008, FS-010 | IQ-001, OQ-007 | Проверить комплектность документации и control evidence. |
| URS-008 | FS-005, FS-008 | PQ-002 | Проверить review workflow и запрет автоматической замены QA-решения. |
IQ/OQ/PQ тестовые сценарии
| ID | Сценарий | Ожидаемый результат |
|---|
| IQ-001 | Проверить наличие executable, input.csv, документации и контрольной суммы. | Комплект поставки полон; версия зафиксирована. |
| OQ-001 | Валидная строка из примера input.csv. | PASS или допустимый WARNING согласно правилам. |
| OQ-002 | Удалить обязательную колонку из CSV. | Ошибка схемы или FAIL с указанием отсутствующей колонки. |
| OQ-003 | Внести нечисловое значение в числовое поле. | Ошибка преобразования типа с указанием строки/поля. |
| OQ-004 | Значение критического параметра вывести за предел. | FAIL и critical finding. |
| OQ-005 | Проверить структуру output.json. | Все обязательные секции присутствуют, JSON валиден. |
| OQ-006 | Проверить трассируемость серии/образца. | Идентификаторы входа и результатов совпадают. |
| PQ-001 | Проверить 3–5 реальных партий/образцов пользователя. | Результат подтверждён QC/QA review. |
| PQ-002 | Проверить workflow отклонения и ручного QA-решения. | Утилита поддерживает review, но не заменяет утверждённое решение. |
QA/QC и change control
- Не менять имена колонок без обновления валидатора, документации и тестового набора.
- Хранить
input.csv, output.json, версию исполняемого файла и контрольную сумму. - Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
- Критические пределы должны быть сверены с утверждённой спецификацией, регистрационным досье и локальными SOP.
- Утилита предоставляет формализованный QC decision support, но окончательное решение выпуска остаётся за QA/QP и утверждёнными процедурами.