Outlier_Detection_Grubb_Dixon

Outlier Detection Grubb Dixon

Lumex QC URS & FS input.csv output.json rule-based LIMS-ready outlier
Открыть подборку

Описание утилиты: Outlier Detection Grubb Dixon

Outlier Detection Grubb Dixon — Статистический анализ выбросов (Граббс и Диксон)

ℹ️  Утилита применяет критерии Граббса и Диксона для выявления аномальных значений:
   • Критерий Граббса (G): Для данных, распределенных нормально (N > 3).
   • Критерий Диксона (Q): Для малых выборок (3 ≤ N ≤ 10).
   • Уровень значимости (Alpha): Обычно 0.05 (95% доверительный интервал).

⚠️  КРИТИЧНО: Наличие выброса (Status: FAIL) требует расследования причины!
   Автоматическое удаление выбросов без технического обоснования запрещено GMP.

Использование:
 Outlier_Detection_Grubb_Dixon.exe                            → демо-режим (вывод в консоль)
 Outlier_Detection_Grubb_Dixon.exe input.csv output.json      → оценка ваших данных

Формат input.csv:
BatchNumber,Alpha,Value1,Value2,Value3,...

Пример:
 STAT-SERIES-001,0.05,10.1,10.2,10.0,10.3,12.5

— ЗАЧЕМ ЭТО НУЖНО?
При валидации методик (USP <1225>) и рутинном контроле (например, единообразие дозирования USP <905>) важно обеспечить однородность данных.
• Выбросы могут возникать из-за ошибок пипетирования, пузырьков воздуха, сбоев прибора или гетерогенности образца.
• Критерий Граббса является наиболее мощным для обнаружения одного выброса в нормальном распределении.
• Критерий Диксона прост в расчете и широко используется для быстрых проверок малых серий (3-10 повторностей).
• Утилита автоматически рассчитывает статистику (G и Q) и сравнивает их с критическими табличными значениями.

⚠️  КРИТИЧЕСКИ ВАЖНО:
• Статус "FAIL" означает, что статистическая гипотеза об отсутствии выбросов отвергается.
• Если выброс обнаружен, необходимо проверить сырые данные (хроматограммы, спектры) на наличие технических ошибок.
• Повторное тестирование серии допускается только согласно утвержденной SOP (стандартной операционной процедуре).
• Для множественных выбросов требуются итеративные методы или другие тесты (напр., Тест Тьюки).

Ключевые особенности утилиты:
• Двойная проверка (Граббс + Диксон) для повышения надежности.
• Расчет очищенного среднего (без учета выброса) для оценки влияния аномалии.
• Генерация отчета для архивации в LIMS.

Критические параметры:
• Grubbs G Statistic: < Critical Value
• Dixon Q Statistic: < Critical Value
• Alpha: 0.05 (Standard)

💡 Советы по использованию:
1. Используйте для серий повторных инъекций (Precision) или индивидуальных доз (Uniformity).
2. Убедитесь, что данные подчиняются нормальному распределению перед применением теста Граббса.
3. При N > 10 критерий Диксона менее эффективен, полагайтесь на Граббса или тесты множественных выбросов.
4. Всегда документируйте решение об исключении точки из расчета.

⚠️ Особенность: Данная утилита реализует классические компедиальные подходы к обработке аномальных результатов, соответствующие требованиям FDA и EMA по целостности данных (Data Integrity).

input.csv

BatchNumber,Alpha,Val1,Val2,Val3,Val4,Val5,Val6,Val7,Val8,Val9,Val10
STAT-SERIES-001,0.05,10.1,10.2,10.0,10.3,10.1,10.2,10.1,10.0,10.2,10.1
STAT-SERIES-002,0.05,10.1,10.2,10.0,10.3,10.1,12.5,10.1,10.0,10.2,10.1
STAT-SERIES-003,0.05,5.0,5.1,5.2,5.0,5.1,5.0,5.1,5.2,5.0,5.1

Описание утилиты

Outlier Detection Grubb Dixon — Статистический анализ выбросов (Граббс и Диксон)

ℹ️  Утилита применяет критерии Граббса и Диксона для выявления аномальных значений:
   • Критерий Граббса (G): Для данных, распределенных нормально (N > 3).
   • Критерий Диксона (Q): Для малых выборок (3 ≤ N ≤ 10).
   • Уровень значимости (Alpha): Обычно 0.05 (95% доверительный интервал).

⚠️  КРИТИЧНО: Наличие выброса (Status: FAIL) требует расследования причины!
   Автоматическое удаление выбросов без технического обоснования запрещено GMP.

Использование:
 Outlier_Detection_Grubb_Dixon.exe                            → демо-режим (вывод в консоль)
 Outlier_Detection_Grubb_Dixon.exe input.csv output.json      → оценка ваших данных

Формат input.csv:
BatchNumber,Alpha,Value1,Value2,Value3,...

Пример:
 STAT-SERIES-001,0.05,10.1,10.2,10.0,10.3,12.5

— ЗАЧЕМ ЭТО НУЖНО?
При валидации методик (USP <1225>) и рутинном контроле (например, единообразие дозирования USP <905>) важно обеспечить однородность данных.
• Выбросы могут возникать из-за ошибок пипетирования, пузырьков воздуха, сбоев прибора или гетерогенности образца.
• Критерий Граббса является наиболее мощным для обнаружения одного выброса в нормальном распределении.
• Критерий Диксона прост в расчете и широко используется для быстрых проверок малых серий (3-10 повторностей).
• Утилита автоматически рассчитывает статистику (G и Q) и сравнивает их с критическими табличными значениями.

⚠️  КРИТИЧЕСКИ ВАЖНО:
• Статус "FAIL" означает, что статистическая гипотеза об отсутствии выбросов отвергается.
• Если выброс обнаружен, необходимо проверить сырые данные (хроматограммы, спектры) на наличие технических ошибок.
• Повторное тестирование серии допускается только согласно утвержденной SOP (стандартной операционной процедуре).
• Для множественных выбросов требуются итеративные методы или другие тесты (напр., Тест Тьюки).

Ключевые особенности утилиты:
• Двойная проверка (Граббс + Диксон) для повышения надежности.
• Расчет очищенного среднего (без учета выброса) для оценки влияния аномалии.
• Генерация отчета для архивации в LIMS.

Критические параметры:
• Grubbs G Statistic: < Critical Value
• Dixon Q Statistic: < Critical Value
• Alpha: 0.05 (Standard)

💡 Советы по использованию:
1. Используйте для серий повторных инъекций (Precision) или индивидуальных доз (Uniformity).
2. Убедитесь, что данные подчиняются нормальному распределению перед применением теста Граббса.
3. При N > 10 критерий Диксона менее эффективен, полагайтесь на Граббса или тесты множественных выбросов.
4. Всегда документируйте решение об исключении точки из расчета.

⚠️ Особенность: Данная утилита реализует классические компедиальные подходы к обработке аномальных результатов, соответствующие требованиям FDA и EMA по целостности данных (Data Integrity).

URS & FS — спецификация пользователя и функциональная спецификация

Документ описывает контролируемый интерфейс, требования пользователя и функциональное поведение утилиты Outlier_Detection_Grubb_Dixon. Назначение: автоматизированная проверка лабораторных, фармакопейных, аналитических или производственных QC-параметров на основе данных input.csv с формированием структурированного результата output.json.

Предметные ограничения и критические параметры

Перед продуктивным применением пределы должны быть сверены с утверждённой спецификацией, регистрационным досье, фармакопейной статьёй, валидированной методикой и локальными SOP.
  • • Статус "FAIL" означает, что статистическая гипотеза об отсутствии выбросов отвергается.
  • • Если выброс обнаружен, необходимо проверить сырые данные (хроматограммы, спектры) на наличие технических ошибок.
  • • Повторное тестирование серии допускается только согласно утвержденной SOP (стандартной операционной процедуре).
  • • Для множественных выбросов требуются итеративные методы или другие тесты (напр., Тест Тьюки).
  • • Двойная проверка (Граббс + Диксон) для повышения надежности.
  • • Расчет очищенного среднего (без учета выброса) для оценки влияния аномалии.
  • • Генерация отчета для архивации в LIMS.
  • • Grubbs G Statistic: < Critical Value
  • • Dixon Q Statistic: < Critical Value
  • • Alpha: 0.05 (Standard)
  • • Критерий Диксона (Q): Для малых выборок (3 ≤ N ≤ 10).

URS — пользовательские требования

IDТребованиеКритичностьКритерий приемки
URS-001Утилита должна принимать файл input.csv с точными заголовками из контракта данных.HighФайл обрабатывается без ручной правки заголовков.
URS-002Утилита должна выполнять детерминированную проверку для Outlier Detection Grubb Dixon на основе входных значений, утверждённых пределов и предметных правил.HighДля каждой строки формируется статус PASS / WARNING / FAIL.
URS-003Утилита должна проверять обязательные поля, типы данных, числовые диапазоны, единицы измерения и предметную правдоподобность.HighОшибки схемы, формата и преобразования явно отражаются в результате.
URS-004Утилита должна выявлять критические отклонения по показателям, указанным в описании и спецификации метода.HighКритическое отклонение приводит к FAIL или отдельному critical finding.
URS-005Утилита должна формировать output.json с машинно-читаемыми результатами, исходными значениями, предупреждениями и отказами.HighJSON пригоден для LIMS/ELN/MES, QA/QC review и архивирования.
URS-006Результат не должен зависеть от машинного обучения или недокументированных эвристик.MediumВсе решения основаны на явно заданных правилах, порогах и входных значениях.
URS-007Система должна сохранять трассируемость между серией, входными данными, применёнными правилами и итоговым статусом.HighВыход содержит идентификатор серии/образца и перечень проверенных параметров.
URS-008Документация должна поддерживать подготовку IQ/OQ/PQ и обсуждение при инспекции.MediumURS, FS, контракт CSV/JSON и тестовые сценарии поставляются вместе с утилитой.
URS-009Утилита должна быть пригодна для пакетной обработки нескольких строк input.csv.MediumКаждая строка получает независимую оценку; ошибки одной строки не скрывают ошибки других строк.
URS-010Утилита должна поддерживать простую операционную модель: запуск в demo-mode и запуск с входным/выходным файлом.MediumCLI-сценарий воспроизводим на тестовом и продуктивном окружении.

Контракт input.csv

#ПолеТипПримерНазначение
1BatchNumberstringSTAT-SERIES-001Идентификатор серии/партии для трассируемости, review и последующего расследования отклонений.
2Alphadecimal0.05Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
3Val1string / decimal10.1Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
4Val2string / decimal10.2Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
5Val3string / decimal10.0Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
6Val4string / decimal10.3Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
7Val5string / decimal10.1Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
8Val6string / decimal10.2Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
9Val7string / decimal10.1Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
10Val8string / decimal10.0Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
11Val9string / decimal10.2Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
12Val10string / decimal10.1Контролируемый входной параметр для детерминированных QC-правил и трассируемого результата.
BatchNumber,Alpha,Val1,Val2,Val3,Val4,Val5,Val6,Val7,Val8,Val9,Val10
STAT-SERIES-001,0.05,10.1,10.2,10.0,10.3,10.1,10.2,10.1,10.0,10.2,10.1
STAT-SERIES-002,0.05,10.1,10.2,10.0,10.3,10.1,12.5,10.1,10.0,10.2,10.1
STAT-SERIES-003,0.05,5.0,5.1,5.2,5.0,5.1,5.0,5.1,5.2,5.0,5.1

FS — функциональная спецификация

IDФункцияРеализация
FS-001CSV importПрочитать input.csv в UTF-8/CSV-совместимом формате, проверить наличие заголовка и ожидаемых колонок.
FS-002Schema validationПроверить обязательные поля, количество колонок, отсутствие критических пропусков и корректность структуры строк.
FS-003Type conversionПреобразовать числовые, флаговые и текстовые значения; некорректный формат фиксировать как ошибку строки.
FS-004Domain rule engineПрименить предметные правила для Outlier Detection Grubb Dixon, включая лимиты из описания утилиты и утверждённой спецификации.
FS-005Status aggregationСформировать итоговый статус: FAIL при критическом отказе, WARNING при некритическом отклонении, PASS при соответствии.
FS-006JSON exportЗаписать output.json с детализацией проверок, исходными значениями, предупреждениями, отказами и critical findings.
FS-007Audit supportСохранять структуру результата пригодной для review, расследования отклонений, воспроизведения расчёта и подготовки IQ/OQ/PQ.
FS-008Integration contractПоддерживать сценарий: LIMS/ELN/MES формирует input.csv, утилита возвращает output.json, портал отображает описание и документацию.
FS-009Error handlingОтражать ошибки без неоднозначных сообщений; не подменять отсутствующие значения расчетными значениями без явного правила.
FS-010Version control supportДокументировать версию утилиты, входной контракт, контрольную сумму исполняемого файла и дату применения правил.

Пример output.json

{
  "utilityId": "outlier-detection-grubb-dixon",
  "utilityName": "Outlier_Detection_Grubb_Dixon",
  "overallStatus": "PASS|WARNING|FAIL",
  "sourceFile": "input.csv",
  "checks": [
    {
      "parameter": "BatchNumber",
      "value": "STAT-SERIES-001",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Alpha",
      "value": "0.05",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val1",
      "value": "10.1",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val2",
      "value": "10.2",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val3",
      "value": "10.0",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val4",
      "value": "10.3",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val5",
      "value": "10.1",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val6",
      "value": "10.2",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val7",
      "value": "10.1",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val8",
      "value": "10.0",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val9",
      "value": "10.2",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    },
    {
      "parameter": "Val10",
      "value": "10.1",
      "status": "PASS|WARNING|FAIL",
      "message": "Rule-based check result"
    }
  ],
  "criticalFindings": [],
  "warnings": [],
  "generatedFor": "QA/QC review and LIMS integration"
}

Матрица трассируемости

URSFSOQ/PQ покрытие
URS-001, URS-003FS-001, FS-002, FS-003OQ-001/OQ-002/OQ-003
URS-002, URS-004FS-004, FS-005OQ-004/PQ-001
URS-005, URS-007FS-006, FS-007OQ-005/PQ-002
URS-008, URS-010FS-008, FS-010IQ-001/OQ-006

OQ/PQ тестовые сценарии

IDСценарийОжидаемый результат
OQ-001Валидная строка из примераPASS или допустимый WARNING согласно правилам.
OQ-002Отсутствует обязательная колонкаОшибка схемы или FAIL.
OQ-003Нечисловое значение в числовом полеОшибка преобразования типа.
OQ-004Значение критического параметра за пределомFAIL и critical finding.
OQ-005Несколько строк с разными статусамиНезависимая оценка каждой строки.
PQ-001Реальная серия/партия пользователяСогласованный результат review с сохранением input/output.

QA/QC и change control

  • Не менять имена колонок без обновления валидатора, документации и тестового набора.
  • Хранить input.csv, output.json, версию исполняемого файла, документацию и checksum.
  • Перед продуктивным использованием провести IQ/OQ/PQ или эквивалентную CSV/CSA-проверку.
  • Критические пределы должны быть сверены с утверждённой спецификацией, локальными SOP и регистрационным досье.

Входит в пакеты

Lumex QC Suite

Единый пакет Lumex, объединяющий исходные Lumex и Lumex2: инструментальный и общий фармацевтический QC, AAS/ICP, CE, HPLC, NIR/PAT, стабильность, растворение, однородность дозирования, системная пригодность и статистический контроль.

Открыть

Радиология

Пакет для радиологии и диагностической визуализации: радиофармпрепараты, PET/SPECT, контрастные вещества, йодсодержащие и гадолиниевые препараты, а также проверки частиц, стерильности и эндотоксинов.

Открыть