Большие генеративные модели (БГМ) обладают значительным потенциалом для здравоохранения и медицинской науки. Несмотря на экспоненциальный рост числа публикаций, качество и результативность научного изучения БГМ остается неудовлетворительной. В научной литературе утверждается необходимость создания стандартизированных подходов для обеспечения безопасной и эффективной интеграции БГМ в клиническую практику. В системе здравоохранения г. Москвы осуществляется апробация БГМ в качестве средства поддержки принятия врачебных решений, которая потребовала создания особых методов и инструментов для оценки их качества. Представлены две методики оценки качества БГМ, разработанные на основе: анализа литературных данных (всего свыше 200 источников); результатов проведенного авторами этапного комплексного тестирования 204 БГМ; эмпирического опыта оценки качества БГМ на выборке из более 12 000 случаев применения. Методики предназначены для двух основных сценариев применения моделей. В их основе лежат (с учетом сценария) принципы формирования тестовой выборки, специально разработанные и валидированные опросники, способы тестирования, унифицированные требования к составу и структуре результатов оценки качества.
Внедрение системы поддержки принятия врачебных решений (СППВР) в клиническую практику требует тщательного контроля для обеспечения безопасности пациентов и оценки эффективности применения технологий искусственного интеллекта.
Целью данной работы является оценка результативности СППВР «ТОП-3» в условиях консультативно-диагностических поликлиник Департамента здравоохранения города Москвы.
Материалы и методы: Мониторинг работы СППВР «ТОП-3» проводился Департаментом здравоохранения города Москвы с 01.10.2020 по 21.03.2024 (n = 63 809 360 чел.). Рассчитывалась метрика Hit-3, на основе которой принималось решение о необходимости повторного обучения представленной СППВР. Дополнительно было проведено исследование с участием врачей-экспертов: ретроспективный анализ данных на выборке из 3000 пациентов с расчетом согласованности диагнозов от СППВР, врача и эксперта.
Результаты: По результатам мониторинга среднее значение Hit-3 составляло 63,5, 64,5 и 67,7 для первой, второй и третьей версии СППВР соответственно. Экспертиза показала, что в выборке несоответствия диагноза от врача и СППВР (n = 2000) в 80,2% случаев эксперт на основе жалоб соглашался с СППВР, в 11,5% случаях - с врачом, а в 8,3% случаев ставил иной диагноз. В выборке соответствия диагноза врача с одним из диагнозов СППВР (n = 1000) в 50,4% случаев эксперт соглашался с диагнозом от врача и СППВР, в 37,9% случаев – с одним из двух других альтернативных диагнозов СППВР, в 11,7% случаев ставил иной диагноз.
Заключение: Описанная методика мониторинга, дополненная проведением экспертизы, позволила всесторонне оценить внедряемую в систему здравоохранения СППВР. По итогу оценки результативности «ТОП-3» было принято решение о необходимости расширения анализируемого перечня данных электронных медицинских карт, что будет внедрено в следующей версии СППВР «ТОП-3+».
Алгоритмы машинного обучения (МО) находят применение во всех сферах жизни человека. Пренатальный скрининг (ПС) не является исключением. Внедрение методов МО для оценки результатов ПС позволит преодолеть проблемы, присущие анализу людьми: снизить субъективность и вариабельность между разными специалистами при чтении медицинских изображений, сократить время исследования, стратифицировать беременных по группам риска с большей достоверностью. Настоящее исследование сконцентрировано на оценке диагностической результативности применения технологий, основанных на применении методов искусственного интеллекта (ИИ), для оценки результатов ПС. Исследование проводилось в соответствии с методологией обзора предметного поля. По результатам поиска в базах PubMed и eLibrary идентифицировано 27 релевантных работ. Все включенные работы продемонстрировали положительный потенциал методов ИИ для обнаружения, классификации или прогнозирования рисков развития врожденных аномалий (ВА). При интерпретации медицинских изображений МО позволяет сократить время диагностики, повысить ее качество, обеспечить возможность проведения данного варианта диагностики в удаленных и труднодоступных районах или в условиях кадрового дефицита, сохраняя при этом достаточную чувствительность и специфичность вне зависимости от квалификации врача. Алгоритмы на основе метаболомного анализа обладают преимуществами в точности и эффективности прогнозирования хромосомных аномалий. Системы поддержки принятия врачебных решений позволяют улучшить прогнозирование развития ВА в первом триместре беременности как с точки зрения точности скрининга, так и с точки зрения снижения стоимости программы скрининга.
Тем не менее текущие эмпирически подтверждённые знания в основном получены при внедрении систем ИИ с низкой автономностью действий, и авторы большинства включенных в анализ исследований описывают ряд ограничений, которые необходимо учитывать при внедрении подобных решений.