Публикации автора

Цель: настоящее исследование направлено на разработку клинической классификации программного обеспечения (ПО) на основе искусственного интеллекта (ИИ) в области лучевой диагностики.

Материалы и методы: для проведения исследования был проведён всесторонний анализ доступной информации о ПО на основе ИИ в сфере лучевой диагностики с использованием отечественных и зарубежных баз данных. В процессе анализа были выявлены ключевые аспекты, включая клиническую применимость ПО на основе ИИ, диагностическую точность медицинских изделий с использованием ИИ в лучевой диагностике.

Результаты: была разработана клиническая классификация ПО на основе ИИ в области лучевой диагностики. Кроме того, было выявлено важное замечание относительно представления метрик диагностической точности ПО на основе ИИ. В результате этого предложенная классификация была расширена и дополнена определением уровня представления метрик диагностической точности в зависимости от клинической классификации.

Заключение: на основе проведенного исследования разработана клиническая классификация ПО на основе ИИ, что обеспечивает единый подход к представлению данных о диагностической точности со стороны разработчиков. Данный подход позволяет повысить прозрачность и сравнимость информации о различных ПО на основе ИИ в медицинской практике, что способствует повышению эффективности и безопасности использования ПО на основе ИИ в медицинской практике. Результаты настоящего исследования имеют потенциал для масштабирования на другие области применения ИИ и могут быть использованы для совершенствования системы регулирования качества медицинских изделий с применением ИИ.

Внедрение системы поддержки принятия врачебных решений (СППВР) в клиническую практику требует тщательного контроля для обеспечения безопасности пациентов и оценки эффективности применения технологий искусственного интеллекта.

Целью данной работы является оценка результативности СППВР «ТОП-3» в условиях консультативно-диагностических поликлиник Департамента здравоохранения города Москвы.

Материалы и методы: Мониторинг работы СППВР «ТОП-3» проводился Департаментом здравоохранения города Москвы с 01.10.2020 по 21.03.2024 (n = 63 809 360 чел.). Рассчитывалась метрика Hit-3, на основе которой принималось решение о необходимости повторного обучения представленной СППВР. Дополнительно было проведено исследование с участием врачей-экспертов: ретроспективный анализ данных на выборке из 3000 пациентов с расчетом согласованности диагнозов от СППВР, врача и эксперта.

Результаты: По результатам мониторинга среднее значение Hit-3 составляло 63,5, 64,5 и 67,7 для первой, второй и третьей версии СППВР соответственно. Экспертиза показала, что в выборке несоответствия диагноза от врача и СППВР (n = 2000) в 80,2% случаев эксперт на основе жалоб соглашался с СППВР, в 11,5% случаях - с врачом, а в 8,3% случаев ставил иной диагноз. В выборке соответствия диагноза врача с одним из диагнозов СППВР (n = 1000) в 50,4% случаев эксперт соглашался с диагнозом от врача и СППВР, в 37,9% случаев – с одним из двух других альтернативных диагнозов СППВР, в 11,7% случаев ставил иной диагноз.

Заключение: Описанная методика мониторинга, дополненная проведением экспертизы, позволила всесторонне оценить внедряемую в систему здравоохранения СППВР. По итогу оценки результативности «ТОП-3» было принято решение о необходимости расширения анализируемого перечня данных электронных медицинских карт, что будет внедрено в следующей версии СППВР «ТОП-3+».

В настоящее время идет активное внедрение искусственного интеллекта (ИИ), а также систем поддержки принятия врачебных решений (СППВР) в здравоохранение. Лучевая диагностика занимает лидирующие позиции по использованию подобных технологий. В представленной работе описан метод оценки эффективности работы СППВР, в том числе программного обеспечения (ПО) на основе технологий искусственного интеллекта (ПО на основе ТИИ), подходящий любой медицинской организации, перед которой стоит задача оценки применимости подобного ПО.

Цель исследования: наглядно продемонстрировать применение веб-инструмента для ROC-анализа для оценки результатов работы СППВР на примере цифровых маммографических изображений.

Материал и методы. Был использован ретроспективный набор данных маммографических исследований с результатами отчета калибровочного тестирования при смене версионности одного из сервисов ИИ, участника Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения. Версии ИИ-сервиса от 15.02.2023 и 30.05.2023. Объем выборки – 100 исследований. В данной публикации для оценки результатов работы ИИ-сервиса использован ROC-анализ, который был реализован с помощью веб-инструмента для ROC-анализа.

Результаты. Продемонстрирована работа веб-инструмента для ROC-анализа на примере оценки результатов работы ПО на основе ТИИ для обработки цифровых маммографических изображений.

Заключение. Благодаря использованию представленного веб-инструмента для ROC-анализа при необходимости может быть реализована проверка любой СППВР, в том числе ПО на основе ТИИ, а также оценка его производительности без применения дополнительных инструментов.