Применение ROC-анализа для оценки результатов работы систем поддержки принятия врачебных решений на примере цифровых маммографических изображений

В настоящее время идет активное внедрение искусственного интеллекта (ИИ), а также систем поддержки принятия врачебных решений (СППВР) в здравоохранение. Лучевая диагностика занимает лидирующие позиции по использованию подобных технологий. В представленной работе описан метод оценки эффективности работы СППВР, в том числе программного обеспечения (ПО) на основе технологий искусственного интеллекта (ПО на основе ТИИ), подходящий любой медицинской организации, перед которой стоит задача оценки применимости подобного ПО.

Цель исследования: наглядно продемонстрировать применение веб-инструмента для ROC-анализа для оценки результатов работы СППВР на примере цифровых маммографических изображений.

Материал и методы. Был использован ретроспективный набор данных маммографических исследований с результатами отчета калибровочного тестирования при смене версионности одного из сервисов ИИ, участника Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения. Версии ИИ-сервиса от 15.02.2023 и 30.05.2023. Объем выборки – 100 исследований. В данной публикации для оценки результатов работы ИИ-сервиса использован ROC-анализ, который был реализован с помощью веб-инструмента для ROC-анализа.

Результаты. Продемонстрирована работа веб-инструмента для ROC-анализа на примере оценки результатов работы ПО на основе ТИИ для обработки цифровых маммографических изображений.

Заключение. Благодаря использованию представленного веб-инструмента для ROC анализа при необходимости может быть реализована проверка любой СППВР, в том числе ПО на основе ТИИ, а также оценка его производительности без применения дополнительных инструментов.

1. Четвериков С.Ф., Арзамасов К.М., Андрейченко А.Е. Подходы к формированию выборки для контроля качества работы систем искусственного интеллекта в медико-биологических исследованиях. Современные технологии в медицине. 2023; 2: 19–27.

2. Говорухина В.Г., Семенов С.С., Гележе П.Б., Диденко В.В., Морозов С.П., Андрейченко А.Е. Роль маммографии в радиомике рака молочной железы. Digital Diagnostics. 2021; 2 (2): 185−199. https://doi.org/10.17816/DD70479

3. Алексеева М.Г., Зубов А.И., Новиков М.Ю. Искусственный интеллект в медицине. Международный научно-исследовательский журнал. 2022; 7: 10−13. https://doi.org/10.23670/IRJ.2022.121.7.038

4. Ройтберг П.Г., Блинов Д.С., Черемисин В.М. Технологии искусственного интеллекта в автоматизации выполнения стандартных задач врача-рентгенолога. Проблемы стандартизации в здравоохранении. 2020; 9 (10): 29−33. https://doi.org/10.26347/1607-2502202009-10029-033

5. Rodriguez-Ruiz A., Lang K., Gubern-Merida A. et al. Stand-Alone Artificial Intelligence for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. J. Natl. Cancer Inst. 2019; 111 (9): 916−922. https://doi.org/10.1093/jnci/djy222

6. Шарова Д.Е., Зинченко В.В., Ахмад Е.С., Мокиенко О.А., Владзимирский А.В., Морозов С.П. К вопросу об этических аспектах внедрения систем искусственного интеллекта в здравоохранении. Digital Diagnostics. 2021; 3: 356−368.

7. Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А. Искусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографий. Туберкулез и болезни легких. 2020; 8: 24−31.

8. Васильев Ю.А., Владзимирский А.В., Шарова Д.Е. Клинические испытания систем искусственного интеллекта (лучевая диагностика). В кн.: Лучшие практики лучевой и инструментальной диагностики. 2-е изд., перераб. и доп. М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. 40 с.

9. Park S.H., Goo J.M., Jo C.H. Receiver Operating Characteristic (ROC) Curve: Practical Review for Radiologists. Korean J. Radiol. 2004; 5 (1): 11−18. https://doi.org/10.3348/kjr.2004.5.1.11

10. Junge M.R., Dettori J.R. ROC Solid: Receiver Operator Characteristic (ROC) Curves as a Foundation for Better Diagnostic Tests. Global Spine J. 2024; 8 (4): 424–429. https://doi.org/10.1177/2192568218778294

11. Мирошниченко И.И. Мониторинг эффективности антипсихотической терапии. Психиатрия. 2022; 20: 128−138.

12. Davis J., Goadrich M. The relationship between Precision-Recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. 2006; 6: 233−240. https://doi.org/10.1145/1143844.1143874

13. Солодкий В.А., Каприн А.Д., Нуднов Н.В. и др. Современные системы поддержки принятия врачебных решений на базе искусственного интеллекта для анализа цифровых маммографических изображений. Вестник рентгенологии и радиологии. 2023; 2: 151−162.

14. Kumar R., Indrayan A. Receiver Operating Characteristic (ROC) Curve for Medical Researchers. Indian pediatr. 2011; 48: 277−287. https://doi.org/10.1007/s13312-011-0055-4

15. Fawcett T. ROC Graphs: Notes and Practical Considerations for Researchers. Machine Learning. 2004; 31: 1−38.

16. Ковалев А.А., Кузнецов Б.К., Ядченко А.А., Игнатенко В.А. Оценка качества бинарного классификатора в научных исследованиях. Проблемы здоровья и экологии. 2020; 4: 105−113.

17. Корнеенков А.А., Рязанцев С.В., Вяземская Е.Э. Вычисление и интерпретация показателей информативности диагностических медицинских технологий. Медицинский Совет. 2019; 20: 45−51. https://doi.org/10.21518/2079-701X-2019-20-45-51

18. Electronic resource: Web tool for ROC analysis. https://roc-analysis.mosmed.ai.

19. Efron B., Tibshirani R. The Bootstrap Method for Assessing Statistical Accuracy. Behaviormetrika. 1985; 12: 1–35. https://doi.org/10.2333/bhmk.12.17_1

20. Васильев Ю.А., Тыров И.А., Владзимирский А.В., Арзамасов К.М., Шулькин И.М., Кожихина Д.Д. и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований. Digital Diagnostics.2023; 2: 93–104.