В 8 из 10 случаев детские заболевания ChatGPT диагностирует некорректно. Таким образом, в диагностике сложных заболеваний так называемых «умных ботов» в качестве медицинских помощников применять недопустимо.
К такому выводу пришли специалисты Детского медицинского центра Коэна.
Изучив несколько больших языковых моделей, в том числе ChatGPT от OpenAI, эксперты центра признали, что хоть такого рода сервисы хоть и обучаются на огромных объемах данных, тем не менее по-прежнему не способны отличать достоверную информацию от недостоверной и/или сомнительной.
Не пропустите: ИИ штурмует медицину: корпорации уже в деле
Кроме того, боты «не имеют доступа к медицинской информации в режиме реального времени, потому они не в курсе новых исследований и тенденций в области здравоохранения«.
Что же касается практики непосредственного применения ботов для диагностики заболеваний в педиатрии, то согласно докладу, опубликованному в JAMA Pediatrics, тесты показали, что из 100 случаев чат-бот в 72 ставит полностью неправильный диагноз и еще в 11 — его диагноз «слишком обобщен, чтобы его можно было назвать правильным».
В докладе также подчеркивается, что:
- бот не умеет выявлять специфические взаимосвязи (как например, между аутизмом и дефицитом витаминов), подтверждая тем самым»непреходящую важность клинического опыта врачей»;
- в половине случаев, когда бот диагноз поставил неправильно, он тем не менее правильно определил систему органов, потому можно допустить, что для повышения точности диагностики требуется обучать ИИ более избирательно;
- данное исследование является первым из тех, которые изучают результативность применения медицинских ботов исключительно в педиатрии, где наряду с симптомами необходимо учитывать также возрастные особенности пациентов.
Таким образом, по мнению авторов доклада, врачам, очевидно, придется более активно участвовать в составлении новых датасетов для обучения ИИ, равно как и в подготовке ботов к выполнению медицинских функций.
Напомним также, что разного рода эксперименты с применением ИИ-ботов в медицине продолжаются. Более того, по сообщениям прессы, ИИ даже сдают экзамены на получение медицинской лицензии и показывают, что превосходят врачей в конкретных задачах.
Вместе с тем, сами врачи еще только пытаются определить тот уровень, на котором практику применения специализированных ИИ-систем в медицине можно будет называть успешной. И в настоящее время, целесообразность применение данной технологии для принятия клинических решений по-прежнему подвергается сомнениям.
Специалисты Детского медицинского центра Коэна согласны с тем, что «эта область созрела для дальнейших исследований», но считают, что большие языковые модели и боты могут быть полезными пока только в качестве административных инструментов для решения таких задач, как написание научных статей и составления инструкций для пациентов. via