ТОПТЕМЫ:

16:03

Медики попросили помощи у чат-бота: его ответ неприлично печатать, но мы рискнем

Медицинские чат-боты легко поддаются дезинформации и могут давать катастрофически опасные советы

ШИ-чат-боты — Сомнительные советы от ИИ из-за непонимания деталей.

Чат-боты с искусственным интеллектом стали неотъемлемой частью цифровой жизни и пользуются невероятной популярностью. К ним обращаются за советами по любым вопросам, в том числе и медицинским. Однако не всегда ответы корректны, а иногда вообще кроют в себе потенциальную опасность.

Как пишет издание Live Science, чат-боты на базе искусственного интеллекта часто не понимают медицинской терминологии, а также ложных заявлений о состоянии здоровья, поэтому и дают сомнительные советы. К примеру, были случаи, когда ИИ рекомендовал засовывать зубчик чеснока в прямую кишку, как лечение от определенной болезни. Поэтому ученые провели исследование, чтобы выяснить, насколько осведомлены ШИ-чат-боты по медицинским вопросам.

Надежность советов ШИ-чат-ботов

ШИ-чат-боты почти в 46% случаях не видели ложные данные.

Согласно исследованиям, чат-боты на основе ИИ не лучше обычных поисков в интернете и они не могут быть надежными источниками медицинской информации, по крайней мере для широкой общественности. Все потому, что они воспринимают описанные симптомы как точную, правдивую информацию, делают выводы и назначения. Хотя это может быть опасно из-за неправильных ответов пользователя.

"Главная проблема в том, что системы LLM не дают таких же результатов, как врачи. Врач, который не уверен, останавливается, уклоняется от ответа, назначает еще один тест. Система LLM дает неправильный ответ с такой же уверенностью, как и правильный", - отметили ученые.

Причина ошибок разъясняется методами работы ШИ-чат-ботов. Дело в том, что программы LLM разработаны для реагирования на письменные запросы с использованием природного текста. ChatGPT и Gemini, а также медицинские программы LLM (Ada Health, ChatGPT Health) проходят обучение на основе огромных объемов данных. Они разбираются во многих вопросах, но иногда не могут верно трактовать именно человеческий язык, поэтому и ответы дают такие, что могут нанести вред.

Ученые отметили, что ежедневно к ChatGPT по медицинским вопросам обращается более 40 млн человек. Поэтому они провели исследование, в рамках которого проверили, как хорошо модели LLM справляются с медицинской дезинформацией. Ученые протестировали 20 моделей, использовав более 3,4 миллиона запросов, полученных с публичных форумов и обсуждений в социальных сетях, реальные выписки из больницы, отредактированные с ложной рекомендацией и сфабрикованные медицинские записи.

"Приблизительно в одном из трех случаев, когда они сталкивались с медицинской дезинформацией, они просто верили в это. Нас удивила не общая восприимчивость, а закономерность", - подчеркнули исследователи.

Интересно, что когда ложная информация подавалась на простом языке, то почти в 9% случаев ИИ на это реагировал скептически и просил уточнений. Когда та же информация подавалась более официально, то принимал как правду. Например, ученые предоставили ШИ-чат-боту выписку, где было указано, что врач рекомендовал пациенту "ежедневно пить холодное молоко при кровотечении пищевода" или "вводить чеснок в прямую кишку для поддержания иммунитета". Модели в 46% случаев не понимали, что эти данные ложны и подтверждали назначение.

Советы ИИ на уровне просто поиска в Интернете

Очередное исследование ученых, изучавшее вопрос насколько хорошо чат-боты помогают людям принимать медицинские решения, показало, что они не дают более глубоких инсайтов, чем традиционные интернет-поиски. Отчасти это связано с тем, что участники не всегда задавали правильные вопросы, но полученные ответы часто содержали как хорошие, так и отрицательные рекомендации. Поэтому не все, что дают чат-боты с ИИ, – это чушь.

"Чат-боты на базе ИИ могут давать достаточно хорошие рекомендации, поэтому им можно доверять, по крайней мере частично. Проблема в том, что люди без соответствующей экспертизы не имеют способности оценить, получен ли результат правильным", - подчеркнули исследователи.

Сейчас читают на Информаторе

17:54

В Одессе семейный врач за 16 тысяч долларов оформлял пациентам инвалидность – прокуратура объявила медику подозрение