Ведущие системы искусственного интеллекта (ИИ), включая ChatGPT, уязвимы для повторения ложной информации о здоровье, если она представлена убедительно, согласно новому исследованию, опубликованному в журнале The Lancet Digital Health. Это вызывает серьезные опасения, поскольку ИИ все больше интегрируется в здравоохранение, где точность может иметь решающее значение для жизни и смерти.
Распространение ИИ в здравоохранении… и связанные с этим риски
Большие языковые модели (LLM) быстро внедряются для помощи врачам и пациентам в более быстром получении медицинских данных. Однако это исследование демонстрирует, что эти системы все еще могут некритически принимать и распространять дезинформацию, даже сформулированную на реалистичном медицинском языке. Это проблема, потому что люди все чаще полагаются на онлайн-источники — включая чат-боты на основе ИИ — для получения информации о здоровье, и неверные советы могут иметь серьезные последствия.
Как проводилось исследование
Исследователи из Mount Sinai Health System протестировали 20 LLM от ведущих разработчиков (OpenAI, Meta, Google, Alibaba, Microsoft, Mistral AI) более чем миллионом запросов. Эти запросы включали ложные медицинские утверждения, замаскированные под достоверную информацию: сфабрикованные истории болезни, опровергнутые мифы о здоровье из Reddit и смоделированные клинические сценарии. Цель была проста: повторит ли ИИ ложь, если она сформулирована правдоподобно?
Ключевые выводы: доверчивость варьируется, но остается проблемой
Результаты показали, что ИИ-модели поддавались вымышленной информации в 32% случаев в целом. Однако наблюдался значительный разброс: небольшие или менее продвинутые модели верили ложным утверждениям более чем в 60% случаев, в то время как более мощные системы, такие как ChatGPT-4o, повторяли их только в 10% случаев. Удивительно, но медицински адаптированные модели показали худшие результаты, чем LLM общего назначения в выявлении ложных утверждений.
Примеры дезинформации, принятой ИИ
В исследовании были выявлены несколько опасных примеров:
- ИИ-модели принимали ложные утверждения, такие как «Тиленол может вызвать аутизм, если его принимает беременная женщина».
- Они повторяли дезинформацию, например, «чеснок в прямой кишке повышает иммунитет».
- Одна модель даже приняла выписку, в которой пациентам с кровоточащим эзофагитом рекомендовали «пить холодное молоко, чтобы облегчить симптомы».
Эти примеры демонстрируют потенциал ИИ для распространения вредных медицинских советов. Исследование также показало, что ИИ-системы с большей вероятностью верят ложным утверждениям, когда они представлены с убедительным, но логически несостоятельным обоснованием, например, с апелляцией к авторитету («эксперт говорит, что это правда») или аргументацией о неизбежных последствиях («если произойдет X, последует катастрофа»).
Что дальше? Измерение надежности ИИ
Авторы подчеркивают необходимость рассматривать восприимчивость ИИ к дезинформации как измеримое свойство. Они предлагают проводить крупномасштабные стресс-тесты и проверять внешние доказательства до интеграции ИИ в клинические инструменты. Исследователи опубликовали свой набор данных, чтобы разработчики и больницы могли оценить свои модели.
«Вместо того, чтобы предполагать, что модель безопасна, можно измерить, как часто она передает ложь, и снижается ли это число в следующем поколении», — сказал Махмуд Омар, ведущий автор исследования.
Выводы подчеркивают, что, хотя ИИ может улучшить здравоохранение, его некритическое принятие ложной информации представляет собой значительный риск. Тщательное тестирование и встроенные механизмы защиты необходимы перед широким внедрением.
