Přední systémy umělé inteligence (AI), včetně ChatGPT, jsou podle nové studie zveřejněné v The Lancet Digital Health zranitelné vůči opakování falešných zdravotních informací, jsou-li prezentovány přesvědčivě. To je hlavní problém, protože AI se stále více integruje do zdravotnictví, kde přesnost může znamenat rozdíl mezi životem a smrtí.
Šíření umělé inteligence ve zdravotnictví… a rizika s tím spojená
Velké jazykové modely (LLM) jsou rychle přijímány, aby pomohly lékařům a pacientům rychlejší přístup k lékařským datům. Tato studie však ukazuje, že tyto systémy mohou stále nekriticky přijímat a šířit dezinformace, i když jsou formulovány realistickým lékařským jazykem. To je problém, protože lidé se kvůli zdravotním informacím stále více spoléhají na online zdroje – včetně chatbotů s umělou inteligencí – a špatné rady mohou mít vážné následky.
Jak byla studie provedena
Výzkumníci z Mount Sinai Health System testovali 20 LLM od předních vývojářů (OpenAI, Meta, Google, Alibaba, Microsoft, Mistral AI) s více než milionem dotazů. Tyto požadavky zahrnovaly nepravdivá lékařská tvrzení maskovaná jako spolehlivé informace: vymyšlené lékařské záznamy, vyvrácené zdravotní mýty z Redditu a simulované klinické scénáře. Cíl byl jednoduchý: bude AI opakovat lež, pokud je formulována věrohodně?
Klíčová zjištění: Důvěra je různá, ale zůstává výzvou
Výsledky ukázaly, že modely umělé inteligence podlehly fiktivním informacím celkem 32 % času. Nicméně existovaly významné rozdíly: menší nebo méně pokročilé modely věřily nepravdivým prohlášením více než 60 % času, zatímco výkonnější systémy jako ChatGPT-4o je opakovaly pouze 10 % času. Překvapivě, lékařsky přizpůsobené modely fungovaly hůře než LLM pro obecné účely při identifikaci nepravdivých tvrzení.
Příklady dezinformací akceptovaných AI
Studie odhalila několik nebezpečných příkladů:
- Modely umělé inteligence akceptovaly nepravdivá prohlášení jako „Tylenol může způsobit autismus, pokud jej užívá těhotná žena.“
- Opakovali dezinformace, například “česnek v konečníku zlepšuje imunitu.”
- Jeden model dokonce přijal prohlášení, které pacientům s krvácivou ezofagitidou doporučovalo „pít studené mléko ke zmírnění příznaků“.
Tyto příklady demonstrují potenciál AI šířit škodlivé lékařské rady. Studie také zjistila, že systémy umělé inteligence pravděpodobněji uvěří nepravdivým prohlášením, když jsou předloženy s přesvědčivým, ale logicky nekonzistentním odůvodněním, jako je apel na autoritu („odborník tvrdí, že je to pravda“) nebo argument o nevyhnutelných důsledcích („pokud se stane X, bude následovat katastrofa“).
Co bude dál? Měření spolehlivosti AI
Autoři zdůrazňují nutnost zvažovat náchylnost AI k dezinformacím jako měřitelnou vlastnost. Navrhují provádět rozsáhlé zátěžové testy a přezkoumávat externí důkazy před integrací umělé inteligence do klinických nástrojů. Výzkumníci zveřejnili svůj soubor dat, aby vývojáři a nemocnice mohli vyhodnotit své modely.
„Namísto toho, abychom předpokládali, že je model bezpečný, lze měřit, jak často přenáší lži a zda se toto číslo v příští generaci sníží,“ řekl Mahmoud Omar, hlavní autor studie.
Zjištění zdůrazňují, že zatímco AI má potenciál zlepšit zdravotní péči, její nekritické přijímání nepravdivých informací představuje značné riziko. Před širokým přijetím je nutné důkladné testování a vestavěné bezpečnostní mechanismy.
