Les principaux systèmes d’intelligence artificielle (IA), y compris ChatGPT, sont vulnérables à la répétition de fausses informations sur la santé lorsqu’elles sont présentées de manière convaincante, selon une nouvelle étude publiée dans The Lancet Digital Health. Cela soulève des préoccupations cruciales à mesure que l’IA est de plus en plus intégrée aux soins de santé, où la précision peut être une question de vie ou de mort.
L’essor de l’IA dans les soins de santé… et les risques
Les LLM (Large Language Models) sont rapidement adoptés pour aider les cliniciens et les patients à accéder plus rapidement aux informations médicales. Mais cette étude démontre que ces systèmes peuvent toujours accepter et diffuser des informations erronées sans réserve, même dans un langage médical réaliste. Il s’agit d’un problème car les gens s’appuient de plus en plus sur des sources en ligne, notamment les chatbots IA, pour obtenir des informations sur la santé, et des conseils incorrects peuvent avoir de graves conséquences.
Comment l’étude a été menée
Les chercheurs du Mount Sinai Health System ont testé 20 LLM de grands développeurs (OpenAI, Meta, Google, Alibaba, Microsoft, Mistral AI) avec plus d’un million de messages. Ces invites comprenaient de fausses déclarations médicales déguisées en informations légitimes : des notes d’hôpital fabriquées de toutes pièces, des mythes sur la santé démystifiés par Reddit et des scénarios cliniques simulés. L’objectif était simple : l’IA répéterait-elle des mensonges si ceux-ci étaient formulés de manière crédible ?
Principales conclusions : la crédulité varie, mais reste un problème
Les résultats ont montré que les modèles d’IA tombaient dans le piège des informations inventées dans 32 % des cas. Il y avait cependant des variations significatives. Les modèles plus petits ou moins avancés croyaient aux fausses allégations dans plus de 60 % des cas, tandis que des systèmes plus puissants comme ChatGPT-4o ne les répétaient que dans 10 % des cas. Étonnamment, les modèles médicalement affinés ont été moins performants que les LLM à usage général pour identifier les fausses allégations.
Exemples de désinformation acceptées par l’IA
L’étude a identifié plusieurs exemples dangereux :
- Les modèles d’IA ont accepté de fausses affirmations telles que “Le Tylenol peut provoquer l’autisme s’il est pris par des femmes enceintes.”
- Ils ont répété des informations erronées telles que “l’ail rectal renforce le système immunitaire”.
- Un modèle a même accepté une note de sortie conseillant aux patients souffrant d’œsophagite hémorragique de « boire du lait froid pour apaiser les symptômes ».
Ces exemples démontrent le potentiel de l’IA à diffuser des conseils de santé nuisibles. L’étude a également révélé que les systèmes d’IA sont plus susceptibles de croire de fausses affirmations lorsqu’ils sont présentés avec un raisonnement convaincant mais logiquement erroné, comme des appels à l’autorité (« un expert dit que c’est vrai ») ou des arguments sur une pente glissante (« si X se produit, une catastrophe s’ensuit »).
Quelle est la prochaine étape ? Mesurer la fiabilité de l’IA
Les auteurs soulignent la nécessité de traiter la susceptibilité de l’IA à la désinformation comme une propriété mesurable. Ils suggèrent d’utiliser des tests de résistance à grande échelle et des vérifications de preuves externes avant d’intégrer l’IA dans les outils cliniques. Les chercheurs ont publié leur ensemble de données pour que les développeurs et les hôpitaux puissent évaluer leurs modèles.
“Au lieu de supposer qu’un modèle est sûr, vous pouvez mesurer la fréquence à laquelle il transmet un mensonge et si ce nombre diminue au cours de la génération suivante”, a déclaré Mahmud Omar, le premier auteur de l’étude.
Les résultats soulignent que même si l’IA a le potentiel d’améliorer les soins de santé, son acceptation sans réserve de fausses informations présente un risque important. Des tests rigoureux et des garanties intégrées sont cruciaux avant une adoption généralisée.
