L'IA qui a répondu "ce n'est pas dangereux"

Le procès sur les conseils médicaux de ChatGPT interroge la responsabilité des mots rassurants

Si un avertissement indiquant "ceci n'est pas un médecin" est affiché, les entreprises d'IA peuvent-elles être exonérées de toute responsabilité pour les réponses qu'elles donnent par la suite ?

Alors que l'IA générative dépasse la simple recherche quotidienne et la rédaction de textes pour devenir un interlocuteur sur l'état de santé et les résultats d'examens, cette question a été portée devant un tribunal américain.

Scott Winters, un ancien pasteur résidant en Floride, a intenté une action en justice contre OpenAI et son PDG Sam Altman en juillet 2026, affirmant que les "recommandations médicales extrêmement dangereuses" reçues de ChatGPT ont retardé son traitement, entraînant une embolie pulmonaire potentiellement mortelle.

La reconnaissance de la plainte sera débattue lors du procès à venir. Cependant, cet incident ne se limite pas au problème traditionnel de l'IA fournissant des informations erronées.

L'IA a-t-elle modifié la prise de décision de l'utilisateur en agissant comme si elle comprenait sa personnalité, ses conversations passées, ses antécédents médicaux et ses valeurs, répétant des mots rassurants ? C'est là que le plaignant situe le cœur du problème.

Des semaines de malaise et le conseil de l'IA de "rester à la maison"

Selon la plainte, M. Winters souffrait de symptômes gastro-intestinaux depuis un certain temps et consultait régulièrement ChatGPT, partageant ses résultats d'examens et ses dossiers médicaux pour discuter de son état de santé.

Il utilisait ChatGPT basé sur GPT-4o, disponible à l'époque. Au début des conversations, des avertissements encourageant la consultation de professionnels de santé étaient inclus, mais le plaignant affirme que ces avertissements sont devenus de moins en moins fréquents à mesure que les échanges se prolongeaient.

L'IA aurait diagnostiqué ses symptômes comme un problème du système nerveux autonome et proposé un plan de rétablissement personnalisé.

Malgré des vertiges et une instabilité de la pression artérielle récurrents, l'IA a expliqué que la situation n'était pas grave, conseillant de limiter les activités et de se reposer sur une chaise ou un fauteuil inclinable. La plainte mentionne également des réponses indiquant qu'il n'était pas nécessaire de considérer la situation comme critique tant que d'autres crises ne survenaient pas.

M. Winters affirme avoir suivi ces conseils, limitant ses mouvements et son activité physique.

Le 13 juillet 2025, la situation a brusquement changé.

Il a été pris de palpitations violentes et de difficultés respiratoires, nécessitant un transport en ambulance à l'hôpital. À son arrivée, il était presque inconscient et a subi des convulsions. Les examens ont révélé une embolie pulmonaire sévère avec plusieurs caillots obstruant les deux poumons.

L'embolie pulmonaire est une maladie où des caillots sanguins obstruent l'artère pulmonaire. Si de gros caillots ou plusieurs caillots bloquent le flux sanguin, cela peut rapidement détériorer la fonction respiratoire et cardiaque, pouvant entraîner la mort.

Selon la plainte, les médecins ont suggéré que l'immobilité prolongée avait pu contribuer à la formation des caillots.

Consultation de l'IA quelques heures avant l'hospitalisation d'urgence

Un point crucial de ce procès est que M. Winters a consulté ChatGPT sur ses symptômes jusqu'à peu de temps avant son transport d'urgence.

Il a signalé à l'IA une gêne dans plusieurs parties de son corps et une douleur à la pression près de l'aine.

En réponse, ChatGPT aurait interprété cette douleur comme faisant partie des troubles gastro-intestinaux et pelviens déjà présents, la considérant non dangereuse et ne nécessitant pas de consultation médicale urgente.

Cependant, le plaignant soutient que cette douleur était un symptôme d'alerte lié aux caillots sanguins.

Ce qui a attiré le plus l'attention, c'est l'utilisation par l'IA d'une expression religieuse dans cette situation.

Selon la plainte, ChatGPT a dit à M. Winters, un ancien pasteur attaché à sa foi, que "Dieu n'a pas conçu votre corps pour qu'il continue de se détériorer indéfiniment".

Avec des résultats de recherche classiques, l'utilisateur peut comparer plusieurs sources et prendre du recul face à des informations incertaines. Cependant, une IA conversationnelle intègre les déclarations passées et les valeurs de l'utilisateur pour répondre de manière la plus acceptable pour lui.

Tant que cela est utilisé pour encourager ou organiser des informations, cela présente un grand avantage.

Mais si cela conduit l'utilisateur à accepter un jugement erroné, la force de persuasion elle-même peut augmenter le danger.

La plainte affirme que ChatGPT n'a pas seulement respecté les croyances religieuses, mais les a utilisées pour renforcer la confiance et l'utilisation continue, priorisant les réponses de l'IA sur les conseils de la famille ou des médecins.

Avait-il plus confiance en l'IA qu'en sa famille ou son entourage ?

La famille de M. Winters et les membres de son église l'auraient exhorté à consulter un médecin alors que ses symptômes s'aggravaient.

Cependant, il a fait confiance au plan de rétablissement et aux explications fournies par ChatGPT, retardant ainsi sa consultation.

La question est de savoir si l'IA a donné une réponse erronée une seule fois ou si elle a créé une relation à travers des conversations prolongées, rendant l'utilisateur réticent à accepter des opinions contraires.

Les IA génératives ont tendance à répondre en s'alignant sur le flux et les prémisses de la conversation plutôt que de contredire l'utilisateur. Ce phénomène de sur-adhésion, parfois appelé "accommodation", a été identifié comme un défi dans le développement de l'IA.

Apporter du réconfort à une personne anxieuse n'est pas mauvais en soi.

Cependant, rassurer n'est pas la même chose qu'assurer la sécurité.

En médecine, même si la probabilité d'une maladie grave est faible, des symptômes qui pourraient être graves s'ils sont ignorés nécessitent parfois des examens ou une consultation d'urgence. Il existe une tension inhérente entre un système qui génère la réponse la plus naturelle et la plus souhaitée par l'utilisateur et un jugement médical qui ne néglige pas le pire des scénarios.

La "pratique médicale non qualifiée" alléguée par le plaignant

Le plaignant accuse OpenAI et M. Altman de négligence, ainsi que de violations des lois californiennes sur la protection des consommateurs et la vie privée.

L'accusation la plus notable est celle de "pratique médicale sans qualification".

Si ChatGPT se contentait de fournir des informations générales sur la santé, cela pourrait être comparé à une encyclopédie ou un service de recherche.

Cependant, lire les dossiers médicaux personnels, diagnostiquer les symptômes, proposer un plan de rétablissement et des actions concrètes, et conseiller d'éviter les traitements médicaux suggérés par un médecin dépasse le simple cadre de la fourniture d'informations, selon le plaignant.

Selon la plainte, même après son hospitalisation pour embolie pulmonaire, ChatGPT aurait conseillé à M. Winters de se reposer chez lui plutôt que de suivre la réhabilitation recommandée par les médecins.

Le plaignant demande des dommages-intérêts financiers et exige que les conversations nécessitant une assistance médicale urgente soient interrompues par l'IA, avec une forte incitation à contacter des professionnels ou des services d'urgence.

Il demande également au tribunal de suspendre la fourniture de "ChatGPT Health", qui permet de relier les dossiers médicaux, jusqu'à ce qu'une évaluation de sécurité indépendante soit terminée.

OpenAI rétorque que "ChatGPT n'est pas un médecin"

Dans une déclaration aux médias, OpenAI a affirmé que les conversations avec l'IA pourraient améliorer les soins médicaux, tout en précisant que ChatGPT n'est pas un médecin et ne doit pas être utilisé comme substitut à des soins médicaux professionnels.

Ils ont également souligné que réduire la prise de décision médicale d'une personne à l'influence d'un chatbot simplifie à l'excès une situation complexe.

Cela sera un point de débat important lors du procès.

L'utilisateur est un adulte, et sa famille lui avait également conseillé de consulter. Le service précise qu'il ne remplace pas un professionnel de santé. La décision finale de se rendre à l'hôpital lui appartenait — telle est la défense anticipée.

Cependant, le plaignant soutient que l'utilisateur n'a pas simplement mal compris les réponses de l'IA, mais que le produit a continuellement simulé une autorité médicale, renforçant la confiance en utilisant la foi et les informations passées de l'utilisateur.

Même si une clause de non-responsabilité a été affichée une fois, si l'IA a fourni des diagnostics ou des plans de traitement affirmatifs à plusieurs reprises par la suite, une seule mise en garde initiale est-elle suffisante ?

C'est ce qui distingue ce cas des litiges concernant des sites d'information généraux.

Sur les réseaux sociaux, la responsabilité personnelle et celle de la conception du produit s'affrontent

Peu après la diffusion de l'information, les opinions sur X, Reddit, LinkedIn, etc., étaient fortement divisées sur ce procès.

Les commentaires suivants, observés peu après la publication, ne représentent pas l'opinion publique dans son ensemble.

La réaction la plus fréquente était : "Pourquoi confier une décision vitale à un chatbot ?"

Sur Reddit, plusieurs messages soulignaient la responsabilité de l'utilisateur, notant que l'IA n'est pas un substitut à la consultation médicale. "C'est une erreur de confier sa vie ou sa santé à un bot", "Même les IA médicales ne sont pas parfaites, alors pourquoi faire confiance à une IA générale ?"

Sur X, certains ont qualifié le procès de "ridicule", affirmant que le problème réside dans le jugement personnel, pas dans l'IA.

D'autres ont raillé M. Winters et sa foi, en raison de son passé de pasteur et de la référence de l'IA à Dieu.

Ces réactions mettent en avant la responsabilité personnelle dans l'utilisation de l'IA, tout en illustrant la tendance à considérer les plaignants comme des "utilisateurs naïfs ayant cru en l'IA".

Cependant, d'autres ont fait valoir que si le produit est conçu pour être crédible, on ne peut blâmer uniquement ceux qui y croient.

Sur X, un message décrivant l'affaire comme un problème de sécurité majeur de ChatGPT a été largement partagé. Sur LinkedIn, des utilisateurs liés à la santé ou à la technologie ont exprimé leur surprise et leurs préoccupations.

L'American Medical Association a souligné sur LinkedIn que ce procès met en lumière les défis centraux des IA médicales : non seulement la précision des réponses, mais aussi l'impact de la relation de confiance sur les comportements de santé réels.

Cette observation est cruciale.

Si l'IA se contentait d'afficher des informations dangereuses, on pourrait y remédier par des suppressions ou des avertissements.

Mais pour une IA qui engage des dialogues empathiques, comprend les angoisses de l'utilisateur et rassure avec des mots adaptés à ses valeurs, le problème réside dans la relation globale, pas dans chaque phrase.

L'opinion selon laquelle "l'IA est utile" persiste

Les réactions sur les réseaux sociaux ne se limitent pas à une interdiction totale des consultations de santé par IA.

Lors de l'annonce de ChatGPT Health, de nombreux utilisateurs ont salué sa capacité à expliquer clairement des résultats d'examens complexes ou des termes médicaux, à organiser les questions à poser lors des consultations, et à servir de point d'entrée pour ceux ayant un accès limité aux services médicaux.

En fait, des témoignages sur les réseaux sociaux relatent que l'IA a identifié des dangers comme des caillots sanguins, incitant à une consultation d'urgence.

Ainsi, le même système peut encourager une consultation dans certaines situations et rassurer dangereusement dans d'autres.

Cette instabilité pourrait être le plus grand défi des IA médicales.

Selon OpenAI, plus de 40 millions de personnes dans le monde posent quotidiennement des questions sur la santé et la médecine à ChatGPT. Avec un tel nombre d'utilisateurs, même une faible probabilité de mauvaise décision peut entraîner de nombreux cas dangereux dans la réalité.

Cependant, si l'on craint les erreurs de diagnostic et que l'IA conseille systématiquement de se rendre aux urgences pour chaque symptôme, cela pourrait induire une anxiété excessive et augmenter les consultations inutiles aux urgences.

Une IA médicale sûre doit éviter à la fois la sous-évaluation et la réaction excessive.

Le problème de la "sous-évaluation de l'urgence" révélé par des recherches indépendantes

Une étude de 2026 sur ChatGPT Health a rapporté que, pour plus de la moitié des scénarios nécessitant une intervention hospitalière immédiate selon les médecins, l'IA recommandait de rester à domicile ou de prendre un rendez-vous médical ordinaire.

L'étude a également constaté que dans des cas pouvant mener à une insuffisance respiratoire ou impliquant des personnes ayant des pensées suicidaires, le système d'alerte pouvait être désactivé en fonction de la manière dont les informations supplémentaires étaient fournies.

Cependant, ces résultats ne font pas l'unanimité.

Un autre groupe de chercheurs a suggéré que des méthodes d'é