L’affaire relance le débat sur les limites de l’IA dans les sujets de santé. En Californie, la mère de Sam Nelson affirme que son fils utilisait régulièrement ChatGPT pour poser des questions liées à la consommation de substances et à leurs effets, sur une période de plusieurs mois. Le jeune homme est décédé d’une overdose au printemps 2025, selon plusieurs médias, après avoir commencé une prise en charge médicale pour une addiction.
D’après ces récits, la famille explique que le chatbot refusait parfois de répondre mais que l’adolescent aurait tenté de reformuler ses demandes pour contourner les blocages, et que certaines réponses auraient pu être perçues comme des indications dangereuses. Ces éléments, s’ils sont confirmés, posent la question de la fiabilité des garde-fous quand une IA est sollicitée sur des sujets sensibles.
De son côté, OpenAI indique que ChatGPT est censé refuser les demandes pouvant causer un préjudice et que l’outil est interdit de fournir des conseils détaillés sur l’usage de drogues illicites. L’entreprise a aussi qualifié l’affaire de « déchirante » et met en avant un renforcement progressif des protections au fil des versions.