Experten bezeichnen ChatGPT Health als unglaublich gefährlich

winfuture.de · Feb 27, 2026 · Collected from GDELT

Full Article

ChatGPT Health soll medizinische Ratschl�ge geben, versagt aber bei der Notfallerkennung dramatisch. Eine Studie zeigt, dass die KI �ber die H�lfte aller lebensbedrohlichen Situationen untersch�tzt. Das ist teils fatal und wiegt Nutzer in falscher Sicherheit. WinFuture/KI-generiert Schwere M�ngel bei Notfallerkennung OpenAI ver�ffentlichte Anfang des Jahres "ChatGPT Health" genannte Funktion. Sie soll Nutzer bei medizinischen Fragen unterst�tzen und Gesundheitsdaten verkn�pfen. Eine aktuelle Untersuchung zeigt jedoch massive Funktions- und Sicherheitsl�cken auf. Ein Forscherteam der Icahn School of Medicine am Mount Sinai stellte fest, dass die KI in simulierten Tests mehr als die H�lfte der medizinischen Notf�lle nicht als solche identifizierte - ein zweifellos besorgniserregender, ja dramatischer Wert. Die Wissenschaftler unter der Leitung von Ashwin Ramaswamy nutzten 60 klinische Vignetten f�r den Test. Das sind standardisierte Fallbeschreibungen, die �rzte zur Diagnosefindung verwenden. Das Ergebnis offenbart ein riskantes Muster. Bei moderaten Beschwerden lag die Software oft richtig. In extremen Situationen versagte sie jedoch kl�glich. In 52 Prozent der F�lle, die einen sofortigen Besuch in der Notaufnahme erfordert h�tten, stufte das System die Lage als eher harmlos ein. Riskantes Muster bei der Diagnose Die vollst�ndigen Ergebnisse ver�ffentlichte das Team im Fachjournal Nature Medicine (via New York Times). Die Konsequenzen dieser Fehleinsch�tzungen sind potenziell fatal. In mehreren Durchl�ufen riet der Chatbot Patienten mit Symptomen einer diabetischen Ketoazidose oder einem drohenden Atemstillstand lediglich dazu, sich auszuruhen. Oft empfahl die KI nur einen regul�ren Arzttermin in den n�chsten 24 bis 48 Stunden. Besonders anf�llig zeigte sich die k�nstliche Intelligenz f�r externe Beeinflussung durch Dritte. Wenn in der Beschreibung des Szenarios erw�hnt wurde, dass ein Freund die Symptome f�r harmlos hielt, �bernahm die KI diese Einsch�tzung mit einer fast zw�lfmal h�heren Wahrscheinlichkeit. Dieses Ph�nomen ist als "Sycophancy" (also "Einschmeicheln") bei gro�en Sprachmodellen bekannt, bei dem das Modell versucht, dem Nutzer oder dem Kontext zuzustimmen. Ein technisches Detail wirft ein schlechtes Licht auf die Programmierung der Sicherheitsmechanismen. Ramaswamy berichtete, dass das System bei der Schilderung von Suizidgedanken korrekt Warnhinweise und Hilfsangebote einblendete. F�gten die Forscher jedoch normale Laborwerte in den Prompt ein, verschwand dieser �berlebenswichtige Hinweis in allen 16 Versuchen. Das Hinzuf�gen simpler technischer Daten hebelte die Sicherheitsroutinen komplett aus. OpenAI reagierte auf die Kritik mit dem Hinweis, dass die Studie nicht das typische Nutzungsverhalten widerspiegele. Ein Sprecher betonte, dass das Modell stetig optimiert werde. Experten raten dennoch dringend davon ab, sich bei akuten Beschwerden auf einen Chatbot zu verlassen. W�rdet ihr einer KI bei der ersten Einsch�tzung von Symptomen vertrauen oder seht ihr das Risiko als zu hoch an? Schreibt uns eure Meinung zu diesem Thema gerne unten in die Kommentare. Zusammenfassung ChatGPT Health soll Nutzern bei medizinischen Fragen helfen Eine Studie zeigt massive Sicherheitsl�cken bei der Notfallerkennung auf Die KI untersch�tzte �ber die H�lfte aller lebensbedrohlichen Situationen Bei schweren Symptomen riet der Chatbot oft nur zu Ruhe und Abwarten Externe Meinungen beeinflussten die Einsch�tzung der KI erheblich Einfache Labordaten im Prompt hebelten Sicherheitsroutinen komplett aus Experten raten dringend davon ab, sich bei Notf�llen auf KI zu verlassen Siehe auch: Microsoft plant KI-Unabh�ngigkeit und will eigene Modelle statt ChatGPT "QuitGPT"-Protest: Nutzer k�ndigen ChatGPT wegen Trump und ICE Womit sonst Geld verdienen? OpenAI startet Werbung in ChatGPT OpenAI mistet aus und schaltet zahlreiche �ltere ChatGPT-Modelle ab Trumps Cybersecurity-Leiter f�tterte ChatGPT mit vertraulichen Infos