Künstliche Intelligenz

Medizinische Diagnose per Chatbot - keine gute Idee

Stand
Moderator/in
Jochen Steiner
Jochen Steiner, SWR Kultur Moderator
Interview
Prof. Stephen Gilbert, Zentrum für Digitale Gesundheit der TU Dresden
Onlinefassung
Ralf Kölbel

Chatbots erfreuen sich immer größerer Beliebtheit. Doch kann man damit bei bestimmten Symptomen auch zuverlässige medizinische Diagnosen bekommen? Experten wie Prof. Stephen Gilbert vom Zentrum für Digitale Gesundheit der TU Dresden sind da eher skeptisch.

Mittlerweile können wir auch kompliziertere Fragen in eine Suchmaschine im Internet eingeben und bekommen ausführliche Antworten. Chatbots mit Künstlicher Intelligenz machen es möglich. Dass die Antworten aber gerade im medizinischen Bereich sehr mit Vorsicht zu genießen sind, das sollte klar sein. SWR2 Impuls sprach mit Prof. Stephen Gilbert von der TU in Dresden über die Chancen und Risiken von Chatbots in der Medizin.

Chatbots entwickeln sich unkontrolliert

Jochen Steiner, SWR2: Wie funktionieren diese Chatbots im medizinischen Bereich? Können Sie uns da konkrete Beispiele nennen?

Stephen Gilbert, TU Dresden: Wir sprechen momentan über eine neue Art von Chatbots. Sie basieren auf großen Sprachmodellen (Large Language Models). Seit den letzten sechs Monaten ist eine neue Generation nicht geprüfter und auch nicht zugelassener medizinischer Chatbots auf den Markt gekommen.

Die meisten dieser Chatbots wurden von kleinen US-amerikanischen Unternehmen entwickelt, die keine oder nur begrenzte Erfahrungen in der Medizin haben. Keiner dieser Chatbots wurde getestet oder zugelassen. Sie entwickeln sich sehr schnell und unkontrolliert. Und es gibt keine Sicherheitsvorkehrungen für die Bürger.

Es gibt mittlerweile zertifzierte Apps, die dabei helfen können, z.B. auffällige Hautveränderungen zu erkennen.
Es gibt mittlerweile zertifzierte Apps, die dabei helfen können, z.B. auffällige Hautveränderungen zu erkennen.

Egal ob wahr oder falsch - Chatbots antworten immer

Jochen Steiner: Und in diese Chatbots könnte ich dann eine medizinische Frage eingeben und der Chatbot spuckt mir dann eine mögliche Diagnose aus?

Stephen Gilbert: Exakt. Man kann jede Frage fragen. Und man wird immer eine Antwort bekommen. Und wenn man einen echten Arzt fragt, wird dieser normalerweise ganz viele Nachfragen haben: Wie lange haben Sie die Symptome schon? Kann ich das sehen? Diese Chatbots geben immer eine Antwort, ohne viel zu fragen. Das ist ein Risiko. Sie geben eine sehr plausible Antwort ohne gute Begründung.

Diagnosen der Chatbots sind intransparent

Jochen Steiner: Was sind denn die Vorteile eines Chatbots gegenüber einer normalen Suchmaschine?

Stephen Gilbert: Sie haben bis jetzt wahrscheinlich nicht viele Vorteile. Man kam zum Beispiel in vielen von diesen Chatbots seine Blutbefunde eingeben. Aber es ist total unbekannt, wie viele von diesen Informationen der Chatbot dann auch wirklich benutzt. Man kann also ganz viele relevante Informationen eingeben, ohne zu wissen, ob es am Ende wirklich einen Unterschied macht für die Diagnose dieses Chatbots.

Frau sucht im Internet nach Krankheitssymptomen (Symbolbild)
Viele Menschen schauen erst mal im Netz nach, was ihnen fehlen könnte, bevor sie dann bei der Ärztin oder beim Arzt einen Termin ausmachen. Alleine auf das Urteil eines Chatbots sollte man sich besser nicht verlassen.

Chatbots sind nicht für medizinisches Urteil zertifiziert

Jochen Steiner: Das heißt, wenn ich einen Chatbot benutze, um einen ersten Eindruck zu bekommen, kann das eben auch nur ein erster Eindruck sein, weil diese Chatbots, wenn ich sie für medizinische Fragen verwende, überhaupt nicht geprüft sind, korrekt?

Stephen Gilbert: Diese Chatbots sollten auf jeden Fall in Europa und auch in den USA zertifiziert werden. Aber momentan ist große Aktivitäten aufseiten der Chatbot-Entwicklung und keine Aktivität aufseiten der Behörde, um Regelungen dafür aufzustellen.

Jochen Steiner: Das heißt, da gibt es keine Bestrebungen, dass eine Art Zertifizierung oder eine prüfende Stelle eingeschaltet wird. Das heißt alles, was mir ChatGPT im medizinischen Bereich ausspuckt, ist mit Vorsicht zu genießen?

Stephen Gilbert: Wenn ein Chatbot einen direkten medizinische Zweck hat, also von einer Firma als ein medizinisches Gerät entwickelt wurde, sollte es durch einen Prüfprozess gehen und zertifiziert werden, in den USA und auch in Europa. Bisher ist das nicht so und das ist das Hauptproblem.

Jochen Steiner: Wissen Sie denn, ob so etwas in Europa oder auch in Deutschland geplant ist?

Stephen Gilbert: Das Gesetz ist in Deutschland und auch in Europa ganz klar. Es ist illegal, so einen Chatbot ohne Zulassung auf den Markt zu bringen. Das Problem ist, dass diese Chatbots auf Webseiten sind, die hauptsächlich aus den USA sind.

Experte warnt vor Chatbot-Diagnosen

Jochen Steiner: Das heißt, solange die Chatbots in diesem medizinischen Bereich nicht geprüft, zertifiziert und zugelassen sind, kann ich als Nutzer nur einen ersten Hinweis bekommen und sollte auf jeden Fall danach einen Termin bei meiner Hausärztin machen, um das richtig abklären zu lassen?

Stephen Gilbert: Ich würde empfehlen, keinen Chatbot zu benutzen, der nicht zertifiziert ist. Man kann zertifizierte Apps benutzen, in Europa, die sind getestet und sicher für diesen Zweck. Und diese Apps geben auch Bescheid, wenn man mit einem Arzt sprechen sollte, um mehr Informationen zu erhalten.

Das Problem bei ChatGPT ist, dass man darüber keine oder möglicherweise auch falsche Informationen erhält. Da es nicht getestet oder geprüft ist. Die Antworten ändern sich über die Zeit. Man kann die gleichen Fragen zweimal nacheinander stellen, und andere Antworten bekommen.

Chatbots können bei Symptomen den Weg zum Arzt oder zur Ärztin nicht ersetzen.
Chatbots können bei Symptomen den Weg zum Arzt oder zur Ärztin nicht ersetzen.

Jochen Steiner: Man sollte ChatGPT und Co. besser nicht für Fragen im medizinischen Bereich nutzen, sondern eher in anderen Themenfeldern. Für medizinische Fragen kann man zertifizierte Produkte wie bestimmte Apps nutzen uns dann vielleicht lieber mit meiner Hausärztin oder meinem Hausarzt sprechen.

Mannheim

Wissenschaft im Gespräch KI - Risiken und Chancen: Diskussion an der Uni Mannheim

Künstliche Intelligenz (KI) begegnet uns täglich - etwa in den sozialen Netzwerken. Über Chancen und Risiken haben Forscher der Uni Mannheim mit 200 Interessierten diskutiert.

SWR4 BW aus dem Studio Mannheim SWR4 BW aus dem Studio Mannheim

Heilbronn

Hochschule Heilbronn mit neuen Erkenntnissen Alzheimer schneller erkennen: Wie KI dabei helfen könnte

An der Hochschule Heilbronn haben Wissenschaftlerinnen mit Hilfe von KI zwei Gruppen von Alzheimer-Erkrankten festgestellt. Sie hoffen auch auf eine bessere Frühdiagnose.

SWR4 BW am Montag SWR4 Baden-Württemberg

Stand
Moderator/in
Jochen Steiner
Jochen Steiner, SWR Kultur Moderator
Interview
Prof. Stephen Gilbert, Zentrum für Digitale Gesundheit der TU Dresden
Onlinefassung
Ralf Kölbel