Ist ChatGPT bereits schlauer als ein Hausarzt?

Last Updated on October 27, 2023 by Joseph Gut – thasso

24. Oktober 2023 – Ist ChatGPT intelligenter als ein Hausarzt? Diese Frage wird in einer aktuellen Studie aus Schottland gestellt, die in JMIR Medical Education veröffentlicht wurde.

ChatGPT, das für „Chat Generative Pre-trained Transformer“ steht, ist ein von OpenAI entwickelter und am 30. November 2022 gestarteter, auf großen Sprachmodellen basierender Chatbot, der es Benutzern ermöglicht, eine Konversation zu verfeinern und auf die gewünschte Länge, das gewünschte Format und den gewünschten Stil zu lenken , Detaillierungsgrad und Sprache. Aufeinanderfolgende Eingabeaufforderungen und Antworten, auch “Prompt Engineering” genannt, werden in jeder Konversationsphase als „kontextfehlgeschlagen“ betrachtet.

Seit dem Einzug künstlicher Intelligenz (KI) in der Medizin und in den Praxen von Hausärzten gilt ChatGPT als wichtiger Fortschritt bei der Interaktion von Hausärzten und Medizinern im Allgemeinen im Umgang mit KI im Hinblick auf die Diagnose von Krankheiten, prospektive Therapieentscheidungen und die Reduzierung der Zeit, die in der Allgemeinmedizin für alle Interaktionen mit Patienten aufgewendet wird. Daher hat die KI ihre Stärke und Nützlichkeit in mehreren klinischen Situationen unter Beweis gestellt, in denen eine große Anzahl von Patienten einen sehr genau definierten klinischen Endpunkt für die Diagnose eines Krankheitszustands vorlegte, beispielsweise bei der Frühdiagnose von Hautkrebs (siehe thasso’s Blog) oder in Face2Gene (siehe auch thasso) mithilfe von Gesichtserkennung, KI und genetischen Big Data, um die Diagnose und Behandlung seltener Krankheiten zu verbessern. KI scheint am hilfreichsten und prädiktivsten zu sein, wenn die klinischen Endpunkte klar sind, über stabile Mechanismen verfügen und nicht zu viele individuelle Interpretationen für PCPs offen lassen, was bedeutet, dass nicht zu viele klinische oder umweltbedingte Störfaktoren an der Erscheinung des Endpunkts beteiligt sind fraglich.

Nachdem die KI in manchen Situationen in der gesamten Medizin beeindruckende Ergebnisse erzielt hat, wird mit der Veröffentlichung von ChatGPT nun darüber diskutiert, dass diese großen Sprachmodelle die Arbeit von Klinikern übernehmen. Die Leistung von KI bei Prüfungen an medizinischen Fakultäten hat einen Großteil dieser kontroversen Diskussion ausgelöst, oft weil die Leistung nicht die reale klinische Praxis widerspiegelt. In der hier vorgestellten Studie verwendeten die Forscher stattdessen den General Practitioners Applied Knowledge Test (AKT), und dies erlaubte Untersuchung des Potenzials und der Fallstricke des Einsatzes großer Sprachmodelle in der Primärversorgung und Untersuchung der erforderlichen weiteren Entwicklung medizinischer Anwendungen großer Sprachmodelle. Die Motivation für diese Forschung entstand aus der Vorstellung, dass ChatGPT manchmal neuartige Erklärungen lieferte, indem es ungenaue Informationen so beschrieb, als wären sie Fakten, und verdeutlichte, dass künstliche Intelligenz (KI) nicht unbedingt immer mit der menschlichen Wahrnehmung der medizinischen Komplexität übereinstimmt. Es „halluziniert“ sozusagen häufig.

Die Forscher untersuchten die Stärken und Schwächen von ChatGPT in der Primärversorgung anhand des Membership of the Royal College of General Practitioners Applied Knowledge Test (AKT). Die computergestützte Multiple-Choice-Beurteilung ist Teil der Fachausbildung im Vereinigten Königreich (UK) zum Allgemeinmediziner (GP). Es testet das Wissen hinter der Allgemeinmedizin im Kontext des britischen National Health Service. Die Forscher gaben zweimal oder „Runs“ eine Reihe von 674 Fragen in ChatGPT ein. Durch die Unterteilung der Fragen in zwei getrennte Dialoge hofften sie, den Einfluss eines Dialogs auf den anderen zu vermeiden. Um zu bestätigen, dass die Antworten korrekt waren, wurden die ChatGPT-Antworten mit den Antworten des GP-Selbsttests und früherer Artikel verglichen.

Insgesamt war die Leistung des Algorithmus in beiden Durchläufen gut (59,94 % und 60,39 %); 83,23 % der Fragen lieferten in beiden Durchgängen die gleiche Antwort. Aber 17 % der Antworten stimmten nicht überein, ein statistisch signifikanter Unterschied. Die Gesamtleistung von ChatGPT lag in den letzten Jahren 10 % unter der durchschnittlichen RCGP-Bestandenenpunktzahl, was eine der Schlussfolgerungen dahingehend ist, dass es bei der Erinnerung und Entscheidungsfindung auf Expertenebene nicht sehr präzise ist, so die Autoren. Außerdem ergab ein kleiner Prozentsatz der Fragen (1,48 % und 2,25 % in jedem Durchgang) eine unsichere Antwort oder es gab keine Antwort. Insgesamt wurden jedoch neuartige Erklärungen generiert, wenn eine Frage über ChatGPT gestellt wurde, die dann eine ausführlichere Antwort lieferte. Als die Genauigkeit der erweiterten Antworten mit den richtigen Antworten verglichen wurde, wurde keine Korrelation gefunden, was bedeutet, dass ChatGPT Antworten halluzinieren kann und ein Laie, der dies liest, auf keinen Fall erkennen kann, dass es falsch ist.

Was die Anwendung von ChatGPT und ähnlichen Algorithmen in der klinischen Praxis betrifft, wird es zumindest in der Primärversorgung noch nicht möglich sein, die Fachkräfte im Gesundheitswesen zu ersetzen. Während ChatGPT möglicherweise klinische, aber möglicherweise noch nicht vollständige Datensätze schwarz auf weiß betrachtet, muss der Generalist die damit verbundene Komplexität und die verschiedenen Möglichkeiten, die sich bieten können, reflektieren, anstatt eine binäre „Ja“- oder „Nein“-Haltung einzunehmen . Dies verdeutlicht viel über die Natur der allgemeinen Praxis beim Umgang mit Unsicherheit und beinhaltet natürlich die Berücksichtigung menschlicher Emotionen und menschlicher Wahrnehmung sowie Wissen.

Somit scheint ChatGPT im Allgemeinen noch nicht schlauer zu sein als ein Hausarzt, außer in einigen sehr gut dokumentierten klinischen Situationen, in denen es dem Arzt bereits helfen kann, ihn zu beruhigen und seine Diagnosen zu bestätigen, wie in den oben genannten Fällen.

Haftungsausschluss: Bilder und/oder Videos (falls vorhanden) in diesem Blog können urheberrechtlich geschützt sein. Alle Rechte verbleiben beim Inhaber dieser Rechte.