ChatGPT est-il déjà plus intelligent qu’un médecin de famille?

Last Updated on octobre 27, 2023 by Joseph Gut – thasso

24 octobre 2023 – ChatGPT est-il plus intelligent qu’un médecin de famille ? Cette question est posée dans une étude écossaise récente publiée dans JMIR Medical Education. ChatGPT, qui signifie Chat Generative Pre-trained Transformer, est un chatbot basé sur un grand modèle de langage développé par OpenAI et lancé le 30 novembre 2022 qui permet aux utilisateurs d’affiner une conversation au format de longueur souhaité ainsi qu’au style et au niveau de détail souhaités. et la langue. Les invites et réponses consécutives, également appelées “ingénierie des invites”, sont considérées comme “ayant échoué dans le contexte” à chaque étape de la conversation.

Depuis l’arrivée de l’intelligence artificielle (IA) en médecine et dans les pratiques des médecins généralistes, ChatGPT a été considéré comme une avancée importante dans l’interaction des médecins généralistes et des professionnels de la santé en général dans la gestion de l’IA en termes de diagnostic de maladies, de réalisation de traitements prospectifs. décisions et réduction du temps consacré à toutes les interactions avec les patients en médecine générale. Ainsi, l’IA a démontré sa force et son utilité dans plusieurs situations cliniques où un grand nombre de patients présentaient un critère clinique très bien défini pour le diagnostic d’un état pathologique, par exemple dans le diagnostic précoce d’un cancer de la peau (voir le blog de thasso) ou (voir aussi thasso) en utilisant la reconnaissance faciale, l’IA et le big data génétique pour améliorer le diagnostic et le traitement des maladies rares. L’IA semble être plus utile et prédictive lorsque les paramètres cliniques sont clairs, ont des mécanismes stables et ne laissent pas trop d’interprétations individuelles pour les PCP, ce qui signifie qu’il n’y a pas trop de facteurs de confusion cliniques ou environnementaux impliqués dans l’apparition du paramètre. en question.

Après que l’IA ait obtenu des résultats impressionnants dans certaines situations médicales, avec la sortie de ChatGPT, on parle désormais de ces grands modèles de langage prenant le relais du travail des cliniciens. Les performances de l’IA aux examens des facultés de médecine ont généré une grande partie de cette controverse, souvent parce que ces performances ne reflètent pas la pratique clinique réelle. Dans l’étude présentée ici, les chercheurs ont plutôt utilisé le test de connaissances appliquées des médecins généralistes (AKT), ce qui a permis d’explorer le potentiel et les pièges de l’utilisation de grands modèles de langage dans les soins primaires et d’explorer la nécessité de développer davantage d’applications médicales de grands modèles de langage. des modèles. La motivation de cette recherche est née de l’idée que ChatGPT fournissait parfois de nouvelles explications en décrivant des informations inexactes comme s’il s’agissait de faits, soulignant que l’intelligence artificielle (IA) n’est pas nécessairement toujours en accord avec les perceptions humaines de la complexité médicale. Il « hallucine » souvent, pour ainsi dire.

Les chercheurs ont examiné les forces et les faiblesses de ChatGPT dans les soins primaires à l’aide du test de connaissances appliquées (AKT) de l’adhésion au Royal College of General Practitioners. L’évaluation à choix multiples informatisée fait partie de la formation spécialisée au Royaume-Uni (UK) pour devenir médecin généraliste (GP). Il teste les connaissances derrière la médecine générale dans le contexte du National Health Service du Royaume-Uni. Les chercheurs ont saisi une série de 674 questions dans ChatGPT à deux reprises, ou “exécutions”. En divisant les questions en deux dialogues distincts, ils espéraient éviter l’influence d’un dialogue sur l’autre. Pour confirmer que les réponses étaient correctes, les réponses ChatGPT ont été comparées aux réponses de l’auto-test GP et des articles précédents.

Dans l’ensemble, les performances de l’algorithme étaient bonnes dans les deux cas (59,94 % et 60,39 %) ; 83,23 % des questions ont donné la même réponse aux deux tours. Mais 17 % des réponses étaient en désaccord, une différence statistiquement significative. Les performances globales de ChatGPT ont été inférieures de 10 % à la note de passage moyenne du RCGP ces dernières années, ce qui est l’une des conclusions selon lesquelles il n’est pas très précis dans le rappel et la prise de décision au niveau des experts, ont déclaré les auteurs. De plus, un faible pourcentage de questions (1,48 % et 2,25 % à chaque tour) a donné lieu à une réponse incertaine ou à une absence de réponse. Cependant, dans l’ensemble, de nouvelles explications ont été générées lorsqu’une question était posée via ChatGPT, qui fournissait ensuite une réponse plus détaillée. Lorsque l’exactitude des réponses étendues a été comparée aux réponses correctes, aucune corrélation n’a été trouvée, ce qui signifie que ChatGPT peut halluciner les réponses et qu’il n’y a aucun moyen pour un profane qui lit ceci de dire que c’est faux.

Quant à l’application de ChatGPT et d’algorithmes similaires dans la pratique clinique, il ne sera pas encore possible de remplacer les professionnels de santé, du moins en soins primaires. Bien que ChatGPT puisse examiner noir sur blanc des ensembles de données cliniques, mais peut-être pas encore complets, le généraliste doit réfléchir à la complexité impliquée et aux diverses possibilités qui peuvent se présenter, plutôt que d’adopter une position binaire « oui » ou « non ». . Cela illustre bien la nature de la pratique générale dans la gestion de l’incertitude et implique bien sûr de prendre en compte les émotions humaines, la perception humaine ainsi que les connaissances.

Ainsi, de manière générale, ChatGPT ne semble pas encore plus intelligent qu’un médecin généraliste, sauf dans certaines situations cliniques très bien documentées où il peut déjà aider le médecin à le rassurer et à confirmer ses diagnostics, comme dans les cas évoqués ci-dessus.

Avis de non-responsabilité: les images et/ou vidéos (le cas échéant) de ce blog peuvent être soumises au droit d’auteur. Tous les droits restent la propriété du propriétaire de ces droits.