ChatGPT è già più intelligente di un medico di base?
Last Updated on Novembre 2, 2023 by Joseph Gut – thasso
28 ottobre 2023 – ChatGPT è più intelligente di un medico di base? Questa è la domanda posta in un recente studio scozzese, pubblicato su JMIR Medical Education. ChatGPT, che sta per “Chat Generative Pre-trained Transformer”, è un ampio chatbot basato su modelli linguistici sviluppato da OpenAI e lanciato il 30 novembre 2022, consente agli utenti di perfezionare e indirizzare una conversazione verso la lunghezza, il formato e lo stile desiderati. , livello di dettaglio e lingua. I prompt e le risposte successivi, noti come prompt engineering, vengono considerati in ogni fase della conversazione come un “contesto fallito”.
Dall’arrivo dell’intelligenza artificiale (AI) nel campo della medicina e negli studi dei medici di base (PCP), ChatGPT è stato considerato un importante passo avanti verso l’interazione dei PCP e dei professionisti della medicina in generale nell’interazione con l’intelligenza artificiale. rispetto alla diagnosi delle malattie, alle decisioni future sulla terapia e alla riduzione del tempo investito nella medicina generale in tutte le interazioni con i pazienti. In quanto tale, l’intelligenza artificiale ha dimostrato la sua forza e utilità in diversi contesti clinici in cui un gran numero di pazienti presentava un endpoint clinico molto ben definito per la diagnosi di uno stato patologico, come nella diagnosi precoce del cancro della pelle (vedi il blog di thasso), o in Face2Gene utilizzando (vedi anche thasso) il riconoscimento facciale, l’intelligenza artificiale e i big data genetici per migliorare la diagnosi e il trattamento delle malattie rare. L’intelligenza artificiale sembra essere più utile e predittiva, quando gli endpoint clinici sono chiari, hanno meccanismi stabili alle spalle e non lasciano molte interpretazioni individuali aperte per il significato del PCP, non ci sono molti fattori confondenti clinici o ambientali coinvolti nella comparsa dell’endpoint in questione.
Pertanto, in alcune situazioni, avendo generato risultati impressionanti in tutta la medicina, con il rilascio di ChatGPT si sta ora discutendo sul fatto che questi grandi modelli linguistici stiano prendendo il posto dei posti di lavoro dei medici. Le prestazioni dell’intelligenza artificiale negli esami delle scuole di medicina hanno dato a gran parte di questa discussione controversa, spesso perché le prestazioni non riflettono la pratica clinica del mondo reale. Nello studio qui presentato, i ricercatori hanno invece utilizzato il General Practitioners Applied Knowledge Test (AKT), e questo ha permesso esplorare le potenzialità e le insidie dell’implementazione di modelli linguistici di grandi dimensioni nelle cure primarie ed esplorare quale ulteriore sviluppo delle applicazioni di modelli linguistici di grandi dimensioni sia necessario. La motivazione di questa ricerca è nata dall’idea che ChatGPT a volte forniva nuove spiegazioni, descrivendo informazioni imprecise come se fossero fatti, illustrando come l’intelligenza artificiale (AI) non necessariamente corrisponda sempre alla percezione umana della complessità medica. Spesso “ha allucinazioni”, per così dire.
I ricercatori hanno studiato i punti di forza e di debolezza di ChatGPT nelle cure primarie utilizzando il test di conoscenza applicata (AKT) dell’appartenenza al Royal College of General Practitioners. La valutazione computerizzata a scelta multipla fa parte della formazione specialistica del Regno Unito (UK) per diventare medico di medicina generale (GP). Mette alla prova le conoscenze alla base della medicina generale nel contesto del servizio sanitario nazionale del Regno Unito. I ricercatori hanno inserito una serie di 674 domande in ChatGPT in due occasioni, o “correzioni”. Mettendo le domande in due dialoghi separati, speravano di evitare l’influenza di un dialogo sull’altro. Per verificare che le risposte fossero corrette, le risposte ChatGPT sono state confrontate con le risposte fornite dall’autotest del medico di famiglia e dagli articoli precedenti.
Nel complesso, le prestazioni dell’algoritmo sono state buone in entrambe le esecuzioni (59,94% e 60,39%); L’83,23% delle domande ha prodotto la stessa risposta in entrambe le sessioni. Ma il 17% delle risposte non corrispondeva, una differenza statisticamente significativa. Negli ultimi anni le prestazioni complessive di ChatGPT sono state inferiori del 10% rispetto al punteggio minimo medio RCGP, il che porta a una delle conclusioni sulla sua mancanza di precisione a livello di richiamo e di processo decisionale a livello di esperti, hanno affermato gli autori. Inoltre, una piccola percentuale di domande (1,48% e 2,25% in ciascuna serie) ha prodotto una rispostaincerta o non è stata ottenuta alcuna risposta. Tuttavia, nel complesso, sono state generate nuove spiegazioni durante l’esecuzione di una domanda tramite ChatGPT che ha poi fornito una risposta estesa. Quando l’accuratezza delle risposte estese è stata confrontata con le risposte corrette, non è stata trovata alcuna correlazione, il che significa che ChatGPT può avere allucinazioni nelle risposte e non è possibile che un non esperto leggendo questo possa sapere che non è corretto.
Per quanto riguarda l’applicazione di ChatGPT e algoritmi simili alla pratica clinica non saranno ancora in grado di sostituire la forza lavoro degli operatori sanitari, almeno nelle cure primarie. Mentre ChatGPT può guardare ai set di dati clinici ma forse non ancora completi in modo bianco e nero, il generalista deve riflettere le complessità coinvolte e le diverse possibilità che possono presentarsi piuttosto che assumere una posizione binaria “sì” o “no” . Ciò evidenzia molto la natura della medicina generale nella gestione dell’incertezza e implica, ovviamente, la presa in considerazione delle emozioni umane, della percezione umana e della conoscenza.
Quindi, a quanto pare, ChatGPT non sembra essere ancora in generale più intelligente di un medico di base (PCP), tranne in alcune situazioni cliniche molto ben documentate, dove può già aiutare il medico a rassicurarlo e confermare le sue diagnosi, come nei casi citati Sopra.
Dichiarazione di non responsabilità: le immagini e/o i video (se presenti) in questo blog potrebbero essere protetti da copyright. Tutti i diritti rimangono del titolare di tali diritti.
Lascia un commento
Devi essere connesso per inviare un commento.
Optional: Social Subscribe/Login