¿ChatGPT ya es más inteligente que un médico de atención primaria?

Last Updated on noviembre 2, 2023 by Joseph Gut – thasso

24 de octubre de 2023 – ¿ChatGPT es más inteligente que un médico de atención primaria? Ésta es la pregunta que se plantea en un estudio reciente realizado en Escocia, publicado en JMIR Medical Education. ChatGPT, que significa “Chat Generative Pre-trained Transformer”, es un gran chatbot basado en modelos de lenguaje desarrollado por OpenAI y lanzado el 30 de noviembre de 2022, que permite a los usuarios refinar y dirigir una conversación hacia la duración, el formato y el estilo , nivel de detalle y lenguaje. Las indicaciones y respuestas sucesivas, conocidas como ingeniería de indicaciones, se consideran en cada etapa de la conversación como un “error de contexto”.

Desde la llegada de la Inteligencia Artificial (IA) al campo de la medicina y a los consultorios de los médicos de atención primaria (MAP), ChatGPT se ha considerado un gran paso hacia la interacción de los MAP y los profesionales de la medicina en general en la interacción con la IA. con respecto al diagnóstico de enfermedades, decisiones prospectivas sobre la terapia y reducción del tiempo que la práctica general invierte en todas las interacciones con los pacientes. Como tal, la IA ha demostrado su fuerza y utilidad en varios entornos clínicos donde un gran número de pacientes presentaban un criterio de valoración clínico muy bien definido para el diagnóstico de una enfermedad, como en el diagnóstico precoz del cáncer de piel (consulte el blog de thasso), o en Face2Gene utilizando (ver también thasso) el uso de reconocimiento facial, inteligencia artificial y big data genéticos para mejorar el diagnóstico y tratamiento de enfermedades raras. La IA parece ser más útil y predictiva cuando los criterios de valoración clínicos son claros, tienen mecanismos estables detrás de ellos y no dejan muchas interpretaciones individuales abiertas para el significado de MAP; no hay muchos factores de confusión clínicos o ambientales involucrados en la aparición del criterio de valoración. en cuestión.

Por lo tanto, en algunas situaciones, la IA ha generado resultados impresionantes en toda la medicina, con el lanzamiento de ChatGPT ahora se debate sobre estos grandes modelos de lenguaje que se hacen cargo de los trabajos de los médicos. El rendimiento de la IA en los exámenes de las facultades de medicina ha provocado gran parte de esta controvertida discusión, a menudo porque el rendimiento no refleja la práctica clínica del mundo real. En el estudio presentado aquí, los investigadores utilizaron en su lugar la Prueba de conocimientos aplicados para médicos generales (AKT), y esto permitió explorar el potencial y los inconvenientes de implementar de lenguaje grandes en atención primaria y explorar qué desarrollo adicional de aplicaciones de modelos de lenguaje grandes médicos se requiere. La motivación para esta investigación surgió de la noción de que ChatGPT a veces proporcionaba explicaciones novedosas, al describir información inexacta como si fueran hechos, lo que ilustra cómo la inteligencia artificial (IA) no siempre coincide necesariamente con las percepciones humanas de la complejidad médica. Con frecuencia “alucina”, por así decirlo.

Los investigadores investigaron las fortalezas y debilidades de ChatGPT en atención primaria utilizando la Prueba de Conocimiento Aplicado (AKT) de Membresía del Royal College of General Practitioners. La evaluación de opción múltiple basada en computadora es parte de la capacitación especializada del Reino Unido para convertirse en médico general (GP). Pone a prueba el conocimiento detrás de la práctica general en el contexto del Servicio Nacional de Salud del Reino Unido. Los investigadores ingresaron una serie de 674 preguntas en ChatGPT en dos ocasiones, o “ejecuciones”. Al poner las preguntas en dos diálogos separados, esperaban evitar la influencia de un diálogo sobre el otro. Para validar que las respuestas eran correctas, las respuestas de ChatGPT se compararon con las respuestas proporcionadas por la autoprueba del médico de cabecera y artículos anteriores.

En general, el rendimiento del algoritmo fue bueno en ambas ejecuciones (59,94 % y 60,39 %); El 83,23% de las preguntas produjeron la misma respuesta en ambas ejecuciones. Pero el 17% de las respuestas no coincidieron, una diferencia estadísticamente significativa. El rendimiento general de ChatGPT fue un 10% inferior a la puntuación media del RCGP en los últimos años, lo que informa una de las conclusiones sobre que no es muy preciso a nivel de expertos en el recuerdo y la toma de decisiones, afirmaron los autores. Además, un pequeño porcentaje de preguntas (1,48% y 2,25% en cada ejecución) produjeron una respuesta incierta o no hubo . Sin embargo, en general, se generaron explicaciones novedosas al ejecutar una pregunta a través de ChatGPT que luego proporcionó una respuesta ampliada. Cuando se comparó la precisión de las respuestas extendidas con las respuestas correctas, no se encontró correlación, lo que significa que ChatGPT puede alucinar respuestas, y no hay manera de que una lectura no experta pueda saber que es incorrecta.

En cuanto a la aplicación de ChatGPT y algoritmos similares a la práctica clínica aún no podrán sustituir la plantilla de profesionales sanitarios, al menos en atención primaria. Si bien ChatGPT puede analizar conjuntos de datos clínicos, pero quizás aún no completos, en blanco y negro, el generalista debe reflexionar sobre las complejidades involucradas y las diferentes posibilidades que pueden presentarse en lugar de adoptar una postura binaria de “sí” o “no”. . Esto resalta mucho sobre la naturaleza de la práctica general en el manejo de la incertidumbre e implica tener en cuenta las emociones y la percepción humanas, así como el conocimiento, por supuesto.

Así, aparentemente, ChatGPT todavía no parece ser más inteligente que un médico de atención primaria (PCP), excepto en algunas situaciones clínicas muy bien documentadas, en las que ya puede ayudar al médico a asegurarle y confirmar su diagnóstico, como en los casos mencionados. arriba.

Descargo de responsabilidad: las imágenes y/o videos (si los hay) en este blog pueden tener derechos de autor. Todos los derechos permanecen con el propietario de dichos derechos.