O ChatGPT já é mais inteligente do que um médico de atenção primária

Last Updated on Novembro 2, 2023 by Joseph Gut – thasso

24 de outubro de 2023 – O ChatGPT é mais inteligente do que um médico de atenção primária (APS)? Esta é a pergunta feita num estudo recente realizado na Escócia, publicado no JMIR Medical Education. ChatGPT, que significa “Chat Generative Pre-trained Transformer”, é um chatbot baseado em modelo de linguagem grande desenvolvido pela OpenAI e lançado em 30 de novembro de 2022, que permite aos usuários refinar e direcionar uma conversa para a duração, formato e estilo desejados , nível de detalhe e idioma. Prompts e respostas sucessivas, conhecidas como engenharia de prompts, são consideradas em cada estágio da conversa como uma “falha no ”.

Desde a chegada da Inteligência Artificial (IA) à área da medicina e aos consultórios dos médicos de cuidados primários, o ChatGPT tem sido considerado um grande avanço para a interação dos APSs e dos profissionais da medicina em geral na interação com a IA no que diz respeito ao diagnóstico de doenças, decisões prospectivas sobre terapia e redução do tempo de clínica geral investido em todas as interações com os pacientes. Como tal, a IA tem demonstrado a sua força e utilidade em vários contextos clínicos onde um grande número de pacientes apresentou um endpoint clínico muito bem definido para o diagnóstico de um estado de doença, como no diagnóstico precoce do cancro da pele (ver blog de thasso), ou no Face2Gene usando (veja também) reconhecimento facial, IA e big data genético para melhorar o diagnóstico e tratamento de doenças raras. A IA parece ser mais útil e preditiva, quando os desfechos clínicos são claros, têm mecanismos estáveis por trás deles e não deixam muitas interpretações individuais abertas para o significado do APS, não há muitos fatores de confusão clínicos ou ambientais envolvidos no aparecimento do desfecho em questão.

Assim, em algumas situações, tendo a IA gerado resultados impressionantes em toda a medicina, com o lançamento do ChatGPT há agora uma discussão sobre estes grandes modelos de linguagem assumindo o controle dos empregos dos médicos. O desempenho da IA nos exames da faculdade de medicina suscitou grande parte desta discussão controversa, muitas vezes porque o desempenho não reflete a prática clínica do mundo real. No estudo apresentado aqui, os pesquisadores usaram o Teste de Conhecimento Aplicado de Clínicos Gerais (AKT), e isso permitiu explorar o potencial e as armadilhas da implantação de grandes modelos de linguagem na atenção primária e explorar que desenvolvimento adicional de aplicações médicas de modelos de linguagem grande é necessário. A motivação para esta investigação surgiu da noção de que o

ChatGPT por vezes fornecia novas explicações, descrevendo informações imprecisas como se fossem factos, ilustrando como a inteligência artificial (IA)sempre corresponde necessariamente às percepções humanas da complexidade médica. Freqüentemente “alucina”, por assim dizer.  Um verdadeiro desafio.Os pesquisadores investigaram os pontos fortes e fracos do ChatGPT na atenção primária usando o Teste de Conhecimento Aplicado (AKT) de Membro do Royal College of General Practitioners. A avaliação de múltipla escolha baseada em computador faz parte do treinamento especializado do Reino Unido (Reino Unido) para se tornar um clínico geral (GP). Testa o conhecimento por trás da prática geral no contexto do Serviço Nacional de Saúde do Reino Unido. Os pesquisadores inseriram uma série de 674 perguntas no ChatGPT em duas ocasiões, ou “execuções”. Ao colocar as questões em dois diálogos separados, esperavam evitar a influência de um diálogo sobre o outro. Para validar se as respostas estavam corretas, as respostas do ChatGPT foram comparadas com as respostas fornecidas pelo autoteste do GP e artigos anteriores.

No geral, o desempenho do algoritmo foi bom em ambas as execuções (59,94% e 60,39%); 83,23% das questões produziram a mesma resposta em ambas as execuções. Mas 17% das respostas não coincidiram, uma diferença estatisticamente significativa. O desempenho geral do ChatGPT foi 10% inferior à média de aprovação do RCGP nos últimos anos, o que informa uma das conclusões sobre ele não ser muito preciso na recuperação e na tomada de decisões em nível de especialistas, afirmaram os autores. Além disso, um pequeno percentual de questões (1,48% e 2,25% em cada execução) produziu resposta incerta ou não houve resposta. No entanto, no geral, novas explicações foram geradas ao fazer uma pergunta por meio do ChatGPT, que forneceu uma resposta estendida. Quando a precisão das respostas estendidas foi verificada em relação

às respostas corretas, nenhuma correlação foi encontrada, o que significa que o ChatGPT pode ter alucinações de respostas, e não há como um leigo que esteja lendo isso saber que está incorreto.

Quanto à aplicação do ChatGPT e algoritmos semelhantes à prática clínica ainda não será capaz de substituir a força de trabalho dos profissionais de saúde, pelo menos cuidados primários. Embora o ChatGPT possa olhar para conjuntos de dados clínicos, mas talvez ainda não completos, de uma forma preto e branco, o generalista precisa refletir sobre as complexidades envolvidas e as diferentes possibilidades que podem apresentar, em vez de assumir uma postura binária de “sim” ou “não”. . Isto destaca muito sobre a natureza da prática geral na gestão da incerteza e envolve levar em consideração a emoção humana e a percepção humana, bem como o conhecimento, é claro.

Assim, aparentemente, o ChatGPT ainda não parece ser geralmente mais inteligente que um médico de cuidados primários (PCP), exceto em algumas situações clínicas muito bem documentadas, onde já pode ajudar o médico a assegurá-lo e a confirmar os seus diagnósticos, como nos casos mencionados acima.

Isenção de responsabilidade: imagens e/ou vídeos (se houver) neste blog podem estar protegidos por direitos autorais. Todos os direitos permanecem com o proprietário de tais direitos.