Sem devorar um único livro didático da área ou sequer passar um dia na faculdade de medicina, o coautor de um estudo em fase de pré-impressão respondeu a uma série de perguntas práticas. A quantidade de acertos foi suficiente para passar no exame que habilita médicos nos Estados Unidos.
Mas o examinado não era um membro da Mensa (organização que estuda os superdotados) ou um sábio da área de saúde, e sim a inteligência artificial ChatGPT. Criada para responder às perguntas dos usuários em forma de conversa, a ferramenta gerou tanta agitação que médicos e cientistas estão tentando determinar quais são suas limitações – e o que ela pode fazer pela saúde e medicina.
ChatGPT, ou Chat generative Pre-Treated Transformer, é uma ferramenta de processamento de linguagem natural impulsionada pela inteligência artificial (IA).
A tecnologia, criada pela OpenAI, sediada em São Francisco, e lançada em novembro, não é como um mecanismo de busca com bom discurso. Ela sequer está conectada à internet. Em vez disso, um programador humano alimenta uma grande quantidade de dados online que são mantidos em um servidor.
A IA pode responder perguntas mesmo que nunca tenha visto uma sequência particular de palavras antes, porque o algoritmo do ChatGPT é treinado para prever qual palavra irá surgir em uma frase com base no contexto do que vem antes. Ou seja, ele se baseia no conhecimento armazenado em seu servidor para gerar sua resposta.
O ChatGPT também pode responder a perguntas em sequência, admitir erros e rejeitar perguntas inapropriadas, segundo a empresa. É gratuito enquanto está na fase de testes.
Interesse da área médica
Programas de inteligência artificial já existem há algum tempo, mas esse gerou tanto interesse que as organizações médicas, associações profissionais e revistas da área criaram forças-tarefas para ver como isso pode ser útil e entender quais limitações e preocupações éticas pode trazer.
A clínica do doutor Victor Tseng, Ansible Health, criou uma força-tarefa para tratar do assunto. Pneumologista, o doutor Tseng é diretor médico do grupo com sede na Califórnia e coautor do estudo em que o ChatGPT demonstrou que provavelmente poderia passar no exame de admissão na medicina.
Ele contou que seus colegas começaram a brincar com o ChatGPT no ano passado e ficaram intrigados quando o programa diagnosticou com precisão pacientes fictícios em cenários hipotéticos.
“Ficamos tão impressionados e verdadeiramente desanimados com a eloquência e o tipo de fluidez de sua resposta que decidimos usá-lo em nosso processo formal de avaliação e testá-lo com a referência do conhecimento médico”, lembrou.
O teste foi aplicado nas três partes que os graduados em medicina nos EUA têm de passar para serem licenciados para a prática médica. O exame é considerado um dos mais difíceis de qualquer profissão porque não faz perguntas simples com respostas que podem ser facilmente encontradas na internet. Além de testar ciência básica e conhecimento médico e gestão de casos, ele avalia raciocínio clínico, ética, pensamento crítico e habilidades de resolução de problemas.
A equipe do estudo usou 305 perguntas de teste disponíveis publicamente em junho de 2022, quando nenhuma das respostas ou contexto relacionado havia sido indexada no Google – e, portanto, não faziam parte das informações sobre as quais o ChatGPT era treinado. Os autores do estudo removeram exemplos de perguntas que tinham imagens e gráficos e começavam uma nova sessão do chat para cada pergunta que fizeram.
Os alunos costumam passar centenas de horas se preparando e as faculdades normalmente lhes dão um tempo longe das aulas apenas para estudar para o teste. O ChatGPT não precisou de nenhum trabalho de preparação.
A IA passou ou quase acertou todas as partes do exame sem qualquer treinamento especializado, mostrando “um alto nível de concordância e percepção em suas explicações”, escreveu o estudo.
Possibilidades médicas
O ChatGPT já entrou na discussão sobre pesquisa e publicação. Os resultados do estudo do exame de licença médica foram até escritos com a ajuda do ChatGPT. A tecnologia foi originalmente listada como coautora da pesquisa, mas o doutor Tseng diz que, quando o estudo for publicado na revista “PLOS Digital Health” neste ano, o ChatGPT não irá figurar entre os autores porque isso seria uma distração.
No mês passado, a revista “Nature” criou diretrizes que disseram que nenhum programa desse tipo poderia ser creditado como um autor, porque “qualquer atribuição de autoria traz consigo a responsabilidade pelo trabalho, o que as ferramentas de IA não podem assumir”.
Mas um artigo publicado recentemente na revista “Radiology” foi escrito quase inteiramente pelo ChatGPT. O texto questionava se um autor humano poderia ser substituído pela máquina, e o programa listou muitos de seus usos possíveis, incluindo escrever relatórios de estudo, criar documentos para os pacientes e traduzir informações médicas em uma variedade de idiomas.
Ainda assim, há limitações.