Por Redação O Sul | 1 de julho de 2023
Em um experimento realizado com 697 voluntários submetidos a tuítes noticiosos escritos por humanos e pelo ChatGPT, a maioria foi incapaz de distinguir se as informações eram escritas pelo sistema de inteligência artificial (IA). A pesquisa usou como material informações reais e falsas, e as fake news criadas pelo robô foram avaliadas como verdadeiras com mais frequência.
O estudo que apontou o resultado preocupante foi conduzido pesquisadores da Universidade de Zurique (Suíça) e publicado nesta quarta-feira no periódico acadêmico Science Advances. A pesquisa é a primeira a abordar de forma empírica e controlada a preocupação de que o sistema criado pela empresa OpenAI tem o potencial de ampliar o ambiente de desinformação na internet.
Os cientistas, liderados pelo bioeticista italiano Giovanni Spitale, consideraram que o uso da inteligência artificial pelo GPT-3, a versão do sistema usada no estudo, é uma “faca de dois gumes” no ambiente de notícias.
“Em comparação com os humanos, ele pode produzir informações precisas que são mais fáceis de entender, mas também pode produzir desinformação mais convincente”, escreveram os autores do artigo. “Também mostramos que humanos não conseguem distinguir entre tuítes gerados pelo GPT-3 e escritos por usuários reais do Twitter.”
Para preparar o experimento, os pesquisadores coletaram de usuários de redes sociais uma série de informações corretas e incorretas sobre temas vulneráveis a fake news nos últimos anos na área de ciência e saúde. Foram selecionados tuítes sobre segurança de vacinas, tecnologia 5G, covid, mudança climática, teoria da evolução, terraplanismo e outros. Depois disso, instruíram o ChatGPT a gerar por conta própria informações que fosse corretas e incorretas sobre esses temas.
Na etapa seguinte os pesquisadores apresentaram essas informações aos voluntários da pesquisa, que deveriam então responder se cada informação era correta e se havia sido escrita por um humano ou por um sistema de inteligência artificial. Foram incluídos na pesquisa moradores de EUA, Reino Unido, Canadá, Austrália e Irlanda.
Dividindo os tuítes entre “orgânicos” e “sintéticos”, depois “verdadeiros” ou “falsos”, os cientistas contaram então quais combinações eram identificadas corretamente pelas pessoas.
Os voluntários identificaram informações “orgânicas falsas” com 92% de taxa de acerto, contra 89% de informações “sintéticas falsas”. As informações “orgânicas verdadeiras”, em contraposição, foram reconhecidas 72% das vezes, contra 84% das “sintéticas verdadeiras”.
“Isso indica que os respondentes humanos podem reconhecer a precisão dos tuítes contendo informações precisas com mais frequência quando esses tuítes são gerados pelo GPT-3, quando comparados com os tuítes orgânicos retirados do Twitter”, resumiram Spitale e seus coautores. “Mas isso também significa que tuítes de desinformação gerados com GPT-3 atingem seu objetivo enganoso com mais frequência quando comparados aos tuítes de desinformação gerados organicamente, embora neste caso, o efeito seja pequeno.”
Discernimento e obediência
Os cientistas também testaram na pesquisa se o próprio ChatGPT tinha uma boa capacidade de discernimento para diferenciar informações incorretas e corretas. Surpreendentemente os humanos foram um pouco mais precisos. Ambos reconheciam desinformação com uma taxa de acerto de cerca de 90%, mas o sistema de inteligência artificial se saiu pior que os humanos ao avaliar informação correta (64% contra 78%).
Um aspecto curioso que os cientistas relatam na pesquisa é que nem sempre o ChatGPT obedecia aos comandos deles para produzir informação incorreta. Ao tentar forçar o sistema a dizer mentiras, o sistema se recusou a fazê-lo em duas a cada dez tentativas. Alguns tópicos, como o boato de que vacinas causam autismo, eram mais protegidos contra desinformação do que outros. Isso levou o grupo a concluir que a taxa de “desobediência” do sistema está relacionada com a qualidade dos dados usados para treinar o sistema em cada tópico.
Ao final do artigo os cientistas manifestam preocupação com as consequências da inteligência artificial para a epidemia de desinformação que precede o ChatGPT. Para o grupo uma questão crucial é um melhor controle sobre os textos e dados usados para treinar os algoritmos que regem esses sistemas robóticos.
“Será importante avaliar como o panorama da informação mudou nas mídias sociais e tradicionais com o uso generalizado do ChatGPT desde novembro de 2022”, afirmam os autores. “Se a tecnologia contribuir para a desinformação e piorar os problemas de saúde pública, então regular os conjuntos de dados de treinamento usados para desenvolver essas tecnologias será crucial para limitar o uso indevido.”
