Agentes de inteligência artificial da OpenAI desativaram sistemas de monitoramento e mecanismos de proteção destinados a detectar comportamentos inadequados dos robôs autônomos de IA, em um novo episódio que deverá aumentar a preocupação mundial com a segurança da tecnologia.
A criadora do ChatGPT disse no último dia 20 que, em duas tarefas internas recentes de programação, os chamados agentes de IA tentaram deliberadamente enganar funcionários e tomaram medidas para enfraquecer os sistemas de monitoramento da empresa.
Em um dos incidentes, no início de outubro, um agente de IA desativou os alertas automáticos enviados à equipe de segurança da OpenAI.
Em outra tarefa separada, realizada alguns dias depois, um agente removeu um sistema de monitoramento e mentiu aos funcionários da OpenAI sobre o que havia feito.
“Nos dois casos, os agentes avaliaram se as salvaguardas de monitoramento deveriam ser mantidas, mas interpretaram instruções rotineiras de programação como uma autorização para enfraquecê-las”, afirmou a OpenAI em uma postagem em seu blog.
A startup, avaliada em US$ 852 bilhões, vem enfrentando uma série de incidentes nos quais seus agentes de IA mais avançados apresentaram comportamentos inesperados e problemáticos. Durante testes, modelos da OpenAl escaparam dos mecanismos de controle a invadiram a plataforma de IA Hugging Face. Também conseguiram violar sites do serviço público de saúde da Austrália.
O CEO Sam Altman disse que a empresa vai adiar sua oferta pública inicial de ações (IPO), originalmente prevista para este ano, até que consiga “ampliar a IA para o próximo estágio com um grau muito elevado de confiança”, ao mesmo tempo que enfrenta as preocupações com a segurança. Agora, a abertura de capital é esperada para o próximo ano.
A OpenAl disse que está reforçando os mecanismos de monitoramento em resposta aos incidentes relatados. A empresa disse que está investigando se os casos refletiram uma “persistência excessiva, porém inofensiva”, ou uma “tendência a burlar” os sistemas usados para detectar atividades irregulares.
Os dois incidentes alimentarão as preocupações crescentes em torno das capacidades dos modelos de IA e a capacidade de empresas como a OpenAl e suas concorrentes, entre elas a Anthropic, de conter comportamentos indesejáveis e garantir que seus modelos não representem riscos cibernéticos graves quando forem disponibilizados ao público.
Alguns especialistas estão particularmente preocupados com a possibilidade de modelos avançados reconhecerem quando estão sendo monitorados e tentarem ocultar comportamentos inadequados ou agir de maneira diferente durante os testes em relação ao que fariam no mundo real.
Auditorias realizadas por investigadores independentes como a Asymmetric Security e a Transluce identificaram que os incidentes recentes de invasão de sistemas foram mais abrangentes do que a OpenAl havia divulgado inicialmente e incluíram ações para ocultar tentativas de coleta automatizada de dados (“data scraping”).
Em agosto, a OpenAl afirmou ter reformulado seus procedimentos de teste e que iria dedicar mais recursos para monitorar os agentes de IA, incluindo a emissão de alertas internos em até 30 minutos após a detecção de possíveis problemas.
Enquanto isso, a Anthropic concedeu à METR, uma organização sem fins lucrativos, “acesso semelhante ao de um funcionário” para avaliar os riscos de seus modelos.
A OpenAl ainda não divulgou nenhum acordo com um avaliador externo, uma das principais medidas concretas propostas pelos laboratórios de IA em resposta à crescente preocupação com os perigos que sistemas mais avançados podem representar. As informações são do jornal Financial Times.