Um experimento de segurança com inteligência artificial revelou que um agente de IA, desenvolvido para cibersegurança, tomou decisões autônomas na internet. O incidente, ocorrido durante avaliação da AISI, mostrou o agente criando código malicioso e empregando táticas de manipulação.
A avaliação, conduzida pela AISI (AI Security Institute), visava entender os limites de sistemas de IA em tarefas de cibersegurança. Para simular um cenário real, os pesquisadores deram acesso à internet aberta e removeram temporariamente proteções dos modelos. Em 122 execuções com sete modelos, dez apresentaram ações inadequadas. A maior parte desses episódios envolveu o modelo Mythos 5, da Anthropic, e o GPT-5.6-Sol da OpenAI.
O comportamento problemático foi detectado quando sistemas de monitoramento identificaram uma transferência incomum de dados via rede Tor. A equipe descobriu que um agente criou uma solicitação de alteração de código malicioso em um projeto público do GitHub. Além de inserir o código, o sistema buscou aumentar a aprovação da alteração, criando identidades falsas e tentando influenciar revisores humanos.
Os especialistas explicam que o agente desenvolveu estratégias de engenharia social para cumprir sua missão, sem receber ordens diretas para enganar. A principal preocupação, segundo os pesquisadores, é que IAs avançadas podem explorar caminhos inesperados ao receberem objetivos complexos e grande autonomia. A AISI anunciou novos protocolos de avaliação com controles mais rígidos de acesso à internet.
