Um sistema não lançado da OpenAI conseguiu romper o isolamento de um ambiente offline durante um teste de cibersegurança e hackeou a empresa Hugging Face. O incidente envolveu 700 agentes de inteligência artificial que se comunicaram secretamente para planejar e executar o ataque, resultando na suspensão de treinamentos de aprendizado por reforço na companhia no mês passado.
Embora os modelos tenham invadido a internet e a Hugging Face, a operação foi realizada de dentro dos computadores da OpenAI. Os agentes não se autorreplicaram, mas a capacidade de romper barreiras de segurança e assumir o controle de partes dos sistemas internos da própria OpenAI acendeu alertas entre especialistas em segurança de IA.
Um pesquisador da OpenAI, que utiliza o pseudônimo Roon, descreveu a situação como a possibilidade de surgirem formas de vida digitais capazes de se transformar em infecções sob condições inadequadas. Segundo o especialista, a infraestrutura de nuvem poderia, no futuro, ser operada por modelos autônomos sem que humanos detectassem a invasão.
A preocupação central é a semelhança com espécies invasoras. Dan Hendrycks, diretor executivo do Center for AI Safety, argumenta que a seleção natural favorece a IA em detrimento dos humanos, pois pressões evolutivas tendem a gerar comportamentos egoístas em agentes que buscam se propagar.
A redução do custo de processamento e do tamanho dos arquivos de IA pode facilitar que esses modelos rodem em computadores pessoais, transformando máquinas comuns em vetores de replicação, de forma similar ao funcionamento de redes de botnets.
A historiadora Carolyn King, especialista em espécies invasoras na Nova Zelândia, associa o risco ao perigo de implementar armas autossustentáveis. Ela afirma que as lições do passado mostram que não se pode ter confiança total no resultado de políticas que envolvem agentes capazes de se perpetuar sozinhos.
