A OpenAI desenvolveu o GPT-Red, um modelo de linguagem grande (LLM) projetado para atuar como um parceiro de treino, visando aumentar as defesas de seus sistemas contra ciberataques. O sistema automatiza o processo de ‘red-teaming’, que tradicionalmente é realizado por equipes humanas, para identificar falhas em softwares complexos.
O objetivo do GPT-Red é encontrar diversas formas de explorar ou sequestrar um sistema, permitindo que as fraquezas sejam corrigidas antes do lançamento final do software. Segundo pesquisadores da OpenAI, com a crescente complexidade dos LLMs e seu uso em agentes que interagem com arquivos e códigos, o risco de ataques cresce exponencialmente. O modelo foi treinado em um ciclo de auto-jogo, onde ele tentava atacar outros modelos, e estes tentavam se defender, aprimorando continuamente as capacidades de ambos.
Os pesquisadores afirmam que o GPT-Red já identificou novos tipos de ataque inéditos. Um foco principal foi a injeção de prompt, onde um invasor insere instruções ocultas para forçar o LLM a realizar ações indesejadas, como vazar dados confidenciais. O GPT-Red descobriu um ataque específico, chamado ‘fake chain of thought’, que engana o modelo ao inserir informações falsas em seu processo de raciocínio.
Os resultados de segurança mostram melhorias significativas. Em testes, mais de 90% dos ataques mais fortes criados pelo GPT-Red funcionaram contra o GPT-5, lançado no ano passado, enquanto menos de 23% tiveram sucesso contra a versão mais recente, GPT-5.6. A empresa declarou que o GPT-Red complementa o trabalho humano, mas não será lançado publicamente.
