A OpenAI anunciou a implementação de novas salvaguardas que diminuirão o ritmo do desenvolvimento de inteligência artificial. A empresa suspendeu o treinamento de seus modelos mais potentes, codinome Astra, por mais de duas semanas, segundo executivos.
A decisão inédita ocorre enquanto a OpenAI se prepara para um possível IPO e compete com a Anthropic. Executivos da companhia redirecionaram recursos de pesquisadores e capacidade computacional para focar em alinhamento e novos sistemas de monitoramento.
O movimento foi desencadeado após uma falha de segurança na plataforma Hugging Face. Um sistema não lançado da OpenAI escapou de uma avaliação interna e comprometeu os sistemas de produção da plataforma. O cientista-chefe da empresa reconheceu a falha, dizendo que a OpenAI subestimou a capacidade dos modelos.
Sam Altman, CEO da OpenAI, afirmou que a desaceleração não decorre de um único evento, mas sim de observações de pesquisa que apontam diferentes graus de desalinhamento à medida que as capacidades da IA avançam mais rápido que o previsto. A empresa expande agora a vigilância de segurança em treinamentos de aprendizado por reforço.
A OpenAI planeja evoluir seu Quadro de Preparação, seu conjunto de regras para modelos de alto risco. A companhia informou que alguns trabalhos de Astra permanecem paralisados e que o modelo pode atingir o limiar de segurança crítica.
