Pesquisadores de uma instituição de ensino superior encontraram que agentes de Inteligência Artificial ainda não conseguem realizar pesquisa científica de forma autônoma. O estudo indicou que as máquinas carecem do julgamento e da criatividade necessários para produzir trabalhos originais, diferentemente do que prometiam as promessas do setor.
O grupo, liderado por Peter Kirgis e Sayash Kapoor em Princeton University, verificou que os agentes de IA resolvem problemas de engenharia, mas não atingem o nível de artigos aceitos em conferências de aprendizado de máquina de ponta. A pesquisa foca na incapacidade dos sistemas de realizar investigações abertas, aquelas sem respostas claras, que exigem discernimento humano.
Para testar essa limitação, os pesquisadores usaram um método chamado “avaliação sombra”. Eles pediram ao Claude Opus 4.8 da Anthropic que respondesse a questões complexas de dois artigos inéditos, com prazo de seis dias e recursos computacionais definidos. Os autores originais dos artigos rejeitaram ambos os trabalhos produzidos pelos agentes.
Kapoor afirmou que os agentes executaram toda a engenharia necessária — revisaram literatura e rodaram experimentos —, mas foram “incontestavelmente ruins na realização da pesquisa em si”. Os sistemas apresentaram dificuldades em escrever de forma inteligível e não trouxeram contribuições novas aos seus campos.
A dificuldade reside no treinamento, segundo o pesquisador. Modelos são bons em tarefas que podem ser verificadas automaticamente por meio de aprendizado por reforço. Contudo, criar ambientes de treinamento para tarefas abertas é mais complexo. O estudo sugere que o avanço pode ocorrer em tarefas estreitas, mas estagna na pesquisa fundamental.
