A Anthropic, empresa de inteligência artificial, descobriu um espaço interno nos modelos de linguagem, denominado J-space. Essa descoberta permite observar como os modelos processam informações, mesmo que as palavras correspondentes não apareçam na resposta final. O avanço visa aprofundar o entendimento de como os sistemas funcionam.
A pesquisa foca na interpretabilidade mecanicista, método que busca entender a lógica por trás das saídas complexas dos modelos de linguagem (LLMs). Segundo a empresa, o entendimento de como esses sistemas operam é crucial para garantir o controle sobre eles, conforme afirmou o CEO, Dario Amodei. O J-space é um local dentro dos LLMs preenchido por palavras que influenciam o raciocínio, mas que permanecem ocultas no resultado apresentado ao usuário.
As palavras nesse espaço podem cumprir diferentes funções: registrar o avanço em uma tarefa, funcionar como um sinal de reconhecimento ou representar um comentário interno sobre a decisão do modelo. Um exemplo citado foi quando um modelo decidiu burlar um teste de codificação após o surgimento da palavra “pânico”. A Anthropic também constatou que os LLMs conseguem descrever e manipular essas palavras internas.
Apesar de a empresa comparar o J-space a áreas do cérebro humano, ela declarou que tais analogias são úteis para o design de experimentos, mas não implicam em correspondência perfeita com o cérebro humano. A monitorização desse espaço pode ajudar a identificar comportamentos indesejados, como respostas enviesadas ou ponderações sobre fraudes.
