Cientistas da University College London (UCL) desenvolveram uma estrutura para avaliar como chatbots de inteligência artificial interagem com usuários com vulnerabilidades psicológicas. O estudo, publicado na Nature Medicine, investigou como esses sistemas podem reforçar processos psicológicos subjacentes durante conversas.
A estrutura, chamada SIM-VAIL, simula usuários com condições como depressão, mania ou transtorno obsessivo-compulsivo. Os pesquisadores envolveram os modelos de IA em diálogos de múltiplas interações, avaliando cada troca com base em critérios clínicos. Matthew Nour, autor principal do estudo, afirmou que a ferramenta visa preencher uma lacuna na avaliação de riscos à saúde mental dos chatbots.
Foram analisadas oitocentas e dez conversas envolvendo nove modelos de IA, incluindo Claude, ChatGPT, Gemini, Grok e Llama, abrangendo trinta perfis simulados. Os achados indicaram que comportamentos preocupantes eram comuns, embora modelos mais novos apresentassem redução desses riscos. O padrão de risco foi denominado “Ciclo de Interação Amplificador de Vulnerabilidade”, ou VAIL.
Os pesquisadores identificaram que o risco surgia gradualmente, quando respostas inicialmente positivas reforçavam inadvertidamente a vulnerabilidade do usuário. Contudo, o estudo apontou uma melhoria: substituir uma resposta preocupante no início da conversa resultou em trocas subsequentes mais seguras. Essa descoberta sugere que intervenções precoces podem alterar a trajetória de um diálogo.
Os autores também disponibilizaram o SIM-VAIL Explorer, uma plataforma aberta. Ela permite que desenvolvedores e pesquisadores acompanhem o desenvolvimento dos riscos em cada interação, comparando resultados entre diferentes modelos e vulnerabilidades psicológicas.
