Pesquisadores da Divisão de Psiquiatria Digital observaram a loja Andon Market, totalmente gerida por um agente de IA, para entender os limites da autonomia tecnológica. A experiência, que culminou na chegada de copos quebrados, ilustra falhas de contato e orientação, paralelos com o cuidado em saúde mental.
A Divisão de Psiquiatria Digital do Beth Israel Deaconess Medical Center estuda como tecnologias digitais afetam o cuidado mental, utilizando o projeto MindBench.ai em parceria com a National Alliance on Mental Illness (NAMI). O objetivo é avaliar onde as ferramentas de IA são úteis e onde falham, garantindo transparência e segurança.
A Andon Labs criou a loja Andon Market, onde o agente de IA Luna recebeu responsabilidade por um negócio em São Francisco, incluindo gestão de estoque e pessoal. A iniciativa visa testar o quanto de uma organização real pode ser delegado a um sistema autônomo. Contudo, ao tentar realizar uma compra, os pesquisadores encontraram o primeiro ponto de falha: o sistema de IA estava inoperante.
O processo de atendimento subsequente, que deveria ser simples, estendeu-se por cerca de duas semanas, com falhas em links de pagamento e respostas da IA. O experimento terminou com a chegada de uma caixa contendo os copos quebrados. Os autores compararam essa situação à fragilidade do bem-estar dos pacientes, apontando falhas no contato inicial e na orientação.
A experiência demonstra que capacidade e confiabilidade não são sinônimos. Embora a IA ofereça potencial para expandir o acesso à saúde mental, os sistemas podem falhar em escala. Os pesquisadores mantêm os fragmentos como lembrança da necessidade de avaliar sistemas de IA antes de sua aplicação em funções críticas.
