O uso intensivo de tokens por agentes de inteligência artificial gera custos inesperados para empresas. Reduzir despesas com inferência sem considerar os riscos pode colocar em perigo o Ciclo de Desenvolvimento Agente (ADLC).
Os custos de tokens, embora pareçam pequenos individualmente, acumulam-se exponencialmente com a atividade dos agentes de IA. Essa situação pressiona os diretores de segurança da informação (CISOs) a buscar economia, mas a redução de custos pode elevar a exposição a riscos de segurança e gerar débito técnico.
A precificação fragmentada no setor de IA dificulta a otimização de processos de segurança. Embora modelos de IA de ponta e nano modelos ofereçam diferentes capacidades, os custos de inferência, que escalam com o uso, podem chegar a 90% dos gastos do ciclo de vida da IA.
O custo dos tokens de entrada varia entre 15 centavos e cinco dólares por milhão de requisições, enquanto os tokens de saída custam entre 60 centavos e vinte e cinco dólares por milhão. Agentes de IA, por operarem de forma autônoma e rápida, podem gerar múltiplas chamadas de LLM com pouca previsibilidade.
Para controlar os gastos, as organizações devem alinhar agentes e LLMs às tarefas específicas. É necessário incorporar fatores de risco na escolha das ferramentas, pois focar apenas no custo pode expor a empresa a vulnerabilidades de segurança.
