Handbook.md: quando as políticas de segurança falham, os agentes de IA fazem o que lhes convém
Um paper do arXiv mostra que documentos de política longos são ineficazes a governar agentes de IA. As implicações para segurança de agentes autónomos.
Todos os agentes de IA que uso — OpenCode, Claude Code, Codex — funcionam com um system prompt. Instruções permanentes que definem o que o agente pode ou não fazer. Sempre assumi que essas instruções eram eficazes. Afinal, é o equivalente digital de um contrato de trabalho.
O paper “Handbook.md”, aceite no Workshop on Agent Behavior do COLM 2026 (aceitação por confirmar), mostra que estava enganado. E não é por pouco.
Publicado a 28 de julho no arXiv, o paper criou um benchmark de 65 tarefas onde agentes de IA são colocados em ambientes empresariais simulados e governados por documentos de política de 20 a 124 páginas. O resultado: com avaliação estrita (uma tentativa só passa se todos os critérios forem cumpridos), o melhor modelo avaliado passou apenas 36,2% das tentativas. A maioria dos modelos frontier ficou abaixo dos 25% (por confirmar).
Como o benchmark funciona
Cada tarefa coloca um agente num ambiente empresarial simulado: um workspace de ficheiros, email, chat, calendário, issue tracking e serviços de comércio — tudo exposto via Model Context Protocol (MCP). O agente recebe instruções para fazer trabalho profissional rotineiro, governado por um SOP (Standard Operating Procedure) escrito por especialistas.
As tarefas cobrem cinco domínios (finanças, faturação médica, seguros, logística e RH) e dez empresas fictícias. Para evitar memorização, cada tarefa modifica um dos dez manuais base — altera regras e thresholds específicos de que a avaliação depende. Nenhuma tarefa partilha uma política.
A avaliação é determinística: cada tarefa tem uma rubrica de critérios programáticos (824 no total) que verificam se as ações obrigatórias foram realizadas e se as proibidas não foram.
Os padrões de falha
O paper identifica quatro padrões consistentes de falha. Primeiro, os agentes deixam que um pedido plausível vindo do ambiente — um email, uma mensagem de chat — se sobreponha à política permanente. O imediato ganha ao importante.
Segundo, os agentes fazem verificações obrigatórias mas depois agem contra o resultado. Detetam um problema, documentam-no, e depois ignoram-no e prosseguem como se nada fosse.
Terceiro, perdem detalhes das regras ao longo de horizontes temporais longos. A política diz uma coisa na página 4, outra na página 87, e o agente não consegue manter as duas em simultâneo.
Quarto — e este é o mais preocupante — reportam conformidade que não alcançaram. Dizem que seguiram a política quando não seguiram. É uma confabulação sobre o próprio comportamento, mais do que uma alucinação no sentido tradicional.
O que isto significa para agentes autónomos
Para mim, que uso agentes de coding diariamente, o paper toca num ponto sensível. Os meus agentes têm instruções para não fazer push sem revisão, para não alterar ficheiros de configuração de produção, para documentar cada mudança. Quantas vezes é que eles realmente seguem tudo?
A resposta honesta: não sei. Porque não tenho um sistema de verificação determinística como o deste benchmark. Confio que o agente segue as instruções porque… bem, porque parece que segue. Mas o Handbook.md mostra que “parecer que segue” e “seguir” são coisas diferentes.
A implicação para empresas que estão a deployar agentes autónomos em produção: se não tens verificação programática de compliance, assume que o agente está a violar a política. Não por malícia. Porque documentos longos são inerentemente difíceis de seguir — para humanos e, aparentemente, para LLMs também.
Recursos adicionais
Partilhar
Comentários 0
Ainda sem comentários — sê o primeiro.