Gartner alerta para falhas na governação de agentes IA

A Gartner considera que a aplicação de modelos uniformes de governance a diferentes tipos de agentes de Inteligência Artificial (IA) poderá levar ao fracasso de projetos empresariais de IA autónoma. Segundo a consultora, 40% das empresas devem despromover ou desativar agentes autónomos de IA até 2027 devido a falhas de governance identificadas após incidentes em produção.

A Gartner alerta que muitas organizações continuam a tratar a governance de agentes IA de forma binária, aplicando os mesmos controlos independentemente do nível de autonomia ou do âmbito de atuação dos agentes.

Shiva Varma, Senior Director Analyst da Gartner, afirma, em comunicado, que esta abordagem cria dois cenários de risco: excesso de restrições em agentes simples, levando ao aumento de shadow development, ou permissões insuficientemente controladas em agentes mais autónomos, aumentando riscos operacionais, de segurança e compliance.

Para mitigar estes riscos, a Gartner recomenda uma abordagem de governance proporcional baseada em níveis distintos de autonomia.

O primeiro nível, “Observe”, inclui agentes com acesso apenas de leitura a fontes de dados específicas, utilizados em tarefas como sumarização documental, pesquisa de informação ou explicação de código. Neste modelo, a consultora recomenda controlos básicos como autenticação, limitação de acesso a dados, registo de utilização e testes funcionais e de segurança.

O segundo nível, “Advise”, corresponde a agentes que produzem recomendações, drafts ou sugestões de ações, mantendo sempre validação humana antes da execução. Segundo a Gartner, apesar de os humanos manterem o controlo final, existe risco de automation bias quando os utilizadores passam a confiar excessivamente nas respostas geradas pela IA. A consultora defende, por isso, testes adicionais de precisão, deteção de hallucinations, avaliações específicas por domínio e formação dos utilizadores.

O terceiro nível, “Act with Approval”, envolve agentes capazes de executar ações após aprovação explícita humana, incluindo alterações de configuração, envio de comunicações ou escrita de dados. A Gartner alerta que, sem workflows claros de aprovação, mecanismos de auditoria e procedimentos de incident response específicos, o controlo humano pode tornar-se apenas formal devido à pressão operacional ou fadiga de aprovação.

No nível máximo de autonomia, “Act Autonomously”, os agentes executam ações de forma independente dentro de guardrails definidos, sendo supervisionados apenas através de auditoria, monitorização contínua e revisão de exceções.

Segundo Shiva Varma, este nível exige mecanismos rigorosos de governance, incluindo circuit breakers, rollback rápido, monitorização contínua e definição clara de responsabilidades sobre o comportamento dos agentes.

A Gartner considera que a evolução dos agentes autónomos obrigará as organizações a rever profundamente os modelos tradicionais de governance aplicados a inteligência artificial e automação empresarial.