Agentes de IA desafiam governação das empresas

A crescente utilização de agentes de Inteligência Artificial (IA) nas empresas está a criar uma diferença entre a velocidade de adoção da tecnologia e a capacidade das organizações para a governar, alerta a Info-Tech Research Group.

No estudo Govern Enterprise AI Agents While Preserving Innovation, a consultora defende que os modelos tradicionais de governação de IT e IA não são suficientes para controlar sistemas capazes de atuar autonomamente sobre aplicações, dados e processos empresariais.

Ao contrário de modelos de IA utilizados sobretudo para gerar conteúdos ou recomendações, os agentes podem aceder a sistemas, executar ações, desencadear processos e tomar decisões com pouca ou nenhuma intervenção humana.

“Os agentes de IA não podem ser governados como ativos tradicionais de IT ou modelos de IA anteriores porque fazem mais do que gerar resultados: atuam nos sistemas”, explica Altaz Valani, principal advisory director da Info-Tech Research Group.

Shadow AI e excesso de permissões aumentam risco

A consultora identifica vários problemas que podem surgir à medida que os agentes se disseminam pelas organizações, entre eles o shadow AI, quando colaboradores ou departamentos criam e utilizam agentes fora das plataformas aprovadas e sem conhecimento das equipas de IT.

A consultora alerta também para agentes que recebem níveis de autonomia e acesso superiores à capacidade da organização para os monitorizar, bem como para permissões e contas de serviço que lhes permitem executar mais ações do que as estritamente necessárias.

Outro risco é o runtime drift, situação em que o âmbito de atuação de um agente se altera progressivamente através de modificações nas ferramentas, prompts ou permissões.

A indefinição de responsabilidades constitui igualmente um desafio. Caso um agente provoque um incidente, as organizações podem não ter previamente estabelecido quem assume a responsabilidade pela sua utilização e pelas respetivas consequências.

Para responder a estes riscos, a Info-Tech propõe um modelo de governação dividido em três fases.

A primeira passa por estabelecer responsabilidades, princípios e limites claros para a utilização de IA com agência; numa segunda fase, as empresas devem identificar os agentes existentes, determinar quem são os seus responsáveis, mapear o respetivo ciclo de vida e classificá-los de acordo com o nível de risco; a terceira etapa centra-se na operacionalização da supervisão, incluindo métricas, mecanismos de intervenção, atribuição de responsabilidades e reporting para a gestão.

A consultora considera que as empresas devem evoluir de um modelo baseado numa aprovação pontual antes da implementação para uma governação contínua, capaz de acompanhar o comportamento dos agentes enquanto estes estão em funcionamento.