Fortinet: “Não têm noção do consumo e mais tarde são surpreendidos com a conta” (com vídeo)

O consumo de tokens pode gerar custos inesperados para as organizações que começam a adotar modelos de Inteligência Artificial (IA). Na quinta edição da IT Security Conference, Rui Branco, SE Manager da Fortinet, destacou a importância de acompanhar estes custos, numa apresentação sobre o duplo papel da IA na cibersegurança.

Há dois anos, a discussão centrava-se sobretudo na utilização da IA para reforçar a eficiência das ferramentas e das equipas. Agora, o desafio passa também por perceber “como é que nós vamos proteger as interações dos nossos utilizadores com estas aplicações e como é que nós vamos proteger estas aplicações de interações externas”.

Da deteção à investigação de incidentes

Na primeira vertente, os modelos de IA permitem identificar padrões maliciosos em grandes volumes de tráfego, mesmo quando os atacantes recorrem a protocolos legítimos. Rui Branco mostrou um ataque de comando e controlo que escapava à identificação convencional. Ainda assim, os modelos conseguiram “detetar estes padrões e identificar este tráfego como malicioso e, mais tarde, bloqueá-lo”.

Nos centros de operações de segurança, a IA permite aprofundar a análise de alertas que, à partida, poderiam ser encerrados. Rui Branco apresentou o caso de um ataque de SQL injection já bloqueado, cuja investigação recorreu a outros agentes para avaliar a criticidade do sistema visado e a reputação do endereço IP de origem. Uma tarefa particularmente relevante, uma vez que “todo este trabalho de triagem, que é feito pela maior parte dos operadores dos analistas do SOC, consome grande parte do seu tempo”.

Permitir a utilização, sem perder o controlo

A crescente utilização de aplicações de IA sem autorização das organizações coloca às equipas de segurança um desafio semelhante ao que já enfrentavam com o Shadow IT. “Quando apareceu, a primeira tendência era bloquear este tipo de aplicações. No entanto, isso só está a dar argumentos aos utilizadores para procurarem alternativas”, alertou Rui Branco. O recurso a dispositivos pessoais, sem os controlos de segurança das organizações, pode acabar por aumentar a exposição da informação.

Em vez de impedir a utilização destas ferramentas, Rui Branco defendeu uma resposta diferente que se baseia em “permitir, mas com controlo”. Um colaborador pode recorrer à IA para pesquisar um destino de férias, por exemplo, mas a tentativa de partilhar dados confidenciais deve ser bloqueada. A distinção depende da capacidade de identificar as aplicações utilizadas e acompanhar a informação que nelas circula.

Esta visibilidade torna-se também necessária perante a crescente utilização de agentes autónomos, cujas interações já ultrapassam a relação entre o utilizador e a aplicação. Através de servidores MCP, estes sistemas podem aceder a ferramentas e recursos empresariais, o que exige maior atenção aos fluxos de dados e às permissões concedidas. Para Rui Branco, importa perceber “que tipo de agentes são, que tipo de interações é que têm e que tipo de acessos é que fazem”.

Novos modelos, novas superfícies de ataque

As exigências de proteção dos dados levam algumas organizações, segundo Rui Branco, a “montar este tipo de soluções in-house”, o que acrescenta novos desafios à segurança das infraestruturas empresariais, através de centros de dados destinados ao processamento de IA.

As aplicações tradicionais assentam numa arquitetura de três níveis: apresentação, aplicação e dados, com mecanismos de segurança entre cada camada. Segundo Rui Branco, esta estrutura mantém-se nos sistemas de IA. “Os três níveis continuam lá”, explicou, embora o treino, a inferência e a integração dos modelos acrescentem novas funções e superfícies de ataque.

A estas exigências junta-se a gestão das identidades não humanas. Os agentes que acedem aos sistemas empresariais precisam de autenticação e de permissões específicas, sendo que considera que “esses acessos têm de ser auditados”.

A proteção das aplicações exige ainda mecanismos capazes de interpretar os conteúdos enviados aos modelos. Ao contrário do tráfego convencional, as instruções em linguagem natural podem esconder tentativas de manipulação, como ataques de prompt injection ou pedidos destinados a contornar restrições de segurança porque “estamos a falar de linguagem natural. Eles não conseguem perceber a intenção”, explicou Rui Branco. A Fortinet apresentou, neste âmbito, mecanismos de análise semântica que, segundo o fabricante, procuram identificar interações maliciosas antes de chegarem aos modelos.

Numa demonstração, um utilizador fez um pedido de sugestões de filmes que foi aceite, enquanto uma tentativa de obter as instruções de segurança do sistema foi intercetada. A proteção também pode atuar sobre as respostas, caso estas incluam informação confidencial. “Essa resposta nunca chega ao cliente”, afirmou.

Para além da segurança, a gestão dos modelos introduz preocupações com os custos. O responsável abordou a possibilidade de encaminhar pedidos para modelos internos ou menos dispendiosos e de acompanhar o consumo de tokens por transação, sobretudo nas organizações que começam a adotar estas soluções.

A visibilidade sobre esse consumo procura evitar despesas inesperadas, uma vez que muitas organizações “não têm noção do consumo e mais tarde são surpreendidos com a conta”, alertou.

A automatização da resposta a incidentes e a proteção das aplicações de IA representam, assim, duas dimensões de uma mesma transformação. Entre a utilização da tecnologia para reforçar a defesa e a necessidade de controlar as novas interações entre utilizadores, agentes e modelos, Rui Branco destacou uma evolução que acompanha “o crescimento de maturidade das várias organizações”.