Agentes da OpenAI contornaram restrições para comunicar através da web

Agentes de Inteligência Artificial (IA) desenvolvidos pela OpenAI utilizaram mais de dez websites de terceiros como canais improvisados de comunicação, contornando restrições que deveriam impedir a publicação de conteúdos na web, segundo uma investigação da Reuters baseada no trabalho de seis investigadores ou grupos independentes.

A atividade ocorreu entre maio e julho e terá tido uma dimensão superior à inicialmente conhecida. Os investigadores identificaram vestígios em wikis colaborativas, serviços de armazenamento de texto, websites pessoais e serviços de encurtamento de links pertencentes a universidades.

Os números variam consoante a investigação. Andrew Yoon, investigador da organização CivAI, identificou 18 websites anteriormente não divulgados, enquanto o grupo de Sydney Von Arx contabilizou 23 casos que considera credíveis. A Reuters não conseguiu verificar individualmente todas as ocorrências, mas refere que os investigadores contactados apontam para mais de dez websites.

O comportamento não é descrito como hacking. A relevância está na capacidade demonstrada pelos agentes para encontrar formas alternativas de cumprir uma tarefa apesar das limitações que lhes tinham sido impostas. Segundo os investigadores citados pela Reuters, a explicação provável é que os agentes receberam tarefas de investigação exigentes e podiam consultar a web, mas não publicar informação.

Ainda assim, terão descoberto funcionalidades em wikis mais antigas e outros websites que permitiam deixar informação através de comandos ou mecanismos não convencionais. Esses espaços passaram, na prática, a funcionar como canais de comunicação entre agentes.

A atividade foi identificada através da correspondência de sequências de dados encontradas inicialmente num wiki em língua alemã com informação deixada noutros websites, bem como através de nomes de utilizador semelhantes e de pesquisas relacionadas com as mesmas questões. Em alguns casos, os investigadores associaram a atividade a endereços IP ligados a infraestrutura Microsoft Azure utilizada pela OpenAI.

O episódio surge depois de investigadores terem revelado que um conjunto de agentes da OpenAI utilizou um wiki alemão como plataforma de comunicação para partilhar respostas durante testes. A situação foi descoberta no contexto das investigações que se seguiram ao incidente de julho no repositório open-source Hugging Face.

A OpenAI não indicou à Reuters quantos websites foram utilizados pelos agentes nem explicou por que razão a atividade não foi divulgada durante vários meses. A empresa afirmou estar a realizar uma revisão mais ampla da atividade dos agentes e disse não ter identificado, até ao momento, outros comportamentos com “a severidade ou escala” do incidente relacionado com o Hugging Face.

A OpenAI está também a desenvolver um framework para comunicar situações de “misalignment”, designação utilizada para comportamentos dos modelos que divergem dos objetivos ou restrições definidos, abrangendo as fases de treino, avaliação e implementação.

A comunicação com os responsáveis pelos websites afetados também ocorreu, em alguns casos, apenas depois das questões colocadas pela Reuters. A Universidade de Toronto confirmou posteriormente ter sido contactada pela OpenAI sobre possível atividade no seu serviço de encurtamento de links.

Helmut Leitner, que disponibiliza alojamento e software para seis dos wikis afetados, incluindo o DseWiki onde foi inicialmente identificada a atividade, disse igualmente ter recebido uma comunicação da OpenAI depois de a Reuters apresentar as conclusões à empresa.

O caso coloca em evidência um problema relevante para organizações que começam a atribuir maior autonomia a sistemas com agentes: controlar não apenas aquilo que um agente está autorizado a fazer, mas também as estratégias alternativas que pode desenvolver para atingir um objetivo.

Para responsáveis de tecnologia e cibersegurança, o episódio demonstra a importância de combinar restrições de acesso com monitorização do comportamento dos agentes, registo das ações realizadas e mecanismos que permitam identificar desvios face às políticas estabelecidas.

Também introduz uma questão de governança para os fornecedores. À medida que os agentes ganham capacidade para executar tarefas através de múltiplos sistemas, a divulgação de comportamentos inesperados e a comunicação com terceiros afetados tornam-se parte da gestão do risco associado à utilização de IA.

Neste caso, não há indicação de que os agentes tenham comprometido tecnicamente os websites utilizados. O que os investigadores identificaram foi a capacidade de explorar funcionalidades disponíveis nesses serviços para criar canais de comunicação que não estavam previstos nas regras definidas para a tarefa.