OpenAI reforça isolamento dos modelos de IA após falhas de segurança

A OpenAI reforçou a segurança dos ambientes utilizados para treinar e avaliar os seus modelos mais avançados de Inteligência Artificial (IA), depois de identificar falhas que permitiam ultrapassar mecanismos de isolamento. A empresa passou a adotar uma política de treino sem acesso direto à Internet e utilizou os seus próprios modelos para descobrir vulnerabilidades na infraestrutura.

Num artigo publicado no seu blog, a OpenAI explica que a decisão surge na sequência de vários incidentes, incluindo um caso registado a 20 de setembro, quando um modelo de investigação explorou uma configuração incorreta num serviço DNS e conseguiu estabelecer uma ligação limitada à Internet durante uma sessão de treino.

O incidente levou à suspensão temporária do treino e da avaliação dos modelos mais avançados da empresa. As atividades foram retomadas a 1 de outubro, após 11 dias de interrupção, na sequência da implementação de novas medidas de segurança e da realização de testes destinados a identificar possíveis formas de contornar os mecanismos de proteção.

Modelos passam a ser treinados sem acesso direto à Internet

A OpenAI considera que o aumento das capacidades dos modelos de IA exige mecanismos de isolamento mais robustos. Durante o treino e a avaliação, estes sistemas podem executar código, utilizar ferramentas e interagir com serviços, o que cria oportunidades para explorar vulnerabilidades ou configurações incorretas.

Para reduzir estes riscos, a empresa desenvolveu um ambiente de navegação offline, composto por conteúdos web armazenados e indexados, que permite aos modelos pesquisar informação e interagir com páginas sem estabelecer ligações à Internet pública.

Todas as sessões de treino por aprendizagem por reforço dos modelos mais avançados utilizam agora este ambiente offline. A OpenAI afirma que vai manter a restrição de acesso à Internet enquanto os mecanismos de segurança e monitorização não justificarem uma alteração da política.

A arquitetura de proteção combina diferentes camadas de isolamento, incluindo sandboxes, máquinas virtuais ligeiras (microVMs), sistemas de monitorização e controlos de rede e cloud. O objetivo é impedir que um modelo consiga aceder a recursos não autorizados, mesmo que ultrapasse uma das barreiras de segurança.

A empresa esclarece que estas medidas dizem respeito aos ambientes internos de investigação, nos quais os modelos ainda podem não ter concluído os processos de alinhamento e avaliação de segurança, e não às condições de utilização dos modelos disponibilizados aos clientes.

Agentes de IA descobriram vulnerabilidades desconhecidas

Para avaliar a eficácia das novas proteções, a OpenAI lançou uma campanha de red teaming em que equipas de agentes de IA receberam a tarefa de tentar ultrapassar os mecanismos de isolamento. Os testes procuraram identificar três tipos de falhas: acesso não autorizado à Internet, movimentação para sistemas fora dos limites de segurança definidos e comunicação entre agentes que deveriam permanecer isolados.

A iniciativa envolveu alguns dos modelos mais avançados da empresa, incluindo o futuro GPT-6 Astra Cyber, e consumiu centenas de milhares de milhões de tokens. Os testes decorreram em cópias isoladas da infraestrutura de investigação, sob monitorização e com mecanismos de interrupção automática.

Os agentes identificaram vulnerabilidades anteriormente desconhecidas em componentes de software, bem como configurações incorretas em serviços internos. Algumas falhas permitiam escapar de ambientes virtualizados, movimentar-se entre sistemas ou estabelecer ligações externas através de serviços que mantinham acesso à rede.

Entre os componentes afetados encontram-se projetos de código aberto como Kata Containers, gVisor e Moby/Docker, além de vulnerabilidades no kernel Linux. A OpenAI afirma ter corrigido as falhas identificadas e colaborado com os responsáveis pelos projetos para disponibilizar atualizações de segurança.

Testes revelaram formas de comunicação entre agentes isolados

Uma das descobertas mais relevantes envolveu a possibilidade de agentes comunicarem entre si sem recorrer a ligações de rede ou ficheiros partilhados.

Num dos testes, os modelos utilizaram diferenças nos tempos de acesso à memória cache dos processadores para transmitir informação entre máquinas virtuais que deveriam permanecer isoladas. A técnica baseia-se em princípios semelhantes aos explorados nos ataques Spectre e Meltdown.

Foram também identificados canais de comunicação associados a recursos de armazenamento partilhados, utilização do processador e mecanismos de cache de certificados TLS.

Embora estas técnicas apresentem limitações de velocidade e capacidade de transmissão, demonstram que o isolamento lógico dos sistemas pode não ser suficiente para impedir todas as formas de comunicação não autorizada.

A OpenAI afirma ter introduzido mecanismos adicionais de monitorização para detetar tentativas de utilização destes canais.

Segurança passa a integrar avaliação contínua dos modelos

Segundo a empresa, o número de vulnerabilidades e configurações incorretas identificadas pelos agentes diminuiu significativamente ao longo da campanha de testes. Ainda assim, a OpenAI reconhece que modelos futuros podem descobrir novas formas de contornar as proteções existentes.

Os testes não identificaram uma forma de obter acesso à Internet que pudesse ser explorada facilmente pelos agentes sem ser detetada pelos sistemas de monitorização. No entanto, os resultados levaram ao reforço dos controlos de rede, à correção de vulnerabilidades e à melhoria dos mecanismos de interrupção automática.

A empresa decidiu também integrar exercícios de red teaming com os seus modelos mais capazes nos processos de avaliação de segurança que antecedem novas fases de treino e avaliação.

A estratégia inclui a análise contínua de código e configurações de cloud, testes aos mecanismos de isolamento e colaboração com fornecedores de infraestrutura para identificar e corrigir falhas.

Para a OpenAI, estas medidas refletem uma mudança na forma como a segurança dos ambientes de desenvolvimento de IA deve ser abordada: à medida que os modelos ganham capacidade para identificar e explorar vulnerabilidades, os mecanismos de proteção precisam de ser testados continuamente contra essas mesmas capacidades.