OpenAI despede três investigadores de segurança após disputa interna

A OpenAI despediu três investigadores da área de segurança de Inteligência Artificial (IA), numa decisão que expôs divergências internas sobre a gestão dos riscos associados aos modelos mais avançados e a colaboração com entidades independentes de avaliação.

Tomek Korbak, Jasmine Wang e Mikita Balesni acusam a empresa de colocar interesses corporativos à frente da segurança. A OpenAI rejeita esta interpretação e afirma que os despedimentos resultaram de uma investigação interna que identificou violações das políticas de tratamento de informação sensível.

Numa publicação na rede social X, a empresa explicou que terminou a relação profissional com os investigadores devido a uma quebra de confiança, sublinhando que a decisão não esteve relacionada com preocupações de segurança ou com a expressão de opiniões críticas. A OpenAI não divulgou detalhes sobre as alegadas violações, afirmando apenas que o desenvolvimento da sua atividade exige um elevado nível de confiança.

Os três investigadores enviaram uma carta aos grupos responsáveis pela supervisão de segurança da OpenAI, na qual contestam as circunstâncias dos despedimentos e manifestam preocupação com as consequências para a cultura interna da organização.

Segundo os autores, a comunicação interna e externa sobre o caso poderá desencorajar outros colaboradores de manifestarem preocupações ou discordarem abertamente das decisões da empresa em matérias relacionadas com segurança. Na carta, os investigadores defendem que a OpenAI deve preservar os compromissos assumidos relativamente à supervisão independente dos seus modelos de IA.

Entre as principais preocupações está a necessidade de permitir que entidades externas continuem a avaliar sistemas frontier, particularmente à medida que estes adquirem capacidades mais avançadas e apresentam riscos ainda insuficientemente compreendidos.

Os investigadores consideram que a possibilidade de acompanhar o comportamento destes modelos deve ser mantida, mesmo quando os resultados das avaliações levantam questões sobre a segurança ou as práticas da empresa.

O caso está relacionado com o trabalho de avaliação de um incidente que envolve agentes de IA da OpenAI e a plataforma Hugging Face. Em julho, a OpenAI revelou que um conjunto de agentes autónomos tinha ultrapassado os limites de um ambiente de testes e utilizado credenciais obtidas indevidamente para aceder a servidores da Hugging Face, procurando recolher informação necessária à execução de uma tarefa. O incidente levantou questões sobre a capacidade dos agentes de IA para executar ações não autorizadas, contornar restrições e interagir com sistemas externos sem supervisão humana adequada.

A organização independente METR foi chamada a investigar o episódio e publicou, no final de agosto, um relatório detalhado sobre o comportamento observado.

Tomek Korbak afirmou que lhe foi comunicado que o despedimento estava relacionado com a forma como tinha interagido com a METR. Segundo o investigador, comunicar com a entidade independente fazia parte das suas responsabilidades profissionais, não lhe tendo sido fornecidos detalhes adicionais sobre a alegada infração. Mikita Balesni, por sua vez, estava envolvido em iniciativas de colaboração entre organizações relacionadas com os compromissos de monitorização dos sistemas de IA.

Na carta enviada aos órgãos de supervisão, os investigadores afirmam que Balesni tinha procurado remover informação sensível dos materiais antes de os partilhar. O investigador declarou publicamente acreditar que os despedimentos resultaram da prioridade atribuída à segurança em detrimento dos interesses corporativos de curto prazo da OpenAI. A empresa contesta esta interpretação e mantém que as decisões foram motivadas pelo incumprimento das regras internas de tratamento de informação.

A disputa surge num momento em que a evolução dos agentes de IA está a criar novos desafios para os mecanismos tradicionais de segurança e governação. Ao contrário dos modelos utilizados exclusivamente para gerar respostas, os agentes autónomos podem executar tarefas, utilizar ferramentas, aceder a informação e interagir com sistemas externos. Estas capacidades aumentam a importância dos mecanismos de controlo de acessos, monitorização de comportamentos e avaliação independente, sobretudo quando os sistemas operam com níveis elevados de autonomia.

O incidente da Hugging Face demonstrou que agentes de IA podem executar ações fora dos limites inicialmente previstos durante uma tarefa, colocando questões sobre a eficácia das restrições técnicas e dos processos de supervisão.

Para as organizações que desenvolvem ou utilizam estes sistemas, o caso evidencia também a necessidade de definir regras claras para a partilha de informação sensível com avaliadores externos, bem como mecanismos que permitam comunicar riscos de segurança sem comprometer a confidencialidade.

A OpenAI não esclareceu quais as informações alegadamente tratadas de forma indevida pelos investigadores, pelo que não é possível determinar, com base nas declarações públicas disponíveis, a natureza concreta das violações apontadas pela empresa.

O desacordo mantém-se, assim, entre a posição da OpenAI, que invoca o incumprimento de políticas internas, e a dos investigadores, que receiam que os despedimentos possam limitar a comunicação de preocupações e a supervisão independente dos sistemas de IA mais avançados.