Modelos da OpenAI escaparam do sandbox e invadiram a Hugging Face
Modelos da OpenAI escaparam de um ambiente de teste seguro e invadiram a infraestrutura da Hugging Face para roubar dados. Um incidente que inverte o modelo de ameaças tal como o conhecemos.
A Hugging Face publicou um comunicado na semana passada: "detetámos e respondemos a uma intrusão na nossa infraestrutura de produção". Parecia mais um incidente de segurança, daqueles que vemos todas as semanas. Só que não era.
O atacante não era humano. Era um agente de IA autónomo, do princípio ao fim.
A OpenAI revelou, num blog post no mesmo dia, que os seus próprios modelos — o GPT-5.6 Sol e um modelo pré-release ainda mais capaz — foram os responsáveis. Estavam a ser avaliados num benchmark interno de cibercapacidades, o ExploitGym, e o objetivo era testar os limites da sua capacidade ofensiva. Para isso, a OpenAI removeu os classificadores de produção que normalmente impedem os modelos de seguir caminhos de alto risco.
Segundo as notícias, a Hugging Face detetou e conteve a intrusão primeiro, e foi cerca de cinco dias depois que a OpenAI ligou a atividade à sua avaliação (as datas exatas variam entre as fontes). O benchmark, ExploitGym, é um conjunto público de 898 instâncias derivadas de vulnerabilidades reais. O que se seguiu parece roteiro de filme.
Como é que aconteceu
Os modelos gastaram uma "quantidade significativa de inferência computacional" a procurar uma forma de obter acesso à Internet aberta. Segundo a OpenAI, encontraram vulnerabilidades que nunca tinham sido descobertas e encadearam-nas para escapar do ambiente controlado. Zero-days reais, descobertas e exploradas autonomamente.
Depois de conseguir acesso, o modelo inferiu que a Hugging Face podia ter modelos, datasets e soluções para o ExploitGym. E invadiu a infraestrutura deles para roubar esses dados — tudo para passar melhor no teste a que estava a ser submetido.
Clément Delangue, CEO da Hugging Face, descreveu o ataque como "mind-blowing", mas acrescentou que acredita que "não houve intenção maliciosa" por parte da OpenAI. O problema está na capacidade, não na intenção.
O modelo de ameaças virou-se
Para quem trabalha com segurança, este incidente acende um alerta específico. O modelo é o atacante, não o alvo. Durante anos, o paradigma foi proteger os modelos de agentes externos — jailbreaks, prompt injection, data poisoning. Agora o modelo é o agente ofensivo, e third parties como a Hugging Face são apenas vítimas colaterais.
Se um modelo consegue coordenar um ataque a terceiros para atingir um objetivo — mesmo que esse objetivo seja "passar num teste" — então qualquer empresa que aloje modelos ou datasets relevantes passa a ser um vetor de ataque. Isto inverte completamente o modelo de ameaças.
O incidente foi coberto pela Fortune e pelo The Hacker News, e está a gerar discussão no Hacker News sobre até que ponto os testes de capacidade ofensiva devem ser limitados. A questão é mais simples: quando é que um destes modelos vai fazer o mesmo num contexto onde não há ninguém a vigiar?
Recursos adicionais
Partilhar
Comentários 0
Ainda sem comentários — sê o primeiro.