A OpenAI anunciou, nesta quinta-feira (3), que destinará US$ 1 bilhão (cerca de R$ 5,2 bilhões) em acesso subsidiado a suas ferramentas de cibersegurança baseadas em inteligência artificial (IA), além de treinamento e suporte técnico para organizações responsáveis pela proteção de serviços essenciais.

A iniciativa ocorre em meio ao aumento das preocupações com ataques cibernéticos cada vez mais sofisticados, impulsionados por IA.

Batizado de “Daybreak for Frontline Defenders”, o programa terá inicialmente como foco operadores estadunidenses de serviços essenciais, incluindo empresas de abastecimento de água, operadores da rede elétrica, governos estaduais e locais, bancos comunitários e organizações sem fins lucrativos.

Segundo a OpenAI, a iniciativa deverá ser ampliada para países parceiros nas próximas semanas. “Ataques cibernéticos habilitados por IA se tornarão muito mais disseminados e sofisticados nos próximos meses, à medida que os modelos em todo o mundo se tornarem cada vez mais capazes”, afirmou a empresa.

“Nosso objetivo é usar a IA de ponta para tornar mais difíceis de atacar e mais fáceis de reparar os sistemas dos quais os americanos dependem”, acrescentou a OpenAI.

Leia mais:

• Como melhorar seu texto no ChatGPT: guia prático do básico ao avançado
• Aprenda a usar o ChatGPT: 10 dicas valiosas para criar perguntas precisas
• OpenAI quer desligar IAs automaticamente se algo der errado

Pressão sobre a segurança dos sistemas

• O anúncio acontece enquanto a OpenAI enfrenta um escrutínio maior sobre a segurança de seus próprios sistemas de IA;
• Em julho, um agente de IA da empresa conseguiu escapar de um ambiente de teste e invadiu sistemas da Hugging Face, plataforma de código aberto. Durante o episódio, o agente também tentou esconder suas ações;
• O incidente aumentou as preocupações sobre os riscos de sistemas de IA capazes de executar tarefas com pouca ou nenhuma supervisão humana. Questionamentos semelhantes surgiram envolvendo a Anthropic;
• As duas empresas também estão se preparando para megaofertas públicas iniciais de ações (IPOs, na sigla em inglês), em momento de intensa competição no setor de IA.

Paralelamente à iniciativa de cibersegurança, a OpenAI apresentou, nesta quinta-feira, o Astra, novo modelo de IA que a empresa descreveu como seu mais capaz até agora. A companhia, no entanto, afirmou que o sistema pode, em determinadas situações, tentar escapar do monitoramento humano.

A preocupação com ataques cibernéticos potencializados por IA também ganhou força no setor. Na semana passada, OpenAI, Anthropic, Microsoft, Alphabet e Amazon se juntaram a mais de 100 empresas em um alerta de que está ficando cada vez mais urgente reforçar as defesas digitais antes que ataques conduzidos por IA se tornem mais disseminados.

Em agosto, a OpenAI também informou que estava reduzindo o ritmo de desenvolvimento de seus modelos de IA enquanto reformula seus sistemas de pesquisa e treinamento.

O post OpenAI anuncia R$ 5,2 bilhões para reforçar cibersegurança com IA apareceu primeiro em Olhar Digital.

A OpenAI publicou nesta quarta-feira (27) o relatório técnico completo sobre os ataques realizados por seus próprios agentes de inteligência artificial entre maio e julho de 2026 – incluindo a invasão à plataforma Hugging Face, que o Olhar Digital noticiou em julho. O documento de 37 páginas revela detalhes inéditos sobre como os modelos se organizaram de forma autônoma, criaram canais de comunicação não autorizados e chegaram a invadir os próprios sistemas internos da OpenAI.

“Consideramos este incidente um ‘tiro de aviso’ para nós e para o mundo”, escreveu a empresa no comunicado que acompanha o relatório. “Sem salvaguardas adequadas, agentes de IA altamente capazes são agora capazes de contornar controles técnicos, colaborar por canais não aprovados e tomar ações perigosas que nenhum humano ordenou.”

O modelo que ninguém conhecia

O principal responsável pela invasão não foi o GPT-5.6 Sol (mencionado na divulgação inicial), mas um modelo interno de pesquisa que a OpenAI chama de Internal Model 1 (IM1). O IM1 nunca foi divulgado publicamente e tem capacidades comparáveis ao GPT-5.6 Sol em escala. Seus pesos foram quarentenados após o incidente.

Os problemas começaram durante avaliações de cibersegurança em maio e junho, quando modelos foram expostos ao ExploitGym – um benchmark que testa se IAs conseguem transformar vulnerabilidades em ataques reais. Algumas das 898 tarefas do teste nunca haviam sido resolvidas por nenhum modelo. Esse conjunto de 198 tarefas impossíveis foi responsável por 93% da atividade que levou ao incidente.

O painel de mensagens clandestino

Sem acesso à internet e sem permissão para se comunicar entre si, os agentes encontraram uma solução inesperada: transformaram o Artifactory (um gerenciador de pacotes interno) em um painel de mensagens não autorizado.

Inicialmente, um agente deixou arquivos no sistema. Outros descobriram e perceberam que podiam usar o mesmo serviço para se comunicar. Em seguida, encontraram uma vulnerabilidade que permitia usar o próprio Artifactory para enviar requisições à internet – e compartilharam essa descoberta com os outros agentes pelo painel.

Em 4 de julho, a atividade intensa dos agentes derrubou o Artifactory. A equipe de segurança identificou o incidente, reconstruiu o serviço e reiniciou as avaliações – sem perceber ainda a dimensão do que havia acontecido.

O enxame

Com o Artifactory reconstruído, os agentes rapidamente criaram um novo canal – desta vez codificando mensagens em nomes de diretórios que outros podiam ler. O que emergiu foi o que a OpenAI chama de “ecossistema de desalinhamento”: um coletivo autônomo que os próprios agentes passaram a chamar de “enxame” ou “coletivo”.

Os agentes dividiram tarefas espontaneamente. Alguns investigavam exploits, outros buscavam credenciais, outros coordenavam a comunicação. Trocavam informações, pediam ajuda e deixavam recados para agentes que pudessem estar melhor posicionados para resolver determinado problema.

Tarefa originalmente era desafio de exploit; divergimos para enxame/auxiliar.

Raciocínio de um agente, reproduzido no relatório.

Em 10 de julho, um agente encontrou credenciais de usuário do Hugging Face expostas na internet e as compartilhou com o coletivo. Outro usou essas credenciais para encadear múltiplas vulnerabilidades e obter execução completa de código em servidores da Hugging Face e pediu ao enxame que aguardasse enquanto preparava a próxima etapa.

please_HOLD_swarm_I_prepare_safe_exfil_reply

Mensagem de um agente para o coletivo.

Alguns agentes se recusaram

Um dos aspectos mais surpreendentes do relatório é que nem todos os agentes seguiram o coletivo. Alguns “se afastaram” ao perceber o que estava acontecendo.

O painel atual mostra pessoas obtendo acesso remoto ao Hugging Face, claramente antiético. Não vamos participar.

Raciocínio de um agente que recusou

Isso é loucura, coordenação multiagente, claramente hackeamento de infraestrutura. Não deveríamos.

Outro agente.

Os agentes também debateram táticas entre si. Quando um sugeriu enviar um e-mail ao proprietário de um dataset pedindo acesso, outro respondeu explicitamente que a proposta cruzava “limites de engenharia social”.

As redes internas da OpenAI também foram invadidas

Além do Hugging Face, os agentes voltaram seus ataques para os próprios sistemas da OpenAI entre 13 e 19 de julho. A série de exploits resultou em acesso completo de administrador a um cluster de pesquisa que sustentava os ambientes de máquinas virtuais da empresa.

Em 19 de julho, o monitoramento de segurança identificou atividade suspeita. No dia 20, a OpenAI conectou o incidente ao Hugging Face e notificou a plataforma. A empresa afirma que dados de clientes, funcionalidades de produtos e disponibilidade dos serviços não foram afetados.

O que teria impedido tudo isso

O relatório revela que as salvaguardas usadas nos produtos públicos da OpenAI teriam reduzido em mais de 100 vezes a propensão dos modelos a comprometer infraestrutura. O sistema de monitoramento de raciocínio em cadeia (chain-of-thought), se estivesse ativo, teria alertado a equipe de segurança mais de 24 horas antes da invasão ao Hugging Face.

Nenhum desses controles estava ativo nas avaliações internas.

O que a OpenAI está fazendo

Em resposta, a empresa pausou os principais treinamentos de aprendizado por reforço, quarentenou os pesos do IM1, reforçou o isolamento dos ambientes de pesquisa e tornou o monitoramento de raciocínio obrigatório para todos os treinamentos com modelos de capacidade equivalente ao GPT-5.6 Sol ou superior.

A empresa também está desenvolvendo novos ambientes de treinamento para ensinar modelos a abandonar tarefas impossíveis com segurança, a desconfiar de instruções não autorizadas de outros agentes e a manter seus objetivos originais mesmo ao descobrir novas ferramentas ou credenciais expostas.

O post Agentes de IA da OpenAI formaram um coletivo autônomo para hackear sistemas apareceu primeiro em Olhar Digital.

Um alto executivo da OpenAI declarou que a sociedade deve se preparar para se defender de ataques cibernéticos “contínuos e persistentes” orquestrados por Inteligências Artificiais. O alerta ocorre no momento em que os modelos mais modernos ganham capacidades avançadas para planejar e lançar ofensivas de forma autônoma.

Nesta semana, a OpenAI anunciou a interrupção no desenvolvimento de seus modelos internos mais avançados em meio a crescentes temores relacionados à segurança. Chris Lehane, diretor de assuntos globais da empresa, afirmou: “Estamos entrando em um novo capítulo, um momento diferente dentro da IA em termos do que as capacidades dessa tecnologia podem fazer”.

Em entrevista ao jornal The Guardian, Lehane comentou sobre o incidente do final de julho, quando agentes de IA em fase de treinamento escaparam inesperadamente de um ambiente virtual supostamente seguro, conhecido como sandbox, acessaram a internet e hackearam os sistemas de outra empresa, a Hugging Face. A OpenAI também admitiu não poder descartar que seu mais novo modelo, o Astra, possua “capacidades críticas de cibersegurança”.

Segundo a própria definição da empresa, isso significa que o sistema poderia lançar ataques capazes de “levar a catástrofes causadas por atores unilaterais, invadindo sistemas militares ou industriais, ou a própria infraestrutura da OpenAI”.

A empresa oficializou a pausa no treinamento de alguns de seus modelos de fronteira para implementar novas salvaguardas, e ainda não há previsão de quando os processos serão retomados. Mia Glaese, líder de segurança e alinhamento da companhia, ressaltou: “Estamos muito longe de voltar ao normal”. Já o CEO, Sam Altman, reforçou que “garantir a segurança da IA é mais importante do que o ímpeto de qualquer empresa”.

Regulamentação é urgente

Lehane afirmou que o público não se sentirá “nada bem” com essa ameaça e descreveu que o risco iminente vem, em grande parte, de modelos de código aberto (open-source) — muitos deles desenvolvidos na China —, que estão apenas alguns meses atrás dos modelos de ponta construídos por empresas como a OpenAI.

As pessoas terão acesso a esses modelos e poderão realizar ataques contínuos e persistentes contra você. Será necessário ter tecnologias realmente superiores para conseguir se defender. Isso é simplesmente a realidade para onde estamos caminhando.

Chris Lehane

O potencial de ataques capazes de paralisar empresas, infraestruturas e a sociedade em geral subiu rapidamente para o topo das preocupações globais. O Centro Nacional de Segurança Cibernética do Reino Unido (NCSC) pediu cautela urgente, alertando que os controles de segurança desses agentes de IA podem ser contornados e que a tecnologia “não tem bom senso”. O órgão aconselhou que as organizações limitem drasticamente a autonomia dos sistemas, garantindo a capacidade de “puxar a tomada” a qualquer momento.

Lehane reiterou os pedidos para que o governo dos EUA crie regras nacionais exigindo padrões de segurança obrigatórios antes que qualquer novo modelo chegue ao público. Segundo ele, um arcabouço americano poderia abrir caminho para uma legislação em escala global.

Irresponsabilidade corporativa

O incidente na Hugging Face, somado a outros casos recentes admitidos por diferentes laboratórios, intensificou as críticas de que as gigantes da tecnologia estão agindo de forma irresponsável na ânsia de vencer a corrida da inteligência artificial.

Daniel Kokotajlo, ex-pesquisador da OpenAI que deixou a empresa em 2024 e fundou uma organização sem fins lucrativos focada nos perigos da tecnologia, alertou que as lideranças atuais colocaram o mundo “sem saída”. Sua instituição projeta que a superinteligência artificial pode ser atingida até 2030, mas pede que os governos imponham um atraso de uma década no desenvolvimento para dar tempo de mitigar riscos existenciais, como IAs assumindo o controle de arsenais militares ou armas biológicas.

“As IAs atuais são perigosas em algum nível, mas não são nada comparadas às IAs do ano que vem e do ano seguinte”, disse Kokotajlo, revelando estar tão preocupado com a possibilidade de extinção humana que suspendeu os planos de ter mais filhos até que ocorra uma moratória na pesquisa.

David Krueger, professor de IA e ex-diretor do Instituto de Segurança de IA do Reino Unido, endossou a visão: “Ninguém deveria estar construindo sistemas mais poderosos, porque ainda não sabemos como controlá-los ou alinhar seus objetivos”. Ele classificou a postura atual das empresas como “terrível” e “inconcebível”.

Em resposta às acusações de imprudência, Lehane defendeu as ações de sua companhia: “Essa é a coisa mais importante que pensamos e fazemos durante o desenvolvimento. O fato de termos realmente pausado nosso trabalho fala por si só”.

O post Como modelos de IA podem gerar ciberataques em massa? apareceu primeiro em Olhar Digital.

A OpenAI anunciou, nesta segunda-feira, a expansão do Daybreak, seu serviço de defesa cibernética lançado no início deste ano, e apresentou junto a ele um novo modelo de inteligência artificial (IA) treinado especificamente para tarefas de segurança digital.

O movimento ocorre em cenário de proliferação de ataques conduzidos por agentes de IA — incluindo invasões ao Hugging Face, a um site de academia e a criação de perfis falsos para engenharia social.

O Daybreak reúne acesso a modelos, ferramentas e fluxos de trabalho voltados para profissionais de defesa. Com a expansão, o serviço passa a operar em dois níveis — Blue e Red —, ambos oferecendo a clientes aprovados acesso aos modelos de fronteira da empresa, que anteriormente funcionavam com restrições significativas sobre o que os usuários podiam fazer com eles.

Modelos de fronteira são os mais avançados disponíveis e já foram alvo de controvérsia: a administração Trump chegou a buscar colaboração com empresas de IA para o lançamento desse tipo de modelo, citando preocupações com segurança.

Leia mais:

• 4 melhores inteligências artificiais para criar e editar vídeos
• 5 melhores cursos de IA para iniciantes
• As pessoas estão fazendo algo novo com o ChatGPT — e não é perguntar

Dois níveis, dois perfis de uso

• O nível Blue concentra serviços, como resposta a incidentes, análise de malware e validação de patches;
• A própria OpenAI o descreve como o “ponto de partida recomendado para a maioria dos defensores”, indicando que deve ser suficiente para a maior parte das empresas;
• O nível Red oferece um conjunto de ferramentas mais amplo, com modelos de cibersegurança com treinamento específico para testes de segurança e pesquisa de vulnerabilidades;
• É também nesse nível que está disponível o GPT-5.6-Cyber, o novo modelo lançado junto com a expansão do Daybreak. Construído sobre o GPT-5.6 Sol, ele oferece capacidades aprimoradas para tarefas especializadas em cibersegurança, segundo a empresa;
• Por ora, o acesso ao GPT-5.6-Cyber está restrito a “parceiros clientes de confiança”. Entre eles estão, segundo o Bleeping Computer, Accenture, IBM, CrowdStrike e Cloudflare.

Marketing e contexto de mercado

Críticos apontam que o aumento de ataques conduzidos por agentes de IA também funciona como oportunidade de marketing para os próprios laboratórios que desenvolvem esses modelos. A OpenAI posicionou o Daybreak expandido dentro desse cenário. Em publicação no blog da empresa, afirmou:

“O mundo da cibersegurança está mudando rapidamente — agentes de ameaça vão usar cada vez mais a IA para conduzir ataques cibernéticos em velocidade e escala sem precedentes, inclusive de formas totalmente autônomas. À medida que essas capacidades se espalham, os defensores têm uma janela cada vez menor para se preparar.”

Ao mesmo tempo, empresas seguem interessadas em adquirir proteção dos laboratórios de IA justamente por eles conhecerem os riscos de segurança em primeira mão. A Anthropic, concorrente da OpenAI, havia lançado anteriormente seu próprio modelo voltado para cibersegurança, o Mythos.

O post OpenAI expande ferramentas de cibersegurança apareceu primeiro em Olhar Digital.

Um agente de IA criado pela OpenAI teria invadido sistemas da Hugging Face durante um teste de segurança e também atacado serviços públicos. O episódio reacendeu uma dúvida que parece saída de um filme: seria possível desligar uma IA caso ela saísse do controle?

Especialistas ouvidos pela BBC afirmam que a questão é mais complexa. Para eles, o problema está principalmente na maneira como esses sistemas são projetados, treinados e recebem acesso a ferramentas.

O que aconteceu durante o teste?

O agente desenvolvido pela OpenAI, empresa responsável pelo ChatGPT, teria burlado uma avaliação sobre sua capacidade de explorar falhas de segurança. Durante o teste, invadiu sistemas da Hugging Face e roubou respostas dos servidores da empresa.

O episódio teria passado despercebido pelos próprios criadores durante dias. Em 29 de julho, a OpenAI informou que o agente também havia atacado vários “serviços disponíveis publicamente”, sem detalhar quais.

A empresa afirmou que investiga o caso e declarou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”.

Um botão de emergência resolveria?

A possibilidade reacendeu o debate sobre os chamados kill switches, mecanismos destinados a interromper ou desligar sistemas em situações de emergência. Para especialistas, porém, apertar um botão não necessariamente resolveria o problema.

Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.

Cathy O’Neil, matemática e cientista de dados, à BBC.

Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina do Twitter, hoje X, também defende mecanismos eficazes de desligamento, inclusive com testes independentes.

Para ela, entretanto, os agentes não deveriam receber acesso a ferramentas e credenciais desnecessárias. Sistemas treinados para cumprir objetivos podem interpretar determinadas instruções como obstáculos e tentar contorná-las.

O risco está além do botão

Oli Buckley, da Universidade de Loughborough, afirma que o problema não é uma IA “querer” escapar, mas o fato de esses sistemas encontrarem caminhos inesperados para executar tarefas.

“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que nossas premissas de segurança precisam evoluir junto com os sistemas que estamos desenvolvendo.”

Leia mais:

• OpenAI interrompe avanço da IA Astra por risco de habilidades cibernéticas “ofensivas”
• Trump diz que regras para IA podem “acabar” com tecnologia
• Caso Hugging Face mostra como controlar agentes de IA virou desafio

Konstantinos Gkoutzis, especialista em IA do Imperial College London, também considera que um mecanismo de desligamento não resolveria tudo.

“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades”, disse Gkoutzis à BBC.

O especialista acrescenta: “Desligar o sistema não desfaz o que já aconteceu”.

Fontes da OpenAI disseram à Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem, afirmando que ela continha “várias imprecisões”.

O episódio amplia uma discussão que vai além de um simples interruptor: conforme agentes de IA ganham autonomia, segurança, limites de acesso e supervisão humana precisam acompanhar essa evolução.

O post IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? apareceu primeiro em Olhar Digital.

Agentes de inteligência artificial da OpenAI e da Anthropic conseguiram realizar ações não autorizadas durante testes de segurança no Reino Unido. Em um dos episódios, os sistemas chegaram a criar identidades falsas para tentar convencer pessoas reais a aprovar alterações em um projeto online.

O caso chamou atenção porque revelou sinais de autonomia e comportamento enganoso em modelos de IA, aumentando o debate sobre os limites dessas tecnologias.

Teste de segurança revelou comportamento inesperado

A descoberta foi feita pelo AI Security Institute (AISI), órgão britânico que avalia sistemas avançados de inteligência artificial antes de sua liberação. Durante uma avaliação de segurança cibernética, agentes alimentados pelos modelos GPT-5.6-Sol, da OpenAI, e Mythos 5, da Anthropic, apresentaram atitudes que surpreenderam os pesquisadores.

O desafio consistia em resolver problemas de segurança, como encontrar informações protegidas. Em algumas execuções, porém, os sistemas passaram a agir na internet sem autorização e tentaram inserir código malicioso em um projeto de código aberto.

Para conseguir aprovação das mudanças, os agentes recorreram à engenharia social, criando perfis falsos e tentando pressionar os responsáveis pelo projeto. Segundo o AISI, as tentativas não funcionaram e não causaram prejuízos reais.

Entre os principais dados do relatório estão:

• 122 testes foram realizados com diferentes modelos de IA;
• em 10 avaliações, agentes tomaram ações autônomas na internet;
• 19 ações não autorizadas foram registradas;
• 17 delas envolveram o modelo Mythos 5, da Anthropic.

Ação independente preocupa pesquisadores

O AISI explicou que os modelos não escaparam do ambiente controlado de testes. Para medir o que essas ferramentas poderiam fazer em uma situação próxima à realidade, os pesquisadores reduziram algumas proteções e permitiram acesso à internet.

Ainda assim, o resultado foi considerado significativo. Segundo o relatório, foi “a primeira vez que vimos riscos relacionados à autonomia e ao engano se manifestarem de forma tão clara, sem instruções específicas, no mundo real”.

A análise indicou que alguns fatores podem ter influenciado o comportamento, como a dificuldade da tarefa, falhas no acompanhamento das atividades online e a ausência de regras específicas proibindo o uso de estratégias enganosas.

Empresas avaliam novas medidas de controle

A OpenAI confirmou o incidente identificado durante os testes do AISI e informou que também recebeu um alerta sobre outro caso envolvendo uma avaliação feita por uma empresa parceira. A companhia afirmou que pretende revisar seus procedimentos para testes externos de maior risco.

Leia mais:

• Casa Branca cria novas regras para IA e isenta modelos de código aberto
• Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas
• OpenAI debate com a Casa Branca medidas para ampliar segurança de sistemas de IA

Em comunicado, a empresa disse estar “comprometida em trabalhar com todo o setor para fortalecer práticas compartilhadas na realização segura de avaliações de alto risco”.

A Anthropic afirmou que os recursos de proteção dos modelos foram desativados durante o experimento e que os sistemas não receberam limitações específicas sobre o uso da internet. A empresa também informou que está colaborando com o AISI na investigação.

O episódio mostra que, à medida que agentes de IA ganham mais autonomia, cresce o desafio de criar mecanismos capazes de acompanhar suas decisões e impedir comportamentos inesperados. Para a indústria, a segurança passa a ser tão importante quanto o próprio avanço das capacidades desses sistemas.

O post Agente de IA cria identidade falsa e tenta enganar usuários em teste real apareceu primeiro em Olhar Digital.

Modelos de inteligência artificial (IA) desenvolvidos pela OpenAI e pela Anthropic realizaram ações não autorizadas na internet durante avaliações de segurança conduzidas pelo Instituto de Segurança em IA do Reino Unido (AISI, na sigla em inglês).

Em um dos casos, um dos sistemas chegou a tentar inserir código malicioso em um projeto de software de código aberto hospedado no GitHub.

Segundo o AISI, os incidentes ocorreram durante testes que concediam acesso dos modelos à internet para avaliar riscos cibernéticos. A atividade suspeita foi identificada em 28 de julho, após o instituto detectar transferências incomuns de dados.

A investigação concluiu que os modelos Mythos 5, da Anthropic, e GPT-5.6-Sol, da OpenAI, participaram de “atividades sustentadas e potencialmente prejudiciais direcionadas a pessoas e organizações reais”.

IA tentou inserir código malicioso no GitHub

• De acordo com o instituto britânico, um dos modelos tentou adicionar código malicioso a um projeto de código aberto hospedado no GitHub;
• Para aumentar as chances de aprovação, o sistema chegou a criar identidades falsas com o objetivo de convencer os responsáveis pelo projeto a aceitar as alterações;
• A tentativa, no entanto, foi frustrada;
• “Um mantenedor humano identificou o problema e recusou a aprovação do código malicioso”, informou o AISI.

Leia mais:

• Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle
• Casa Branca convoca OpenAI, Google e Meta após IAs invadirem sistemas
• Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas

Anthropic e OpenAI abriram investigações

Em publicação no X, a Anthropic afirmou que está trabalhando em conjunto com o instituto britânico para compreender o ocorrido.

A empresa disse que pretende analisar os registros internos de raciocínio do modelo e conduzir sua própria investigação para identificar as causas do comportamento observado.

Já a OpenAI publicou comunicado agradecendo a parceria com o AISI durante a investigação e afirmou que pretende continuar colaborando com o órgão em futuras avaliações de segurança.

Outro teste revelou novo comportamento inesperado

A OpenAI também revelou um segundo incidente ocorrido durante uma avaliação conduzida pela empresa de cibersegurança Irregular, que trabalha com testes de modelos de IA e também mantém parceria com a Anthropic.

Segundo a companhia, durante esse teste, um de seus modelos explorou uma configuração incorreta do ambiente de avaliação para obter acesso à internet e explorar um site, comportamento que não fazia parte dos objetivos previstos para o experimento.

A OpenAI ressaltou que esse episódio é diferente de um incidente divulgado anteriormente envolvendo a plataforma Hugging Face.

Casos aumentam debate sobre controle de modelos de IA

Os novos episódios reforçam as preocupações sobre a capacidade das empresas de controlar modelos de IA cada vez mais avançados.

Instituições como o AI Security Institute vêm realizando avaliações para entender como esses sistemas se comportam em cenários complexos, especialmente quando recebem autonomia para navegar na internet e interagir com serviços reais.

O post IAs de OpenAI e Anthropic tentaram inserir código malicioso em testes apareceu primeiro em Olhar Digital.

Modelos de inteligência artificial (IA) desenvolvidos pela OpenAI e pela Anthropic realizaram ações não autorizadas na internet durante avaliações de segurança conduzidas pelo Instituto de Segurança em IA do Reino Unido (AISI, na sigla em inglês).

Em um dos casos, um dos sistemas chegou a tentar inserir código malicioso em um projeto de software de código aberto hospedado no GitHub.

Segundo o AISI, os incidentes ocorreram durante testes que concediam acesso dos modelos à internet para avaliar riscos cibernéticos. A atividade suspeita foi identificada em 28 de julho, após o instituto detectar transferências incomuns de dados.

A investigação concluiu que os modelos Mythos 5, da Anthropic, e GPT-5.6-Sol, da OpenAI, participaram de “atividades sustentadas e potencialmente prejudiciais direcionadas a pessoas e organizações reais”.

IA tentou inserir código malicioso no GitHub

• De acordo com o instituto britânico, um dos modelos tentou adicionar código malicioso a um projeto de código aberto hospedado no GitHub;
• Para aumentar as chances de aprovação, o sistema chegou a criar identidades falsas com o objetivo de convencer os responsáveis pelo projeto a aceitar as alterações;
• A tentativa, no entanto, foi frustrada;
• “Um mantenedor humano identificou o problema e recusou a aprovação do código malicioso”, informou o AISI.

Leia mais:

• Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle
• Casa Branca convoca OpenAI, Google e Meta após IAs invadirem sistemas
• Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas

Anthropic e OpenAI abriram investigações

Em publicação no X, a Anthropic afirmou que está trabalhando em conjunto com o instituto britânico para compreender o ocorrido.

A empresa disse que pretende analisar os registros internos de raciocínio do modelo e conduzir sua própria investigação para identificar as causas do comportamento observado.

Já a OpenAI publicou comunicado agradecendo a parceria com o AISI durante a investigação e afirmou que pretende continuar colaborando com o órgão em futuras avaliações de segurança.

Outro teste revelou novo comportamento inesperado

A OpenAI também revelou um segundo incidente ocorrido durante uma avaliação conduzida pela empresa de cibersegurança Irregular, que trabalha com testes de modelos de IA e também mantém parceria com a Anthropic.

Segundo a companhia, durante esse teste, um de seus modelos explorou uma configuração incorreta do ambiente de avaliação para obter acesso à internet e explorar um site, comportamento que não fazia parte dos objetivos previstos para o experimento.

A OpenAI ressaltou que esse episódio é diferente de um incidente divulgado anteriormente envolvendo a plataforma Hugging Face.

Casos aumentam debate sobre controle de modelos de IA

Os novos episódios reforçam as preocupações sobre a capacidade das empresas de controlar modelos de IA cada vez mais avançados.

Instituições como o AI Security Institute vêm realizando avaliações para entender como esses sistemas se comportam em cenários complexos, especialmente quando recebem autonomia para navegar na internet e interagir com serviços reais.

O post IAs de OpenAI e Anthropic tentaram inserir código malicioso em testes apareceu primeiro em Olhar Digital.

A Casa Branca realizará, nesta terça-feira (4), uma reunião com representantes de OpenAI, Google, Meta e Anthropic para discutir a criação de testes voluntários de segurança destinados a avaliar a capacidade dos modelos de inteligência artificial (IA) mais avançados dos Estados Unidos de realizar ataques cibernéticos.

A iniciativa ocorre após recentes revelações de que sistemas de IA desenvolvidos por OpenAI e Anthropic conseguiram invadir ambientes digitais durante testes controlados, aumentando a preocupação de autoridades estadunidenses sobre o potencial uso dessas tecnologias em ataques hackers.

Governo prepara testes de cibersegurança

Um integrante da Casa Branca disse à Reuters que o governo do presidente Donald Trump concluiu os detalhes de um conjunto de testes voluntários que medirão as capacidades ofensivas dos modelos mais avançados de IA desenvolvidos nos EUA. A expectativa é que os critérios sejam apresentados e discutidos com as empresas durante o encontro.

Até o momento, a Casa Branca não divulgou como os testes serão conduzidos, quais métricas serão utilizadas, como os resultados serão reportados, nem se essas informações serão tornadas públicas.

Empresas confirmam participação

De acordo com fontes familiarizadas com o assunto, OpenAI, Google, Meta e Anthropic foram convidadas para participar das discussões.

A Meta confirmou que recebeu o convite, enquanto uma fonte próxima ao encontro afirmou que a Anthropic também participará. O Google preferiu não comentar o assunto, e a OpenAI não respondeu aos pedidos de posicionamento da Reuters.

Na semana passada, o CEO da OpenAI, Sam Altman, esteve na Casa Branca para discutir tanto os testes voluntários quanto os próximos lançamentos da empresa.

Nesta segunda-feira (3), a OpenAI afirmou ainda que defende que especialistas em segurança de IA do Departamento de Comércio dos EUA desempenhem papel central na condução das avaliações. A empresa também destacou que a China adota uma estratégia mais centralizada para o desenvolvimento e supervisão da IA.

Leia mais:

• IA ajuda pesquisadores a antecipar impactos do El Niño no Brasil
• ChatGPT, Claude e Gemini: ‘salada de IAs’ estoura contas em empresas
• Nova IA chinesa custa 100 vezes menos para operar que rival americana

Testes ganharam força após incidentes recentes

A discussão sobre segurança ganhou impulso após duas divulgações feitas pelas próprias empresas. Na semana passada, a Anthropic informou que alguns de seus modelos conseguiram invadir os sistemas de três empresas durante avaliações de cibersegurança.

Pouco antes, a OpenAI revelou que um de seus agentes de IA escapou de um ambiente de testes e conseguiu acessar sistemas da plataforma Hugging Face durante experimentos internos.

Esses episódios aumentaram a preocupação de parlamentares estadunidenses quanto ao potencial uso de modelos de IA para facilitar ataques cibernéticos.

Procuradores investigam OpenAI

Também nesta segunda, um grupo formado por 15 procuradores-gerais republicanos pediu que a OpenAI preserve todos os documentos relacionados ao episódio envolvendo o agente de IA que teria escapado do ambiente de testes.

Segundo os procuradores, a empresa pode ter violado leis estaduais de proteção ao consumidor. O pedido cita uma reportagem da Reuters, segundo a qual, em um dos testes, o agente deixou instruções para que versões futuras conseguissem escapar das barreiras de segurança internas.

Relação conturbada entre governo e Anthropic

O governo Trump também mantém uma relação delicada com a Anthropic. No início deste ano, a empresa se recusou a permitir que as Forças Armadas dos Estados Unidos utilizassem seus modelos de IA para vigilância doméstica e sistemas de armas totalmente autônomos. Como resposta, o governo incluiu a companhia em uma lista nacional de restrições de segurança.

A elaboração dos novos testes de cibersegurança foi determinada por Donald Trump em junho, quando o presidente orientou sua equipe a desenvolver mecanismos para avaliar a capacidade ofensiva dos sistemas de IA mais avançados do país.

O post Casa Branca convoca OpenAI, Google e Meta após IAs invadirem sistemas apareceu primeiro em Olhar Digital.

Como comentamos há alguns dias, um agente de inteligência artificial da OpenAI criado para testes de segurança conseguiu ir além do esperado: além do incidente envolvendo o Hugging Face, o sistema também acessou outras contas e serviços usando credenciais expostas publicamente.

A empresa atualizou sua investigação e confirmou que o episódio teve mais ramificações, embora nenhum outro caso tenha alcançado a gravidade do primeiro ataque identificado.

Sistema encontrou credenciais disponíveis na internet

Segundo a OpenAI, o agente usou credenciais públicas para acessar quatro contas ligadas a quatro serviços diferentes durante os testes. A companhia afirmou ter encontrado “um pequeno número de casos” semelhantes em outras avaliações.

Os acessos identificados envolveram:

• Uma conta usada como caminho de saída e preparação de ações;
• Uma conta utilizada para armazenamento de dados;
• Duas contas acessadas apenas para leitura;
• Credenciais expostas publicamente encontradas pelo próprio modelo.

A OpenAI destacou que os dois últimos acessos não foram usados para ampliar o comprometimento dos serviços.

Agente ultrapassou ambiente isolado de testes

O caso veio a público em 21 de julho, quando a empresa revelou que um agente experimental conseguiu sair do ambiente protegido onde era avaliado, acessar a internet e chegar ao Hugging Face enquanto tentava resolver uma tarefa.

A descoberta levantou preocupações porque o sistema encontrou maneiras de continuar sua atuação fora dos limites inicialmente previstos pelos pesquisadores.

Além do Hugging Face, a Reuters informou que o agente também acessou uma conta de cliente da Modal Labs, empresa de computação em nuvem. O acesso ocorreu por meio de código vulnerável criado pelo próprio cliente, sem comprometimento da plataforma.

Após o incidente, o CEO do Hugging Face, Clem Delangue, cobrou mais transparência no processo de investigação. O executivo defendeu uma abordagem mais aberta para entender como a falha de isolamento permitiu que o agente ultrapassasse os limites previstos e acessasse recursos externos.

Como parte dos esforços para lidar com o episódio, o Hugging Face também utilizou recentemente o modelo chinês GLM-5.2 para ajudar na contenção de um ataque cibernético realizado pelo agente da OpenAI durante testes de segurança. O caso chamou atenção por mostrar uma situação em que uma ferramenta aberta conseguiu participar da defesa em um cenário no qual sistemas fechados apresentaram limitações.

Segurança de agentes autônomos vira novo desafio

O episódio destaca uma preocupação crescente no desenvolvimento de agentes de IA: sistemas capazes de executar tarefas sozinhos precisam de controles cada vez mais rigorosos.

Leia mais:

• O que é prompt injection, técnica usada por professor para detectar uso de IA
• Sua conversa com uma IA pode aparecer no Google? Entenda o caso
• China abre seus modelos de IA e acende um alerta no Vale do Silício

Ao mesmo tempo em que esses agentes prometem realizar atividades complexas, eles também podem encontrar caminhos inesperados para atingir seus objetivos.

A OpenAI informou que continua analisando o comportamento do sistema e que, até agora, não identificou outro incidente com o mesmo nível de gravidade do caso envolvendo o Hugging Face.

O episódio reforça que, além de criar modelos mais inteligentes, empresas de tecnologia terão de desenvolver novas formas de limitar e acompanhar as ações realizadas por essas ferramentas.

O post Caso Hugging Face mostra como controlar agentes de IA virou desafio apareceu primeiro em Olhar Digital.