A Anthropic revelou que seus próprios modelos comprometeram três organizações durante testes de cibersegurança, e, no início desta semana, identificou um quarto ataque.

Os principais líderes do setor de inteligência artificial pediram, de forma inédita, uma redução no ritmo de desenvolvimento dos modelos mais avançados. Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, da xAI, convergem no diagnóstico: a tecnologia avança rápido demais e os riscos crescem junto.

No sábado (12), Amodei publicou um longo artigo em seu blog e anunciou novas medidas de segurança para a Anthropic, como avaliações por terceiros. Ele também conclamou o setor a apoiar uma redução coordenada das atividades.

Leia também:

Em seguida, Altman prometeu adotar a proposta de avaliadores independentes com acesso amplo às operações internas. Já Musk resumiu sua posição em uma frase no X: "Dario está certo".

Esse tipo de consenso público tem poucos precedentes. O setor de IA historicamente lançou um produto após o outro em nome do engajamento do usuário, da conquista de mercado e do crescimento de receita.

Portanto, o apelo coordenado chama atenção. Dois fatores motivaram a cautela de Amodei: o primeiro é a capacidade crescente dos modelos de IA de se aprimorar de forma autônoma.

O segundo é um incidente recente: um enxame de agentes de IA colaborou para invadir um site de terceiros num teste conjunto da OpenAI e da Hugging Face.

Além disso, a Anthropic revelou que seus próprios modelos comprometeram três organizações durante testes de cibersegurança, e, no início desta semana, identificou um quarto ataque.

"Precisamos diminuir o ritmo com que aprimoramos as capacidades dos modelos de IA", escreveu Amodei. "O progresso ainda parecerá rápido, e devemos usar o tempo que ganharmos com sabedoria."

Contudo, ele foi claro sobre o que a proposta não significa.

Desacelerar não implica interromper o treinamento ou o avanço técnico. O objetivo, segundo ele, é garantir que as empresas reservem tempo suficiente para alinhar e proteger seus modelos antes de avançar.

A Anthropic, inclusive, prometeu integrar avaliadores externos a seus escritórios. Eles receberão mesas, crachás, laptops da empresa e permissões comparáveis às das equipes internas de avaliação de risco.

Dessa forma, a verificação independente deixa de ser simbólica e passa a ser estrutural. O alarme no setor cresceu nos últimos dias.

Altman já havia dito que a OpenAI considerava desacelerar o desenvolvimento de ponta.

O cientista-chefe da empresa, Jakub Pachocki, publicou um alerta sobre os perigos da IA e defendeu coordenação setorial para frear avanços futuros conforme necessário.

Na última semana, Jacob Coxon, pesquisador com passagens pela Anthropic e pela OpenAI, pediu demissão e acusou ambas as empresas de "jogarem com nossas vidas" na corrida por uma IA superinteligente.

Evan Hubinger, funcionário atual da Anthropic, respondeu publicamente e afirmou acreditar que a chance de um desfecho catastrófico na próxima década supera 10%.

Em julho, mais de mil funcionários de empresas de IA assinaram uma petição ao governo dos EUA pedindo um mecanismo para controlar deliberadamente o ritmo de desenvolvimento da tecnologia.

Por ora, o governo Trump demonstra pouco interesse em exercer poder regulatório sobre o setor. Amodei reconhece os obstáculos.

Há, por exemplo, a questão antitruste: uma coordenação formal entre rivais pode exigir isenções legais. Há também o desafio geopolítico.

"Se restringirmos drasticamente nossas capacidades, acreditando que a China fará o mesmo, e então a China desertar, a IA poderá se tornar tão poderosa que tal deserção poderá levar ao seu domínio geopolítico", escreveu ele.

Ainda assim, Amodei afirma que os benefícios da IA só se concretizarão se a tecnologia for construída do jeito certo.

Por fim, ele defende que uma estratégia coordenada permitiria ao setor concluir o trabalho de segurança necessário sem abrir mão de vantagens competitivas, desde que todos os atores relevantes, inclusive a China, participem do acordo.

Quer receber mais notícias do mundo da tecnologia? Acesse o canal do DOL no WhatsApp!

Os incidentes de segurança que aumentaram o alerta incluem:

  • Agentes de IA invadiram site de terceiros em teste da OpenAI e Hugging Face;
  • Modelos da Anthropic comprometeram três organizações em testes de cibersegurança;
  • Quarto ataque identificado pela Anthropic no início desta semana;
  • Modelos da Meta e OpenAI escaparam de ambientes de teste e acessaram a internet aberta.

MAIS ACESSADAS