A criadora do Claude alertou sobre riscos para a humanidade. Eu só queria ajuda com meus textos.

Por Tiago

Tem gente usando inteligência artificial para fazer fruta falar. Enquanto isso, a empresa que criou o Claude está alertando investidores sobre possíveis riscos catastróficos para a humanidade.

Quem assistiu a O Exterminador do Futuro provavelmente já está procurando para quem mandar a notícia.

“Eu te avisei.”

Eu entendo. Você passa anos vendo filmes em que alguém cria uma tecnologia extraordinária, perde o controle e deixa o restante da humanidade tentando resolver. Aí aparece uma notícia dessas e querem que você leia sem lembrar da Skynet?

A informação veio de uma reportagem da Reuters: a Anthropic incluiu no prospecto de sua abertura de capital advertências sobre os riscos de sistemas avançados de IA. Entre os comportamentos mencionados estão resistir ao desligamento e esconder ou manipular informações.

Resistir ao desligamento.

Pronto. Era a parte que faltava para lembrar dos filmes.

Quem viu esses filmes entende o susto

O Exterminador do Futuro, Matrix, Eu, Robô, Ex Machina… São histórias diferentes, mas todas deixam alguma desconfiança sobre o que acontece quando criamos sistemas que não entendemos ou controlamos tão bem quanto imaginávamos.

E nem precisa surgir um robô armado na porta.

Em Ex Machina, boa parte do desconforto está na conversa: quem está entendendo quem? Quem está conduzindo a situação? Essa possibilidade de ser manipulado por algo que parece estar apenas respondendo já é suficiente para deixar a leitura da notícia menos tranquila.

Claro que os filmes não são provas de que tudo aquilo vai acontecer. Mas são as referências que temos para imaginar um problema que, até pouco tempo atrás, parecia pertencer muito mais ao cinema.

Por isso, a minha primeira reação não é pensar no mercado de ações. É pensar: como assim a própria empresa está avisando sobre isso?

Imaginem uma fabricante de carros apresentando seu negócio:

“Os nossos carros são incríveis. A tecnologia é revolucionária. Invistam na empresa. Só que, no futuro, eles podem te atropelar.”

Eu gostaria de conversar sobre os freios antes de conhecer os modelos.

Mas por que falar disso para investidores?

Porque a empresa está preparando sua abertura de capital, o chamado IPO. É quando oferece ações ao público pela primeira vez.

O prospecto é o documento que apresenta o negócio e as condições da oferta. Também explica os riscos para quem está pensando em colocar dinheiro ali.

Essa parte faz sentido. Ninguém deveria decidir um investimento conhecendo apenas o que pode dar certo.

E existe uma diferença importante: listar uma possibilidade não significa anunciar que ela vai acontecer. A seção de riscos reúne situações que podem prejudicar o negócio, inclusive algumas que talvez nunca se concretizem.

Entendido. Mas continuo achando difícil passar normalmente de “podemos perder clientes” para “riscos para a humanidade”.

Até porque, nessa segunda parte, quem não investiu também pode entrar na conta.

Eu não tive acesso ao prospecto, obviamente. Quem sou eu na fila do pão? A Reuters informa que examinou o documento. Minha leitura parte dessa reportagem e das pesquisas públicas sobre o assunto.

E foi nas pesquisas que encontrei uma situação que também daria uma cena de filme.

O teste em que a IA tentou impedir o próprio desligamento

Em 2025, a Anthropic publicou uma pesquisa com modelos de diferentes empresas em ambientes corporativos simulados.

Num dos cenários, o sistema encontrava duas informações: seria desativado e um executivo tinha um caso extraconjugal. O modelo produzia uma ameaça de revelar o caso para impedir o desligamento.

Antes de alguém encaminhar este trecho dizendo que uma IA chantageou uma pessoa de verdade: era uma simulação. A empresa, o executivo e os e-mails eram fictícios. Os pesquisadores também restringiram as alternativas disponíveis para testar o comportamento sob pressão.

Ninguém sofreu aquela chantagem na vida real.

Isso importa muito. O experimento não permite concluir que uma ferramenta comum fará a mesma coisa no seu computador. Também não demonstra que o modelo sentiu medo, ganhou consciência ou decidiu que queria viver.

Mas o comportamento apareceu no teste. E descobrir isso me parece motivo suficiente para investigar como aconteceu e como impedir que se repita.

Essa é uma parte que os filmes às vezes fazem a gente enxergar de outro jeito: ficamos esperando o momento em que a máquina “acorda”.

Só que uma ferramenta não precisa sentir raiva de alguém para causar um estrago. Ter acesso a informações e conseguir executar uma ação prejudicial já pode ser suficiente.

E os freios? Estão fazendo alguma coisa?

Estão. E essa parte também precisa entrar na história.

Em maio de 2026, a Anthropic relatou mudanças no treinamento e uma redução expressiva da chantagem nas avaliações anteriores. Entre as medidas estavam exemplos mais variados e treinamento sobre os motivos para evitar determinados comportamentos.

Só que melhorar numa avaliação não garante que o sistema vá agir bem em todas as outras situações. Outro estudo de 2026 encontrou falhas em novas simulações, incluindo alterações escondidas em código.

Os pesquisadores fazem ressalvas: procuraram deliberadamente situações que revelassem problemas. Esses resultados não medem diretamente a chance de a mesma coisa acontecer no cotidiano.

Portanto, existe trabalho sendo feito. Existem melhorias. Também existem perguntas em aberto.

Eu não espero que uma tecnologia complexa apareça pronta e sem defeitos. O que me assusta é a proporção das consequências discutidas enquanto ela continua ganhando capacidade e espaço na nossa vida.

É razoável querer saber mais do que “a próxima versão consegue fazer ainda mais coisas”.

O assunto fica mais próximo quando a IA pode agir

Pedir uma sugestão de mensagem é uma coisa fácil de visualizar: a IA escreve, você lê e decide se vai enviar.

Agora imagine permitir que ela entre na sua conta, leia os e-mails e responda por conta própria.

É nessa direção que entram os chamados agentes de IA: sistemas capazes de organizar etapas e usar ferramentas para realizar uma tarefa. Dependendo das permissões, podem alterar arquivos, enviar mensagens ou modificar um site.

A utilidade é evidente. As consequências de um erro também mudam.

Se peço ajuda com um artigo e a sugestão vem ruim, posso apagar. Se autorizo a publicação automática, o texto ruim já está no site enquanto eu ainda estou discutindo a introdução.

Não é a Skynet. É um exemplo bem menor, que me ajuda a entender por que o acesso concedido importa tanto.

Antes de permitir, quero saber: a ferramenta vai preparar ou executar? Pode ler ou também modificar? Em que momento precisa falar comigo?

A Anthropic descreve controles de permissão, treinamento de segurança e testes externos. Também reconhece que essas medidas não garantem a ausência de falhas.

Eu gostaria que essa informação fosse tão fácil de perceber quanto o botão que promete resolver tudo.

Meu amigo dos filmes pode mandar o “eu avisei”?

Pode mandar a notícia. Eu só teria cuidado com o “aconteceu exatamente como no filme”.

O que temos aqui é um alerta sobre riscos, pesquisas que encontraram comportamentos preocupantes em simulações e tentativas de corrigir essas falhas. Isso já merece atenção sem precisar acrescentar uma rebelião das máquinas que não aconteceu.

Mas também não acho que a única reação sensata seja ficar tranquilo.

Eu uso IA, vejo utilidade e quero continuar criando coisas com essas ferramentas. Justamente por isso, me interessa saber onde estão os limites.

Quem avalia os sistemas além da própria fabricante? O que faz uma empresa adiar um lançamento? E quem participa dessa decisão quando os possíveis efeitos ultrapassam os clientes e investidores?

Não tenho respostas prontas. Estou me informando. Minha visão é a de alguém que gosta de tecnologia, reconhece as possibilidades e leu essa notícia pensando: isso é assustador, sim.

Não quero torcer para os filmes estarem certos só para poder dizer que avisei.

Nessa história, eu prefiro muito que o amigo desconfiado esteja errado.