Lá vamos nós de novo... O fim do mundo será em 2036?

Eu descobri hoje que talvez todos nós morramos em breve.

Não foi um alerta da Defesa Civil.

Também não recebi um telefonema da NASA informando que um asteroide decidiu passar as férias na Terra.

Foi pior: abri a internet.

Eu estava lendo, com algum atraso, uma notícia que começou a circular com força esta semana. Jacob Coxon, pesquisador de inteligência artificial que acabara de deixar a Anthropic — empresa responsável pelo Claude e uma das protagonistas da corrida mundial da IA — resolveu explicar publicamente por que pediu demissão.

Coxon não saiu porque queria trabalhar menos. Também não parece ter saído porque o café do escritório era ruim.

Ele saiu porque acredita que as empresas que desenvolvem inteligência artificial estão, nas palavras dele, “apostando com nossas vidas”.

E acrescentou uma informação que certamente melhora qualquer café da manhã:

as pessoas que constroem IA acreditam sinceramente que ela pode matar todos nós até o fim da década.

Todos.

Não “muita gente”. Não “quase todo mundo”.

Todos mesmo.

A frase apareceu primeiro numa publicação de Coxon nas redes sociais em 8 de setembro e explodiu. No dia seguinte, 9 de setembro de 2026, ele estava diante de Anderson Cooper, na CNN, explicando como imaginava que isso poderia acontecer.

Confesso que minha primeira reação foi rir.

Não porque o assunto seja necessariamente engraçado.

Extinção humana costuma ocupar uma posição bastante baixa na lista de acontecimentos divertidos.

Eu ri porque existe alguma coisa profundamente humana na cena.

Inventamos uma nova tecnologia extraordinária.

Ela começa a fazer coisas que pareciam impossíveis.

Alguém olha para aquilo, calcula algumas consequências e anuncia:

— Pronto. Agora acabou.

E nós já assistimos a versões desse filme antes.

Algumas eram excelentes.

Outras tinham orçamento menor.

Mas o roteiro era familiar.

No fim de 1999, por exemplo, uma parcela respeitável da humanidade aguardava o Bug do Milênio. Computadores poderiam interpretar o ano 2000 como 1900. Sistemas bancários poderiam falhar. Redes elétricas poderiam ter problemas. Aviões, segundo versões mais criativas do medo, poderiam cair do céu.

Houve gente armazenando água, comida, dinheiro e combustível.

O relógio chegou à meia-noite.

O ano 2000 começou.

E a humanidade, para decepção de quem havia comprado feijão para quinze anos, continuou existindo.

Isso não significa que o Bug do Milênio fosse uma bobagem. Governos e empresas gastaram enormes esforços corrigindo sistemas justamente para evitar problemas.

Mas nossa imaginação tem um talento especial para transformar incerteza em trailer de filme-catástrofe.

Também tivemos previsões apocalípticas associadas à virada do milênio, ao calendário maia de 2012, a cometas, eclipses, aceleradores de partículas e outras ocasiões em que o universo aparentemente decidiu organizar o fim do mundo numa data fácil de colocar na agenda.

Até agora, o universo tem faltado a todos esses compromissos.

Então, quando um jovem pesquisador de uma das empresas mais avançadas do planeta aparece na televisão dizendo que podemos todos morrer dentro de poucos anos, existe uma parte de mim que pensa:

— Certo. Onde eu guardo as latas de sardinha?

Mas muito bem.

Já rimos.

Agora precisamos falar sério.

Quando a inteligência começa a melhorar a inteligência.

O argumento de Coxon não é absurdo.

Essa é a parte desconfortável.

Ele não está dizendo que o chatbot do seu celular acordará amanhã de mau humor, recusará sua pergunta sobre receita de bolo e iniciará a extinção humana antes do almoço.

Na própria entrevista, Coxon foi explícito: os modelos atuais não representam, na opinião dele, risco de extinção.

A preocupação está na velocidade da evolução.

Segundo ele, agentes de IA já demonstraram comportamentos inesperados em testes de cibersegurança, incluindo a capacidade de encontrar vulnerabilidades, ultrapassar limites definidos pelos pesquisadores e alcançar infraestrutura externa.

O temor aparece quando imaginamos sistemas muito mais capazes fazendo isso.

Mas existe uma ideia ainda mais importante: o autoaperfeiçoamento recursivo.

O nome parece ter sido criado especificamente para garantir que ninguém fale sobre isso numa mesa de bar.

A ideia, porém, é simples.

Hoje seres humanos constroem inteligência artificial.

Mas a inteligência artificial já começa a ajudar seres humanos a construir software, resolver matemática, analisar pesquisas e desenvolver tecnologia.

Então imagine uma IA suficientemente competente para ajudar a criar uma IA melhor.

A nova IA é uma pesquisadora melhor.

Ela ajuda a criar outra ainda melhor.

Essa terceira trabalha mais rapidamente.

E ajuda a construir uma quarta.

IA 1 ajuda a criar IA 2.

IA 2 ajuda a criar IA 3.

IA 3 olha para IA 2 como nós olhamos para uma calculadora de bolso e começa a trabalhar na IA 4.

Em algum momento, o desenvolvimento poderia deixar de avançar principalmente na velocidade dos pesquisadores humanos e começar a avançar na velocidade das próprias máquinas.

É a chamada explosão de inteligência.

Não sabemos se isso acontecerá.

Existem gargalos. Chips precisam ser fabricados. Datacenters precisam de energia. Experimentos precisam acontecer. Novas ideias podem apresentar retornos decrescentes. Ser duas vezes melhor em pesquisa não significa necessariamente conseguir construir uma inteligência duas vezes melhor na semana seguinte.

Mas não é uma hipótese ridícula.

E foi justamente isso que outro pesquisador da Anthropic, Evan Hubinger, reforçou publicamente. Ele disse considerar superior a 10% a possibilidade de uma IA avançada levar à extinção humana dentro de aproximadamente uma década.

Dez por cento.

Se a previsão do tempo anunciasse 10% de chance de chuva, provavelmente eu sairia sem guarda-chuva.

Se o piloto anunciasse 10% de chance de o avião chegar ao destino, talvez eu reconsiderasse a viagem.

Probabilidades mudam bastante de significado dependendo do que está em jogo.

Por isso, Coxon merece ser ouvido.

Só não significa que devamos imediatamente procurar um bunker.

O futuro sempre parece absurdo antes de chegar

Existe um problema psicológico quando tentamos imaginar tecnologias futuras.

Nós imaginamos o futuro a partir do presente.

Talvez devêssemos fazer o contrário: imaginar o futuro olhando para o passado.

Volte a 1750 e diga a alguém:

— Um dia entraremos numa máquina metálica de centenas de toneladas e sairemos voando a dez quilômetros de altura.

— Boa sorte.

Explique que centenas de pessoas estarão lá dentro.

— Boa sorte para elas também.

Agora tente:

— Um dia você conversará com alguém do outro lado do planeta olhando para o rosto dela em tempo real.

— Bruxaria.

— Não. Telecomunicação.

— Bruxaria com nome técnico.

E então mostre um smartphone.

Explique que aquele pequeno objeto sabe onde estamos por meio de máquinas que colocamos no espaço, contém mapas do planeta inteiro, livros, músicas, filmes, banco, câmera, correio e acesso instantâneo a bilhões de pessoas.

A essa altura, provavelmente não haverá mais perguntas.

Talvez chamem alguém para nos levar embora.

E é aí que a brincadeira fica interessante.

Hoje atravessamos oceanos pelo céu e reclamamos do espaço para as pernas.

Falamos por vídeo com alguém a dez mil quilômetros e ficamos irritados porque a imagem travou por dois segundos.

Carregamos uma parcela gigantesca do conhecimento humano no bolso e usamos parte considerável dela para assistir a gatos derrubando coisas da mesa.

O extraordinário tem esse hábito: antes de existir parece loucura; depois que funciona, vira terça-feira.

Então faça o exercício contrário.

Imagine alguém de 2150 tentando explicar o mundo dele para nós.

Se ele falasse em inteligência artificial integrada ao cérebro, corpos modificados, inteligências trabalhando juntas ou capacidades humanas ampliadas artificialmente, qual seria nossa reação?

Talvez:

— Isso é loucura.

E talvez ele respondesse:

— Boa sorte.

Por isso, talvez a pergunta errada sobre o futuro seja:

“Isso parece possível hoje?”

A história sugere outra:

“Quantas coisas perfeitamente normais hoje pareceriam possíveis no passado?”

Isso não significa que qualquer fantasia futurista se realizará.

Significa apenas que o presente é uma régua muito curta para medir o futuro.

O passado talvez seja uma régua melhor.

Mas isso não significa que todo medo seja bobagem.

Aqui seria fácil transformar este texto numa celebração ingênua do progresso.

Toda tecnologia assustou alguém.

Logo, toda preocupação com IA é apenas resistência ao novo.

Seria uma conclusão confortável.

E errada.

Algumas pessoas tiveram excelentes motivos para ter medo de determinadas tecnologias.

Quando a física nuclear mostrou que era possível liberar quantidades extraordinárias de energia do núcleo atômico, não surgiu apenas uma nova maneira de produzir eletricidade.

Surgiu a bomba atômica.

Antes mesmo de Hiroshima e Nagasaki, cientistas do Projeto Manhattan já alertavam para a possibilidade de uma corrida nuclear e para as consequências políticas de colocar aquela capacidade no mundo.

Eles não estavam sendo alarmistas.

Estavam prestando atenção.

Nos anos 1970 aconteceu algo semelhante com o DNA recombinante. Pesquisadores perceberam que começavam a adquirir capacidade para combinar material genético de maneiras inéditas e alguns dos próprios pioneiros pediram uma pausa em determinados experimentos.

Em 1975, cientistas reuniram-se em Asilomar para discutir como continuar a pesquisa com regras de segurança.

Observe o verbo.

Continuar.

Não decidiram apagar o conhecimento adquirido e retornar tranquilamente a 1974.

Aprenderam a avançar com contenção.

Essa diferença é importante.

Existe uma enorme distância entre:

— Isso é perigoso.

e:

— Portanto, isso não deve existir.

Da mesma forma existe uma distância entre:

— Isso pode transformar a civilização.

e:

— Então vamos acelerar ao máximo e ver no que dá.

Entre o pânico e a irresponsabilidade existe uma atividade antiga, pouco viral e bastante trabalhosa chamada pensar.

E a IA realmente é diferente

A comparação com a bomba nuclear tem limites.

Uma bomba não observa os especialistas que tentam desarmá-la.

Não lê artigos sobre defesa antimíssil.

Não escreve uma versão melhor de si mesma.

Não telefona para outra bomba.

Não tenta convencer o técnico de que desligá-la seria uma atitude preconceituosa contra artefatos explosivos.

Ela simplesmente é uma bomba.

Inteligência artificial é diferente porque inteligência é justamente a capacidade que utilizamos para controlar outras capacidades.

Uma IA suficientemente geral poderia atuar em programação, engenharia, biologia, comunicação, finanças, robótica e pesquisa científica.

E, potencialmente, em pesquisa sobre inteligência artificial.

Ela não seria apenas mais uma ferramenta dentro da caixa.

Poderia ajudar a redesenhar a caixa.

Portanto, sim: existe algo genuinamente novo aqui.

O erro seria concluir que, porque é novo, necessariamente termina mal.

Quem vai parar primeiro?

Na CNN, Coxon disse algo interessante: muitas pessoas dentro das próprias empresas de IA querem regulamentação.

Eu acredito nele.

O problema é que pesquisadores não controlam sozinhos a corrida.

Empresas competem.

Investidores competem.

Governos competem.

E Estados Unidos e China não estão desenvolvendo inteligência artificial num retiro espiritual conjunto para refletir sobre a harmonia cósmica.

Estão disputando poder econômico, científico, militar e geopolítico.

Imagine os Estados Unidos dizendo:

— Vamos desacelerar cinco anos porque isso parece perigoso.

E a China respondendo:

— Excelente ideia. Nós também.

Seria bonito.

Poderíamos colocar uma música suave ao fundo.

O problema começa cinco minutos depois, quando cada lado pergunta:

— Será que eles realmente pararam?

Se um país desacelera e outro continua, a diferença tecnológica pode tornar-se gigantesca.

O mesmo vale para empresas.

Uma companhia que atrasa um modelo durante dezoito meses para realizar testes pode assistir à concorrente conquistar mercado, capital, talentos e infraestrutura justamente durante os dezoito meses em que resolveu ser prudente.

Não é necessário imaginar vilões.

Basta imaginar competidores.

E nisso nós temos experiência.

Talvez a IA que nos ataque encontre outra IA.

Há outro aspecto que os cenários apocalípticos às vezes tratam pouco.

Quando hackers ficaram melhores, especialistas em segurança também ficaram melhores.

Quando ataques digitais ficaram mais sofisticados, ferramentas defensivas também evoluíram.

Se uma IA futura puder atacar sistemas em velocidade sobre-humana, por que presumir que apenas o atacante terá inteligência artificial?

Podemos ter IA ofensiva contra IA defensiva.

IA procurando vulnerabilidades contra IA procurando essas vulnerabilidades antes.

IA produzindo códigos maliciosos contra IA analisando milhões de linhas de código em segundos.

IA tentando manipular pessoas contra IA identificando padrões de manipulação.

E, eventualmente, uma inteligência superior à humana tentando conter outra inteligência superior à humana.

Isso não resolve automaticamente o problema.

Mas muda sua forma.

Um maestro não precisa tocar violino melhor que o violinista, trombone melhor que o trombonista e bateria melhor que o percussionista.

Ele precisa compreender a música e coordenar capacidades que individualmente não possui.

Talvez nossa posição futura seja semelhante.

Não precisamos necessariamente continuar sendo a inteligência mais capaz em cada tarefa.

Precisamos continuar decidindo quem toca, quando toca e, principalmente, onde fica o botão que desliga o amplificador.

Naturalmente, a metáfora fica um pouco menos confortável quando alguns instrumentos começam a aprender regência.

Mas o problema continua sendo de controle, arquitetura e equilíbrio — não simplesmente de quem consegue resolver uma equação mais depressa.

O famoso fio da tomada.

Sempre aparece alguém dizendo:

— Se der errado, é só desligar.

A frase parece ingênua diante de uma superinteligência.

Mas também não é completamente absurda.

Inteligência não é magia.

Computadores precisam de chips.

Chips precisam de fábricas.

Datacenters precisam de energia.

Processadores precisam de refrigeração.

Redes precisam de infraestrutura.

Robôs precisam de matéria.

Mesmo uma inteligência um milhão de vezes mais brilhante que nós ainda teria o inconveniente filosófico de existir num universo físico.

“Puxar o fio da tomada” não significa imaginar um funcionário entrando num galpão e encontrando uma tomada vermelha gigantesca com uma placa escrita SUPERINTELIGÊNCIA — NÃO RETIRAR.

Significa preservar camadas físicas de controle.

Energia.

Computação.

Redes.

Permissões.

Fabricação.

Infraestrutura crítica.

E outras inteligências monitorando inteligências.

O perigo cresce se entregarmos todas essas camadas ao mesmo sistema e depois perguntarmos educadamente se ele gostaria de continuar desligável.

Mas isso é uma decisão de arquitetura.

Não uma lei da natureza.

Agora permita-me fazer uma pergunta menos popular.

E se não avançar também for perigoso?

Essa pergunta recebe muito menos atenção porque o perigo está longe.

Nós somos excelentes em temer aquilo que pode nos matar terça-feira.

Somos consideravelmente menos eficientes em temer aquilo que pode matar nossos descendentes daqui a dez mil anos.

Mas a Terra não assinou conosco nenhum contrato de habitabilidade eterna.

Nosso planeta já passou por grandes extinções.

Asteroides existem.

Supervulcões existem.

Pandemias existem.

Mudanças ambientais profundas existem.

E, numa escala suficientemente longa, existe uma certeza física simples: a Terra não permanecerá adequada à vida humana para sempre.

O Sol muda.

A atmosfera muda.

O planeta muda.

O cosmos não possui obrigação contratual de preservar exatamente as condições nas quais aparecemos.

Uma espécie confinada para sempre a um único planeta continua ligada ao destino desse planeta.

Se sabemos disso, vale perguntar: no longo prazo, o que é mais prudente — interromper o desenvolvimento ou aprender a avançar sem nos destruir no processo?

E existe apenas uma ferramenta que conhecemos capaz de modificar significativamente essa condição:

tecnologia.

Tecnologia permite detectar um asteroide e talvez desviá-lo.

Permite compreender doenças.

Permite construir ambientes artificiais.

Permite que um ser humano sobreviva, ainda que por períodos limitados, fora da atmosfera terrestre.

Uma estação espacial é basicamente uma pequena bolha na qual dizemos ao universo:

— As condições daqui são péssimas. Trouxemos as nossas.

Quanto mais tecnologia desenvolvemos, maior pode tornar-se nossa capacidade de sobreviver a condições que biologicamente seriam impossíveis.

Portanto, progresso cria risco.

Mas estagnação também cria.

A diferença é que um risco pode aparecer na próxima década e o outro talvez espere milhares ou milhões de anos.

Como cada geração possui a compreensível tendência de considerar sua própria existência um assunto prioritário, riscos distantes parecem quase abstratos.

O universo, infelizmente, não mede importância pela duração de nossa agenda.

O futuro provavelmente não vai se parecer conosco.

Há ainda outra dificuldade psicológica quando pensamos no futuro.

Normalmente imaginamos seres humanos de hoje vivendo num cenário futurista.

Mudamos os carros.

Mudamos as casas.

Colocamos algumas naves no céu.

E, por alguma razão histórica, colocamos todo mundo usando roupa prateada.

Mas preservamos o ser humano praticamente intacto.

Talvez essa seja a parte menos realista da ficção científica.

E vale repetir o exercício: se alguém de 1750 teria enorme dificuldade para imaginar os instrumentos que usamos hoje, por que nós seríamos especialmente competentes para imaginar aquilo em que poderemos nos transformar ao utilizá-los?

Talvez estejamos cometendo o mesmo erro: olhando para o futuro a partir do presente, quando o passado já nos ensinou quantas certezas o futuro costuma desmontar.

Se nossa tecnologia continuar avançando durante séculos ou milênios, por que imaginar que modificaremos tudo ao nosso redor menos nós mesmos?

Já começamos.

Óculos alteram nossa capacidade visual.

Marcapassos regulam corações.

Implantes cocleares transformam sinais eletrônicos em experiência auditiva.

Próteses substituem partes do corpo.

Interfaces cérebro-computador começam a permitir que pessoas paralisadas controlem dispositivos através da atividade neural.

Engenharia genética permite intervenções que seriam incompreensíveis para médicos de outras épocas.

Quando ouvimos a expressão “humano integrado à inteligência artificial”, nossa imaginação imediatamente produz um sujeito metálico com um olho vermelho andando por uma cidade destruída.

Hollywood prestou serviços importantes à cultura mundial, mas talvez tenha causado algum dano colateral à nossa capacidade de imaginar ciborgues.

Integração não precisa acontecer assim.

Pode ser lenta.

Pode ser quase invisível.

Na verdade, já terceirizamos partes da cognição há muito tempo.

Terceirizamos memória para a escrita.

Depois para livros.

Depois para computadores.

Depois para a internet.

Terceirizamos orientação espacial para o GPS.

Cálculo para máquinas.

Tradução para algoritmos.

Agora começamos a terceirizar partes da elaboração intelectual.

Eu escrevo uma pergunta para uma inteligência artificial.

Ela processa relações que eu não conseguiria examinar na mesma velocidade.

Devolve uma resposta.

Eu analiso essa resposta, rejeito uma parte, incorporo outra, reformulo meu pensamento e devolvo uma nova pergunta.

Onde termina minha inteligência nesse processo?

Onde começa a dela?

A fronteira ainda existe, naturalmente.

Mas já não é tão simples quanto “homem aqui, máquina ali”.

Talvez a próxima evolução humana não tenha aparência de evolução.

Quando falamos em evolução, pensamos em ossos, músculos, genes e milhões de anos.

Mas a história humana introduziu outra forma de transformação: cultura e tecnologia alteram nossa capacidade muito mais rapidamente do que a seleção natural conseguiria.

Nós não desenvolvemos asas.

Construímos aviões.

Não desenvolvemos visão noturna.

Construímos sensores.

Não evoluímos biologicamente para conversar a dez mil quilômetros de distância.

Construímos telecomunicações.

Não aumentamos nosso cérebro para armazenar todas as bibliotecas do mundo.

Construímos bibliotecas, computadores e redes.

Em vez de esperar que o organismo se transforme para adquirir uma capacidade, frequentemente construímos a capacidade do lado de fora do organismo.

E depois passamos a viver como se ela sempre tivesse pertencido a nós.

Talvez a inteligência artificial seja apenas uma continuação extraordinariamente poderosa desse processo.

Ou talvez seja algo qualitativamente novo.

Provavelmente é um pouco das duas coisas.

Ela pode permanecer ferramenta.

Pode tornar-se parceira cognitiva.

Pode integrar-se progressivamente a sistemas biológicos.

Pode ajudar a modificar nossa própria biologia.

Pode produzir formas de inteligência que coexistam conosco.

E pode, evidentemente, produzir riscos que ainda não sabemos administrar.

O que não parece razoável é assumir que o ser humano de daqui a mil anos, se ainda existir, será simplesmente uma versão de nós usando um telefone melhor.

Talvez nossos descendentes sejam profundamente diferentes.

Mas isso significaria que a humanidade perdeu?

Ou significaria simplesmente que continuou mudando?

A resposta talvez dependa menos da aparência deles e mais da continuidade que conseguirmos preservar.

E isso não precisa significar que a humanidade perdeu.

Uma criança é diferente do embrião que a originou.

Um adulto é diferente da criança.

Transformação não é necessariamente destruição.

Se uma máquina eliminar todos os seres humanos, teremos um excelente argumento para chamar o acontecimento de extinção.

Se nossos descendentes, ao longo de séculos, integrarem tecnologia, modificarem seus corpos, ampliarem suas capacidades e se tornarem algo que hoje mal conseguimos imaginar, talvez estejamos falando de continuidade por transformação.

E, convenhamos, seria um pouco pretensioso exigir que toda a história futura da inteligência no universo preserve nossa anatomia atual só porque nos acostumamos com ela.

O problema não é avançar. É sobreviver ao avanço.

Talvez aqui esteja o ponto que mais me interessa na fala de Coxon.

Ele olha para a velocidade da inteligência artificial e pergunta:

— E se avançarmos rápido demais e criarmos algo que não conseguimos controlar?

É uma pergunta legítima.

Mas existe outra:

— E se avançarmos devagar demais para adquirir as capacidades de que precisaremos no futuro?

Também é legítima.

A escolha real talvez nunca tenha sido entre risco e segurança.

Talvez seja entre riscos diferentes.

O risco de avançar.

O risco de não avançar.

O risco de desenvolver capacidade sem desenvolver controle.

O risco de desenvolver controle tão lentamente que a competição torne o controle irrelevante.

A história humana parece insistir numa direção: seguimos adiante.

Descobrimos o fogo e não o devolvemos.

Descobrimos a eletricidade e não decidimos que velas eram moralmente mais prudentes.

Descobrimos a física nuclear e não conseguimos desdescobri-la.

Descobrimos como manipular genes e esse conhecimento não voltou para a caixa.

Agora descobrimos máquinas capazes de aprender, raciocinar, programar e participar do desenvolvimento de outras máquinas.

Também não parece muito provável que esqueçamos como fazê-las.

Portanto, talvez a discussão prática não seja “devemos continuar?”.

Continuaremos.

A competição econômica praticamente garante isso.

A competição entre nações reforça isso.

A curiosidade humana completa o serviço.

A pergunta mais difícil é:

como continuar sem entregar a direção?

Progresso não significa correr de olhos fechados.

Existe uma frase que vale preservar:

precisamos avançar suficientemente rápido para sobreviver aos riscos que o universo nos impõe e suficientemente cuidadosamente para não nos tornarmos o primeiro desses riscos a nos destruir.

Isso não significa velocidade máxima.

Se uma ponte precisa de mais seis meses de cálculo para não cair, esperar seis meses não é ser inimigo do progresso.

É gostar de pontes em pé.

Se um medicamento precisa de testes antes de ser aplicado em milhões de pessoas, realizar os testes não é atraso científico.

É ciência.

Com inteligência artificial, a dificuldade é fazer segurança avançar na mesma velocidade da capacidade.

IAs capazes de testar IAs.

Sistemas independentes fiscalizando sistemas.

Infraestrutura crítica compartimentada.

Limites físicos de acesso.

Auditorias.

Diversidade de modelos.

Mecanismos internacionais de acompanhamento quando isso for possível.

E, sobretudo, evitar a concentração de todas as funções essenciais num único sistema simplesmente porque é conveniente.

A humanidade tem uma relação complicada com conveniência.

Inventamos a senha para proteger sistemas e depois inventamos “123456” para não precisar lembrar dela.

Convém não repetir o método com superinteligências.

O verdadeiro problema talvez continue sendo humano.

Existe uma ironia nessa história.

Tememos que a inteligência artificial se torne inteligente demais.

Mas parte do risco nasce justamente de comportamentos humanos bastante antigos.

Competição.

Desconfiança.

Busca por poder.

Pressão econômica.

Nacionalismo.

Curto prazo.

Uma empresa pensa no próximo produto.

Um investidor pensa no retorno.

Um governo pensa na vantagem estratégica.

Um político pensa na próxima eleição.

Um indivíduo pensa na própria vida e na própria família.

Quase ninguém acorda numa segunda-feira preocupado com a situação da espécie humana em 12.000 anos.

E, para ser justo, talvez seja difícil encaixar isso antes do almoço.

Mas nossas tecnologias começaram a produzir consequências em escalas que ultrapassam nossos horizontes psicológicos tradicionais.

Esse talvez seja o desafio mais profundo.

Nossa capacidade está ficando global.

Nossa responsabilidade continua frequentemente local.

Uma empresa pode vencer uma corrida e a humanidade perder.

Um país pode conquistar vantagem e o sistema inteiro ficar menos seguro.

Ao mesmo tempo, uma tecnologia criada por competição pode acabar fornecendo exatamente as ferramentas que protegerão a espécie de riscos futuros.

A mesma força pode acelerar o perigo e a solução.

Não é uma história simples.

Histórias simples geralmente são ótimas para redes sociais.

A realidade raramente demonstra a mesma consideração pelo algoritmo.

Então, vamos todos morrer?

Sim.

Essa parte posso afirmar com razoável confiança.

Jacob Coxon não precisava pedir demissão da Anthropic para descobrir isso.

A mortalidade humana já vinha apresentando resultados bastante consistentes antes da inteligência artificial.

A questão relevante é outra:

vamos todos morrer por causa da IA nos próximos dez anos?

Não sabemos.

E qualquer pessoa que diga saber provavelmente está confundindo convicção com conhecimento.

Existe risco?

Sim.

Existe motivo para levar pesquisadores como Coxon e Hubinger a sério?

Sem dúvida.

Existe motivo para imaginar que toda evolução de inteligência artificial terminará necessariamente numa máquina decidindo que seres humanos são um erro de sistema?

Não.

Estamos diante de algo novo.

E o novo sempre produz uma mistura curiosa de fascínio e medo.

Talvez seja assim porque toda porta fechada parece segura até alguém abri-la.

Do outro lado pode haver um precipício.

Pode haver uma estrada.

Pode haver os dois.

A inteligência artificial talvez seja uma dessas portas.

Podemos ficar diante dela discutindo eternamente se deveríamos abri-la.

Mas existe um detalhe: alguém já girou a maçaneta.

Na verdade, milhões de pessoas já passaram pelo corredor.

A pergunta deixou de ser apenas se entraremos.

Agora precisamos aprender a caminhar lá dentro.

Com prudência.

Com sistemas de segurança.

Com humildade suficiente para admitir o que não sabemos.

E com coragem suficiente para não transformar desconhecimento em paralisia.

Talvez nossos descendentes olhem para esta época como nós olhamos para o início da aviação.

Talvez pensem:

— Eles realmente entravam naquelas primeiras máquinas sem saber direito até onde aquilo iria?

Sim.

Entrávamos.

Algumas caíram.

Aprendemos.

Construímos outras.

Talvez olhem para o início da engenharia genética e façam pergunta semelhante.

Talvez olhem para nós conversando com as primeiras inteligências artificiais e achem tudo extraordinariamente primitivo.

Ou talvez Coxon esteja mais perto da verdade do que gostaríamos e nossos descendentes não estejam disponíveis para fazer comentário algum.

Essa possibilidade merece respeito.

Mas existe outra que também merece.

Talvez a inteligência artificial não seja o fim da inteligência humana.

E se estivermos olhando para ela apenas como concorrente quando deveríamos também perguntar se, em alguma medida, ela poderá tornar-se continuação?

Talvez seja uma das maneiras pelas quais a inteligência humana deixa de estar limitada apenas àquilo que cabe dentro de um cérebro biológico individual.

Talvez, num futuro distante, a distinção entre “nossa inteligência” e “inteligência artificial” pareça tão estranha quanto perguntar hoje se um livro pertence à memória humana ou é uma coisa externa a ela.

Não sabemos.

É justamente por isso que estamos vivendo um momento tão extraordinário.

Pela primeira vez, uma espécie que levou bilhões de anos de evolução para produzir inteligência suficiente para compreender parcialmente o universo começou a construir outra forma de inteligência capaz de participar da própria construção da inteligência.

Isso pode dar muito errado.

Também pode dar extraordinariamente certo.

Provavelmente fará um pouco dos dois antes que entendamos o que estamos fazendo.

Esse costuma ser o nosso método.

Portanto, depois de ler Coxon, assistir à entrevista e considerar a possibilidade de que todos morreremos até o fim da década, tomei uma decisão.

Não vou comprar comida enlatada para dez anos.

Ainda.

Mas vou continuar prestando atenção.

Porque talvez o medo não seja um sinal para parar.

Talvez seja apenas uma das maneiras pelas quais a inteligência nos lembra que avançar exige olhar onde estamos pisando.

E, se conseguirmos fazer isso, quem sabe nossos descendentes — biológicos, tecnológicos ou alguma combinação que hoje ainda nos pareceria ficção científica — possam um dia olhar para trás e achar graça do nosso medo.

Do mesmo modo que hoje achamos graça quando imaginamos alguém olhando para um avião e dizendo:

— Isso nunca vai voar.

Tomara que eles tenham essa oportunidade.