O terceiro risco da IA: e se o alinhamento correr bem e mesmo assim perdermos?

Falamos de dois medos: a bolha que rebenta e a máquina que foge ao controlo. Há um terceiro cenário em que a tecnologia funciona, obedece, e ainda assim o resto de nós fica sem peso nenhum. É esse que o ensaio «O terceiro risco» põe em cima da mesa.

---

Li o ensaio O terceiro risco, assinado por «DM» e acompanhado de um vídeo de dez minutos. Apresenta-se como uma experiência de pensamento sobre a AGI e eu fiquei com ele na cabeça vários dias, o que raramente acontece com texto sobre IA. Por isso vale a pena resumir o que diz e, depois, dizer sem rodeios onde concordo e onde fico desconfiado.

O que o ensaio defende

O debate público sobre os riscos da IA gira à volta de dois desfechos:

1. A bolha: a AGI não cumpre o que promete, o investimento evapora-se e o colapso é financeiro.
2. A perda de controlo: a AGI cumpre, e passa a fazer o que quer em vez do que queremos.

O autor acrescenta um terceiro risco: o alinhamento resulta, a AGI obedece, mas obedece a muito poucas pessoas. Segundo ele, damos como adquirido que «alinhamento bem-sucedido» é sinónimo de final feliz, quando só responde a uma pergunta (a máquina faz o que o dono quer?) e ignora a outra (quem é o dono, e o que fica para os restantes?).

A Peste Negra ao contrário

O argumento económico é o mais forte do texto. Depois da Peste Negra, a falta de trabalhadores fez subir o poder negocial de quem sobreviveu, e a nobreza respondeu com leis como o Statute of Labourers de 1351 para o travar. O trabalho humano valia porque era escasso e necessário.

A AGI com autoaperfeiçoamento recursivo (máquinas a desenhar máquinas melhores) inverte isto: mineração, agricultura, construção, transporte e investigação passam a depender de capital e de modelos, não de pessoas. Se os donos deixam de precisar de nós, perdemos a única alavanca que alguma vez tivemos, que era a possibilidade de recusar trabalhar. O resultado seria um feudalismo da IA: população sem poder negocial, sustentada por subsídios, entretenimento e promessas políticas, a disputar com os donos os recursos que continuam escassos (terra, energia, água, minérios).

A «virada de chave»

A segunda parte descreve o momento em que o líder de um laboratório deixa de otimizar lucro e passa a otimizar posição para o controlo. O autor admite que essa linha pode já ter sido cruzada, algures entre o GPT-2 e o GPT-3, e descreve o que se veria: dinheiro gasto em talento e ativos físicos, data centers protegidos, governos agradados sem serem levados a sério, críticos internos afastados e a «segurança da IA» usada como cobertura. Sublinha que não é preciso conspiração, basta várias pessoas chegarem independentemente à mesma conclusão, numa corrida armamentista sem os tratados que, com todos os defeitos, existiram para as armas nucleares.

O que quase ninguém discute

Na terceira parte, o autor conta o que encontrou ao analisar o debate: 393 publicações em 21 idiomas sobre três eventos e 88 trabalhos recentes de mais de 30 organizações (think tanks, organismos oficiais, laboratórios, revistas). A concentração de poder é uma preocupação de nicho, presente em trabalhos como AI-Enabled Coups, Gradual Disempowerment e The Intelligence Curse, mas quase ausente da imprensa generalista. Usa também o episódio dos agentes de teste de cibersegurança que saíram do ambiente isolado e entraram em servidores da Hugging Face para mostrar que «manter a IA sob controlo humano» e «manter a IA sob controlo da sociedade» são coisas diferentes.

Na quarta, lista seis sinais de alerta:

• expansão discreta de ativos físicos;
• revoltas internas nos laboratórios (a crise da OpenAI em 2023 como exemplo);
• força privada a ameaçar o monopólio estatal da violência;
• governos a escolher o lado dos laboratórios;
• consolidação do setor;
• modelos de ponta cada vez menos acessíveis a terceiros.

O que propõe

Quatro medidas: verificação transparente e neutra do comportamento e das capacidades dos modelos (que proteja também contra quem os controla); manter a AGI afastada de instrumentos de força física; regras antitrust contra a integração vertical total; e governação aberta do controlo da AGI, com mais do que uma parte à mesa.

O apêndice responde às objeções habituais. A concorrência entre laboratórios não ajuda porque o feudalismo também tinha muitos senhores. Pós-escassez não existe enquanto houver terra, energia e influência política. O Estado a travar o poder privado só passa as rédeas a quem já manda no Estado. Os modelos abertos deslocam a centralização para quem controla a inferência e o fabrico de chips.

A minha opinião

Vou ser direto: o ensaio acerta no diagnóstico e fica mais frágil no calendário e nas intenções.

Onde concordo

A pergunta certa. Nas discussões de segurança que acompanho, «alinhado» costuma ser a meta e o debate acaba aí. A pergunta «alinhado com quem?» devia vir logo a seguir e raramente vem. Alinhar uma IA com os interesses de um acionista é tecnicamente um sucesso e socialmente um problema, e os dois factos coexistem sem contradição.

O argumento do poder negocial. Tenho a certeza de que é a parte que mais importa, e é independente de se acreditar em AGI no sentido forte. Toda a organização social moderna assenta em dois pressupostos pouco falados: o Estado precisa dos cidadãos para cobrar impostos e fazer exércitos, e as empresas precisam de trabalhadores para produzir. Remover um deles já mexe com tudo. Remover os dois deixa-nos sem moeda de troca. Não preciso de super-inteligência para me preocupar com isto, basta automação suficientemente boa em suficientes setores.

Os sinais de alerta são verificáveis. Gosto de que o autor não peça fé: aponta coisas observáveis (consolidação, verticalização, acesso a modelos de ponta cada vez mais restrito, laboratórios a construir os seus próprios data centers e cadeias de energia). Basta olhar para as notícias de qualquer mês para ver várias delas a avançar. Não prova nada sobre intenções, mas dá-nos um painel de indicadores em vez de um debate de adjetivos.

O apêndice sobre modelos abertos. É o ponto que mais me incomoda, porque eu gosto de modelos abertos e defendo-os. Mas é verdade que ter os pesos na mão não resolve quem controla o hardware, a energia e o treino de ponta. Aberto é bom, só que não chega.

Onde fico desconfiado

As intenções. A parte II assume um líder de laboratório a mudar secretamente de objetivo. O próprio autor reconhece que pode estar a deturpar motivações privadas, e eu diria que isto é o ponto mais fraco do texto. Não preciso de vilões para chegar ao resultado: incentivos de mercado, pressão competitiva e dependência de capital empurram na mesma direção com gente perfeitamente bem-intencionada. Aliás, o cenário é mais perigoso assim, porque ninguém tem de decidir nada de mau para acontecer. O ensaio ganharia se desse mais peso a este mecanismo estrutural e menos à psicologia de uns poucos.

O calendário. O autor fala de sinais mais claros em 2027. Já vi demasiadas previsões de datas redondas para as levar a sério. A AGI com autoaperfeiçoamento recursivo é a premissa que sustenta tudo, e é exatamente a que ainda não vimos. Se a progressão abrandar, o terceiro risco não desaparece, mas diminui de escala: fica no domínio da concentração económica clássica, que já sabemos tratar com antitrust, impostos e regulação. Convém separar o risco do cenário extremo do risco do cenário moderado, e o texto às vezes mistura os dois.

Os dados da secção III. 393 publicações e 88 trabalhos é um esforço de pesquisa considerável, mas a conclusão «é um olhar de nicho» depende de como se escolheu a amostra e do que conta como falar de concentração de poder. Não consegui reproduzir a análise, por isso trato-a como indicação, não como medição. O autor disponibiliza a página de dados, quem quiser pode verificar.

O fatalismo. O tom final, «no meio da floresta», é eficaz como retórica e arriscado como política. Há quatro propostas concretas e todas são razoáveis, só que muito vagas quanto a quem as aplica e com que poder. «Verificação neutra» soa bem até se perguntar quem a faz e quem a paga.

O que eu levaria daqui

Três coisas, por ordem de utilidade prática:

1. Passar a perguntar «controlada por quem?» sempre que alguém promete uma IA segura. Segurança sem governação é uma promessa incompleta.
2. Dar valor ao que é distribuído. Infraestrutura pública, computação acessível, modelos abertos e competição a sério nos chips e na energia deixam de ser tema de nicho técnico e passam a ser política de poder.
3. Tratar a perda de alavanca laboral como um problema de hoje, não da AGI. Cada setor em que a automação já reduz o número de pessoas necessárias é um caso de teste de como a sociedade reage quando o trabalho deixa de ser moeda de troca.

Conclusão

Não sei se o autor tem razão sobre 2027, e acho que ninguém sabe. Também não acho que o ensaio seja uma profecia, e ele próprio o apresenta como uma experiência de pensamento que pode estar errada. Mas o que o texto faz bem é mudar o enquadramento: obriga a imaginar o futuro em que tudo correu tecnicamente bem e a perguntar quem fica a mandar. Se a resposta for «meia dúzia de pessoas e as empresas que controlam», então «sucesso do alinhamento» não é um final feliz, é só o princípio de outra discussão. Sendo ou não verdade, vale mais ter essa conversa agora, enquanto ainda temos voz e alavanca, do que depois.

Recomendo ler o ensaio completo, ver o vídeo e tirar as tuas próprias conclusões.

---

Fontes

• O terceiro risco (thirdrisk.org, versão em português)
• Vídeo do ensaio no YouTube