Quem decide o que a IA vai te dizer? Campbell Brown, ex-chefe de notícias da Meta, dá sua opinião.

Ao longo de sua carreira, Campbell Brown sempre buscou informações precisas — primeiro como uma renomada jornalista de televisão e, depois, como a primeira e única diretora de notícias dedicada do Facebook. Agora, à medida que a IA transforma a forma como as pessoas consomem informações, ela vê a história ameaçando se repetir. Desta vez, ela não vai esperar que outra pessoa resolva o problema.

Sua empresa, a Forum AI — sobre a qual ela conversou recentemente com Tim Fernholz, do TechCrunch, em um evento da StrictlyVC em São Francisco — avalia o desempenho de modelos de base no que ela chama de “tópicos de alto risco”: geopolítica, saúde mental, finanças e contratação. Esses são assuntos em que “não há respostas claras de sim ou não, onde tudo é obscuro, cheio de nuances e complexo”.

A abordagem envolve encontrar os maiores especialistas do mundo, fazer com que eles criem parâmetros de referência e, em seguida, treinar juízes de IA para avaliar modelos em grande escala. Para o trabalho de geopolítica da Forum AI, Brown recrutou Niall Ferguson, Fareed Zakaria, o ex-secretário de Estado Tony Blinken, o ex-presidente da Câmara dos Deputados Kevin McCarthy e Anne Neuberger, que liderou a segurança cibernética no governo Obama. O objetivo é alcançar um consenso de aproximadamente 90% entre os juízes de IA e esses especialistas humanos — um patamar que, segundo ela, a Forum AI já atingiu.

Brown remonta a origem do Forum AI — fundado há 17 meses em Nova York — a um momento específico. “Eu estava na Meta quando o ChatGPT foi lançado publicamente pela primeira vez”, lembrou ela, “e me lembro de ter percebido logo em seguida que esse seria o funil pelo qual todas as informações fluiriam. E isso não é nada bom.” As implicações para seus próprios filhos fizeram com que aquele momento parecesse quase existencial. “Meus filhos vão ficar muito burros se não descobrirmos como consertar isso”, ela se lembra de ter pensado.

O que mais a frustrava era que a precisão não parecia ser prioridade de ninguém. As empresas de modelos de base, disse ela, estão “extremamente focadas em programação e matemática”, enquanto notícias e informações são mais difíceis. Mas mais difícil, argumentou ela, não significa opcional.

De fato, quando a Forum AI começou a avaliar os principais modelos, as descobertas não foram exatamente encorajadoras. Ela citou o Gemini extraindo de sites do Partido Comunista Chinês “notícias que não têm nada a ver com a China” e observou um viés político de esquerda em quase todos os modelos. Falhas mais sutis também são abundantes, disse ela, incluindo contexto ausente, perspectivas ausentes e argumentos falaciosos sem reconhecimento. “Há um longo caminho a percorrer”, disse ela. “Mas também acho que existem algumas soluções muito fáceis que melhorariam enormemente os resultados.”

Brown passou anos no Facebook observando o que acontece quando uma plataforma se otimiza para métricas erradas. “Falhamos em muitas das coisas que tentamos”, disse ela a Fernholz. O programa de verificação de fatos que ela criou não existe mais. A lição — mesmo que as redes sociais tenham fechado os olhos para isso — é que a otimização para o engajamento tem sido prejudicial à sociedade e deixou muitas pessoas menos informadas.

Sua esperança é que a IA possa quebrar esse ciclo. “No momento, pode acontecer de qualquer maneira”, disse ela; as empresas poderiam dar aos usuários o que eles querem, ou poderiam “dar às pessoas o que é real, honesto e verdadeiro”. Ela reconheceu que a versão idealista — a IA otimizada para a verdade — pode parecer ingênua. Mas ela acha que as empresas podem ser aliadas improváveis nesse caso. As empresas que usam IA para decisões de crédito, empréstimos, seguros e contratações se preocupam com a responsabilidade civil e “elas vão querer que você otimize para acertar”.

Essa demanda das empresas é também onde a Forum AI está apostando seu negócio, embora transformar o interesse em conformidade em receita consistente continue sendo um desafio, especialmente considerando que grande parte do mercado atual ainda se satisfaz com auditorias de preenchimento de formulários e parâmetros padronizados que Brown considera inadequados.

O panorama da conformidade, disse ela, é “uma piada”. Quando a cidade de Nova York aprovou a primeira lei contra preconceito na contratação exigindo auditorias de IA, o controlador estadual descobriu que mais da metade apresentava violações que passaram despercebidas. Uma avaliação real, disse ela, requer conhecimento especializado na área para lidar não apenas com cenários conhecidos, mas também com casos extremos que “podem te colocar em apuros que as pessoas nem imaginam”. E esse trabalho leva tempo. “Generalistas inteligentes não vão dar conta do recado.”

Brown — cuja empresa levantou US$ 3 milhões no último outono, liderada pela Lerer Hippeau — está em uma posição única para descrever a desconexão entre a autoimagem da indústria de IA e a realidade para a maioria dos usuários. “Você ouve dos líderes das grandes empresas de tecnologia: ‘Essa tecnologia vai mudar o mundo’, ‘vai tirar seu emprego’, ‘vai curar o câncer’”, disse ela. “Mas, para uma pessoa comum que está apenas usando um chatbot para fazer perguntas básicas, ela ainda recebe muitas respostas confusas e erradas.”

A confiança na IA está em níveis extraordinariamente baixos, e ela acredita que o ceticismo é, em muitos casos, justificado. “A conversa que está rolando no Vale do Silício gira em torno de uma coisa, e uma conversa totalmente diferente está rolando entre os consumidores.”