QI: uma medida defeituosa para avaliação da IA

Em um recente evento de imprensa, o CEO da OpenAI, Sam Altman, compartilhou seus pensamentos sobre o rápido avanço do "QI" da IA. Ele mencionou: "Muito aproximadamente, parece-me que — isso não é cientificamente preciso, é apenas uma vibe ou resposta espiritual — a cada ano avançamos um desvio padrão de QI." Altman não está sozinho em usar o QI como uma medida para o progresso da IA; influenciadores de redes sociais também são conhecidos por submeter modelos de IA a testes de QI e compartilhar os resultados.

No entanto, muitos especialistas argumentam que usar o QI para avaliar as capacidades da IA não é apenas inadequado, mas também enganador. Sandra Wachter, pesquisadora em Oxford focada em tecnologia e regulamentação, disse ao TechCrunch: "Pode ser muito tentador usar as mesmas medidas que usamos para humanos para descrever capacidades ou progresso, mas isso é como comparar maçãs com laranjas."

Durante a conferência de imprensa, Altman pareceu equiparar QI com inteligência. No entanto, os testes de QI são mais sobre medidas relativas, não absolutas, de tipos específicos de inteligência. Eles são geralmente vistos como bons indicadores de lógica e raciocínio abstrato, mas falham quando se trata de inteligência prática — aquela que ajuda a descobrir como fazer as coisas funcionarem. Além disso, eles oferecem apenas um instantâneo das habilidades de alguém.

Wachter destacou: "O QI é uma ferramenta para medir capacidades humanas — uma ferramenta controversa, aliás — baseada no que os cientistas acreditam que a inteligência humana parece ser. Mas você não pode usar a mesma medida para descrever as capacidades da IA. Um carro é mais rápido que humanos, e um submarino é melhor em mergulhar. Mas isso não significa que carros ou submarinos superam a inteligência humana. Você está equiparando um aspecto do desempenho com a inteligência humana, que é muito mais complexa."

As origens dos testes de QI estão ligadas à eugenia, uma teoria desacreditada sobre melhorar as pessoas por meio de reprodução seletiva. Para se sair bem nesses testes, é necessário ter uma boa memória de trabalho e familiaridade com normas culturais ocidentais, o que pode introduzir vieses. Os Keyes, candidato a doutorado na Universidade de Washington que estuda IA ética, acredita que, se um modelo de IA se sai bem em um teste de QI, isso diz mais sobre as limitações do teste do que sobre a habilidade do modelo. Keyes disse: "Esses testes são bastante fáceis de manipular se você tem uma quantidade praticamente infinita de memória e paciência. Os testes de QI são uma forma altamente limitada de medir cognição, senciência e inteligência, algo que sabemos desde antes da invenção do próprio computador digital."

A IA pode ter uma vantagem injusta nos testes de QI porque os modelos possuem vasta memória e conhecimento ao seu alcance. Eles são frequentemente treinados em dados públicos da web, que incluem muitas questões de testes de QI. Mike Cook, pesquisador na King's College London especializado em IA, observou: "Os testes tendem a repetir padrões muito semelhantes — uma maneira quase infalível de aumentar seu QI é praticar fazendo testes de QI, o que é essencialmente o que todo modelo fez. Quando eu aprendo algo, não o recebo diretamente no meu cérebro com clareza perfeita 1 milhão de vezes, diferente da IA, e também não consigo processá-lo sem ruído ou perda de sinal."

Cook também apontou que os testes de QI, com seus vieses inerentes, foram projetados para humanos avaliarem habilidades gerais de resolução de problemas. Eles não são adequados para a IA, que aborda problemas de maneira diferente. Ele disse: "Um corvo pode ser capaz de usar uma ferramenta para recuperar um petisco de uma caixa, mas isso não significa que ele pode se matricular em Harvard. Quando eu resolvo um problema de matemática, meu cérebro também está lidando com sua capacidade de ler as palavras na página corretamente, de não pensar nas compras que preciso fazer no caminho para casa, ou se está muito frio na sala agora. Em outras palavras, os cérebros humanos lidam com muito mais coisas quando resolvem um problema — qualquer problema, testes de QI ou outros — e eles o fazem com muito menos ajuda do que a IA."

Heidy Khlaaf, cientista-chefe de IA no AI Now Institute, disse ao TechCrunch que precisamos de melhores maneiras de testar a IA. Ela afirmou: "Na história da computação, não comparamos as habilidades de computação com as dos humanos precisamente porque a natureza da computação significa que os sistemas sempre foram capazes de realizar tarefas já além da capacidade humana. Essa ideia de comparar diretamente o desempenho dos sistemas com as habilidades humanas é um fenômeno recente que é altamente contestado, e o que envolve a controvérsia dos benchmarks cada vez mais expansivos — e em movimento — sendo criados para avaliar sistemas de IA."