「IQ：AI評価の欠陥のある尺度」

最近の記者会見で、OpenAIのCEOであるサム・アルトマン氏は、AIの「IQ」の急速な進歩についての考えを共有しました。彼は次のように述べました。「非常に大まかに言えば、これは科学的には正確ではありませんが、ただの感覚的または精神的な答えです。毎年、IQの1標準偏差分進んでいるように感じます。」アルトマン氏だけがAIの進歩の基準としてIQを使用しているわけではありません。ソーシャルメディアのインフルエンサーたちも、AIモデルにIQテストを受けさせ、その結果を共有することで知られています。

しかし、多くの専門家は、AIの能力を評価するためにIQを使用することは不適切であるだけでなく、誤解を招くと主張しています。オックスフォードで技術と規制を研究しているサンドラ・ワクター氏は、TechCrunchに対し、「人間の能力や進歩を記述するために使用するのと同じ基準をAIに使うのは非常に魅力的ですが、これはリンゴとオレンジを比較するようなものです」と語りました。

記者会見中、アルトマン氏はIQを知能と同等に扱っているようでした。しかし、IQテストは特定の種類の知能の相対的な尺度であり、絶対的な尺度ではありません。これらは一般に論理や抽象的推論の良い指標とされていますが、実際の知能、つまり物事を機能させる方法を見つけ出す能力については十分ではありません。また、IQテストは個人の能力のスナップショットを提供するだけです。

ワクター氏は次のように指摘しました。「IQは、科学者が人間の知能と考えているものに基づいて、人間の能力を測定するツールです——それ自体が議論の的となるツールです。しかし、AIの能力を記述するために同じ基準を使うことはできません。車は人間よりも速く、潜水艦は潜水に優れています。しかし、これは車や潜水艦が人間の知能を超えているという意味ではありません。パフォーマンスの一部の側面を人間の知能と同等に扱うのは、はるかに複雑なものです。」

IQテストの起源は、選択的育種によって人々を改善するという、信用を失った優生学の理論に結びついています。これらのテストで良い成績を収めるには、優れたワーキングメモリと西洋の文化的規範への慣れが必要であり、これが偏見を生む可能性があります。ワシントン大学の博士課程で倫理的AIを研究しているオス・キーズ氏は、AIモデルがIQテストで良い成績を収めた場合、それはモデルの能力というよりもテストの欠点について多くを物語ると考えています。キーズ氏は次のように述べました。「これらのテストは、ほぼ無限のメモリと忍耐力があれば、かなり簡単に攻略できます。IQテストは、認知、意識、知能を測定する非常に限定的な方法であり、これはデジタルコンピュータの発明以前から知られていたことです。」

AIは、膨大なメモリと知識をすぐに利用できるため、IQテストで不公平な優位性を持つ可能性があります。AIはしばしば公開ウェブデータでトレーニングされており、そこには多くのIQテストの問題が含まれています。キングス・カレッジ・ロンドンでAIを専門とする研究フェローのマイク・クック氏は、次のように指摘しました。「テストは非常に似たパターンを繰り返す傾向があります。IQを上げる確実な方法は、IQテストを練習することであり、これはすべてのモデルが実質的に行っていることです。私が何かを学ぶとき、AIとは異なり、100万回完全に明確に脳に送り込まれるわけではありませんし、ノイズや信号の損失なしに処理することもできません。」

クック氏はまた、IQテストはその固有の偏見により、人間の一般的な問題解決スキルを評価するために設計されたものであり、AIには適していないと指摘しました。彼は次のように述べました。「カラスは道具を使って箱からおやつを取り出すことができるかもしれませんが、それがハーバード大学に入学できるという意味ではありません。私が数学の問題を解くとき、私の脳はページの文字を正しく読む能力、帰宅途中に必要な買い物のことを考えないようにする能力、部屋が今寒すぎるかどうかを気にする能力とも戦っています。つまり、人間の脳は、IQテストであれ他の問題であれ、問題を解くときに多くのことを同時に処理しなければならず、AIよりもはるかに少ない助けでそれを行います。」

AI Now Instituteの主任AI科学者であるハイディ・クラーフ氏は、TechCrunchに対し、AIをテストするより良い方法が必要だと語りました。彼女は次のように述べました。「計算の歴史において、計算能力を人間の能力と直接比較することはありませんでした。なぜなら、計算の本質上、システムは常に人間の能力を超えるタスクを完了できたからです。システムのパフォーマンスを人間の能力と直接比較するという考えは、最近の現象であり、非常に議論の的となっています。そして、AIシステムを評価するために作られている、常に拡大し、変化するベンチマークをめぐる論争がこれを取り巻いています。」