IQ: ошибочная мера для оценки ИИ

На недавнем пресс-мероприятии генеральный директор OpenAI Сэм Альтман поделился своими мыслями о быстром развитии "IQ" искусственного интеллекта. Он отметил: «Очень грубо говоря, мне кажется — это не научно точно, это просто ощущение или духовный ответ — каждый год мы продвигаемся на одно стандартное отклонение IQ». Альтман не единственный, кто использует IQ как мерило прогресса ИИ; известно, что влиятельные личности в социальных сетях также подвергают модели ИИ тестам на IQ и делятся результатами.

Однако многие эксперты утверждают, что использование IQ для оценки возможностей ИИ не только недостаточно, но и вводит в заблуждение. Сандра Вахтер, исследователь из Оксфорда, специализирующийся на технологиях и регулировании, рассказала TechCrunch: «Очень заманчиво использовать те же меры, что мы применяем к людям, для описания возможностей или прогресса, но это всё равно что сравнивать яблоки с апельсинами».

Во время пресс-конференции Альтман, похоже, приравнивал IQ к интеллекту. Однако тесты на IQ больше касаются относительных, а не абсолютных мер определённых типов интеллекта. Их обычно считают хорошими индикаторами логики и абстрактного мышления, но они не справляются, когда речь заходит о практическом интеллекте — том, который помогает разобраться, как заставить вещи работать. Кроме того, они дают лишь моментальный снимок способностей человека.

Вахтер отметила: «IQ — это инструмент для измерения человеческих способностей — и при этом спорный — основанный на том, что учёные считают человеческим интеллектом. Но вы не можете использовать ту же меру для описания возможностей ИИ. Машина быстрее человека, а подводная лодка лучше ныряет. Но это не значит, что машины или подводные лодки превосходят человеческий интеллект. Вы приравниваете один аспект производительности к человеческому интеллекту, который намного сложнее».

Происхождение тестов на IQ связано с евгеникой, дискредитированной теорией об улучшении людей путём селективного разведения. Чтобы хорошо справиться с этими тестами, нужна хорошая рабочая память и знакомство с западными культурными нормами, что может вносить предвзятость. Ос Кейс, докторант Университета Вашингтона, изучающий этичный ИИ, считает, что если модель ИИ хорошо справляется с тестом на IQ, это больше говорит о недостатках теста, чем о мастерстве модели. Кейс сказал: «Эти тесты довольно легко обойти, если у вас практически бесконечный объём памяти и терпения. Тесты на IQ — это крайне ограниченный способ измерения познания, сознания и интеллекта, что мы знали ещё до изобретения цифрового компьютера».

У ИИ может быть несправедливое преимущество в тестах на IQ, потому что модели обладают огромной памятью и знаниями на кончиках пальцев. Они часто обучаются на общедоступных веб-данных, которые включают множество вопросов из тестов на IQ. Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ, отметил: «Тесты, как правило, повторяют очень похожие шаблоны — довольно надёжный способ повысить свой IQ — это практиковаться в прохождении тестов на IQ, что, по сути, и делает каждая модель. Когда я что-то изучаю, это не поступает в мой мозг с идеальной чёткостью миллион раз, в отличие от ИИ, и я не могу обрабатывать это без шума или потери сигнала».

Кук также указал, что тесты на IQ, с их присущими предвзятостями, были разработаны для людей, чтобы оценивать общие навыки решения проблем. Они не подходят для ИИ, который решает задачи иначе. Он сказал: «Ворона может использовать инструмент, чтобы достать лакомство из коробки, но это не значит, что она может поступить в Гарвард. Когда я решаю математическую задачу, мой мозг также борется с тем, чтобы правильно прочитать слова на странице, не думать о покупках, которые мне нужно сделать по дороге домой, или о том, не слишком ли холодно в комнате сейчас. Другими словами, человеческий мозг сталкивается с гораздо большим количеством вещей, когда решает задачу — любую задачу, тесты на IQ или что-то ещё — и делает это с гораздо меньшей помощью, чем ИИ».

Хейди Хлааф, главный учёный по ИИ в Институте AI Now, рассказала TechCrunch, что нам нужны лучшие способы тестирования ИИ. Она сказала: «В истории вычислений мы не сравнивали вычислительные способности с человеческими именно потому, что природа вычислений означает, что системы всегда могли выполнять задачи, уже выходящие за пределы человеческих возможностей. Идея прямого сравнения производительности систем с человеческими способностями — это недавнее явление, которое вызывает много споров, и вокруг него разгорается полемика о постоянно расширяющихся — и меняющихся — эталонах, создаваемых для оценки систем ИИ».