IQ: ошибочная мера для оценки ИИ

На недавнем пресс-мероприятии генеральный директор OpenAI Сэм Альтман поделился своими мыслями о быстром развитии "IQ" искусственного интеллекта. Он отметил: «Очень грубо говоря, мне кажется — это не научно точно, это просто ощущение или духовный ответ — каждый год мы продвигаемся на одно стандартное отклонение IQ». Альтман не единственный, кто использует IQ как мерило прогресса ИИ; известно, что влиятельные личности в социальных сетях также подвергают модели ИИ тестам на IQ и делятся результатами.
Однако многие эксперты утверждают, что использование IQ для оценки возможностей ИИ не только недостаточно, но и вводит в заблуждение. Сандра Вахтер, исследователь из Оксфорда, специализирующийся на технологиях и регулировании, рассказала TechCrunch: «Очень заманчиво использовать те же меры, что мы применяем к людям, для описания возможностей или прогресса, но это всё равно что сравнивать яблоки с апельсинами».
Во время пресс-конференции Альтман, похоже, приравнивал IQ к интеллекту. Однако тесты на IQ больше касаются относительных, а не абсолютных мер определённых типов интеллекта. Их обычно считают хорошими индикаторами логики и абстрактного мышления, но они не справляются, когда речь заходит о практическом интеллекте — том, который помогает разобраться, как заставить вещи работать. Кроме того, они дают лишь моментальный снимок способностей человека.
Вахтер отметила: «IQ — это инструмент для измерения человеческих способностей — и при этом спорный — основанный на том, что учёные считают человеческим интеллектом. Но вы не можете использовать ту же меру для описания возможностей ИИ. Машина быстрее человека, а подводная лодка лучше ныряет. Но это не значит, что машины или подводные лодки превосходят человеческий интеллект. Вы приравниваете один аспект производительности к человеческому интеллекту, который намного сложнее».
Происхождение тестов на IQ связано с евгеникой, дискредитированной теорией об улучшении людей путём селективного разведения. Чтобы хорошо справиться с этими тестами, нужна хорошая рабочая память и знакомство с западными культурными нормами, что может вносить предвзятость. Ос Кейс, докторант Университета Вашингтона, изучающий этичный ИИ, считает, что если модель ИИ хорошо справляется с тестом на IQ, это больше говорит о недостатках теста, чем о мастерстве модели. Кейс сказал: «Эти тесты довольно легко обойти, если у вас практически бесконечный объём памяти и терпения. Тесты на IQ — это крайне ограниченный способ измерения познания, сознания и интеллекта, что мы знали ещё до изобретения цифрового компьютера».
У ИИ может быть несправедливое преимущество в тестах на IQ, потому что модели обладают огромной памятью и знаниями на кончиках пальцев. Они часто обучаются на общедоступных веб-данных, которые включают множество вопросов из тестов на IQ. Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ, отметил: «Тесты, как правило, повторяют очень похожие шаблоны — довольно надёжный способ повысить свой IQ — это практиковаться в прохождении тестов на IQ, что, по сути, и делает каждая модель. Когда я что-то изучаю, это не поступает в мой мозг с идеальной чёткостью миллион раз, в отличие от ИИ, и я не могу обрабатывать это без шума или потери сигнала».
Кук также указал, что тесты на IQ, с их присущими предвзятостями, были разработаны для людей, чтобы оценивать общие навыки решения проблем. Они не подходят для ИИ, который решает задачи иначе. Он сказал: «Ворона может использовать инструмент, чтобы достать лакомство из коробки, но это не значит, что она может поступить в Гарвард. Когда я решаю математическую задачу, мой мозг также борется с тем, чтобы правильно прочитать слова на странице, не думать о покупках, которые мне нужно сделать по дороге домой, или о том, не слишком ли холодно в комнате сейчас. Другими словами, человеческий мозг сталкивается с гораздо большим количеством вещей, когда решает задачу — любую задачу, тесты на IQ или что-то ещё — и делает это с гораздо меньшей помощью, чем ИИ».
Хейди Хлааф, главный учёный по ИИ в Институте AI Now, рассказала TechCrunch, что нам нужны лучшие способы тестирования ИИ. Она сказала: «В истории вычислений мы не сравнивали вычислительные способности с человеческими именно потому, что природа вычислений означает, что системы всегда могли выполнять задачи, уже выходящие за пределы человеческих возможностей. Идея прямого сравнения производительности систем с человеческими способностями — это недавнее явление, которое вызывает много споров, и вокруг него разгорается полемика о постоянно расширяющихся — и меняющихся — эталонах, создаваемых для оценки систем ИИ».
Связанная статья
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Amazon представляет Alexa для покупок, отодвигая Rufus на второй план
Amazon запустила Alexa for Shopping, объединив своего чат-бота для покупок Rufus с Alexa+ в приложении, на веб-сайте и устройствах Echo Show.Ассистент отвечает на запросы о товарах, сравнивает товары, отслеживает цены и поддерживает напоминания о по
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
Рекомендации по связанным специальным темам
Комментарии (48)
interesting perspective! always thought of AI as a super-fast learner, not something we could measure with something like IQ. sam’s analogy does make it relatable, but i agree—AI probably needs its own new rating system entirely. 🤔
Это точно! IQ — устаревший инструмент для оценки ИИ 🤖 Интеллект многогранен — творчество, эмоции, адаптация куда важнее сухих цифр. Интересно, какие метрики придут на смену?
¿IQ para medir IA? 😅 Qué idea más anticuada. Sam Altman tiene razón en que es una métrica limitada. Los humanos tenemos inteligencias múltiples, ¿por qué reducirlo todo a un número? Me pregunto si no deberíamos desarrollar nuevas formas de evaluar capacidades como creatividad o empatía en sistemas de IA. ¡Eso sí sería revolucionario!
A visão de Sam Altman sobre o crescimento do IQ da IA é intrigante, mas me parece um pouco vaga. É legal pensar que a IA está ficando mais inteligente a cada ano, mas como medimos isso? Ainda assim, é um conceito divertido para refletir tomando um café. ☕ Talvez eles devessem desenvolver uma métrica mais concreta? 🤔
サム・アルトマンのAIのIQ成長に関する見解は興味深いですが、私には少し曖昧に感じます。AIが毎年賢くなると思うのはクールですが、それをどう測るのでしょうか?それでも、コーヒーを飲みながら考える楽しいコンセプトですね。☕もっと具体的な指標を開発すべきかもしれませんね?🤔

На недавнем пресс-мероприятии генеральный директор OpenAI Сэм Альтман поделился своими мыслями о быстром развитии "IQ" искусственного интеллекта. Он отметил: «Очень грубо говоря, мне кажется — это не научно точно, это просто ощущение или духовный ответ — каждый год мы продвигаемся на одно стандартное отклонение IQ». Альтман не единственный, кто использует IQ как мерило прогресса ИИ; известно, что влиятельные личности в социальных сетях также подвергают модели ИИ тестам на IQ и делятся результатами.
Однако многие эксперты утверждают, что использование IQ для оценки возможностей ИИ не только недостаточно, но и вводит в заблуждение. Сандра Вахтер, исследователь из Оксфорда, специализирующийся на технологиях и регулировании, рассказала TechCrunch: «Очень заманчиво использовать те же меры, что мы применяем к людям, для описания возможностей или прогресса, но это всё равно что сравнивать яблоки с апельсинами».
Во время пресс-конференции Альтман, похоже, приравнивал IQ к интеллекту. Однако тесты на IQ больше касаются относительных, а не абсолютных мер определённых типов интеллекта. Их обычно считают хорошими индикаторами логики и абстрактного мышления, но они не справляются, когда речь заходит о практическом интеллекте — том, который помогает разобраться, как заставить вещи работать. Кроме того, они дают лишь моментальный снимок способностей человека.
Вахтер отметила: «IQ — это инструмент для измерения человеческих способностей — и при этом спорный — основанный на том, что учёные считают человеческим интеллектом. Но вы не можете использовать ту же меру для описания возможностей ИИ. Машина быстрее человека, а подводная лодка лучше ныряет. Но это не значит, что машины или подводные лодки превосходят человеческий интеллект. Вы приравниваете один аспект производительности к человеческому интеллекту, который намного сложнее».
Происхождение тестов на IQ связано с евгеникой, дискредитированной теорией об улучшении людей путём селективного разведения. Чтобы хорошо справиться с этими тестами, нужна хорошая рабочая память и знакомство с западными культурными нормами, что может вносить предвзятость. Ос Кейс, докторант Университета Вашингтона, изучающий этичный ИИ, считает, что если модель ИИ хорошо справляется с тестом на IQ, это больше говорит о недостатках теста, чем о мастерстве модели. Кейс сказал: «Эти тесты довольно легко обойти, если у вас практически бесконечный объём памяти и терпения. Тесты на IQ — это крайне ограниченный способ измерения познания, сознания и интеллекта, что мы знали ещё до изобретения цифрового компьютера».
У ИИ может быть несправедливое преимущество в тестах на IQ, потому что модели обладают огромной памятью и знаниями на кончиках пальцев. Они часто обучаются на общедоступных веб-данных, которые включают множество вопросов из тестов на IQ. Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на ИИ, отметил: «Тесты, как правило, повторяют очень похожие шаблоны — довольно надёжный способ повысить свой IQ — это практиковаться в прохождении тестов на IQ, что, по сути, и делает каждая модель. Когда я что-то изучаю, это не поступает в мой мозг с идеальной чёткостью миллион раз, в отличие от ИИ, и я не могу обрабатывать это без шума или потери сигнала».
Кук также указал, что тесты на IQ, с их присущими предвзятостями, были разработаны для людей, чтобы оценивать общие навыки решения проблем. Они не подходят для ИИ, который решает задачи иначе. Он сказал: «Ворона может использовать инструмент, чтобы достать лакомство из коробки, но это не значит, что она может поступить в Гарвард. Когда я решаю математическую задачу, мой мозг также борется с тем, чтобы правильно прочитать слова на странице, не думать о покупках, которые мне нужно сделать по дороге домой, или о том, не слишком ли холодно в комнате сейчас. Другими словами, человеческий мозг сталкивается с гораздо большим количеством вещей, когда решает задачу — любую задачу, тесты на IQ или что-то ещё — и делает это с гораздо меньшей помощью, чем ИИ».
Хейди Хлааф, главный учёный по ИИ в Институте AI Now, рассказала TechCrunch, что нам нужны лучшие способы тестирования ИИ. Она сказала: «В истории вычислений мы не сравнивали вычислительные способности с человеческими именно потому, что природа вычислений означает, что системы всегда могли выполнять задачи, уже выходящие за пределы человеческих возможностей. Идея прямого сравнения производительности систем с человеческими способностями — это недавнее явление, которое вызывает много споров, и вокруг него разгорается полемика о постоянно расширяющихся — и меняющихся — эталонах, создаваемых для оценки систем ИИ».
Warner Music приобретает стартап в области атрибуции с использованием искусственного интеллекта Sureel AI
Warner Music Group (WMG) подтвердила в среду, что приобретает Sureel AI, стартап в области атрибуции с использованием искусственного интеллекта. Собственная технология Sureel создает «ИИ-ДНК» для музыкальных треков, разбивая их на составляющие элемен
Microsoft, Azure и технологии искусственного интеллекта борются с рисками лесных пожаров в Калифорнии
Компания Microsoft инвестирует в разработку систем обнаружения лесных пожаров на основе искусственного интеллекта; Хуан Лависта Феррес, старший вице-президент и главный специалист по данным, обсуждает
interesting perspective! always thought of AI as a super-fast learner, not something we could measure with something like IQ. sam’s analogy does make it relatable, but i agree—AI probably needs its own new rating system entirely. 🤔
Это точно! IQ — устаревший инструмент для оценки ИИ 🤖 Интеллект многогранен — творчество, эмоции, адаптация куда важнее сухих цифр. Интересно, какие метрики придут на смену?
¿IQ para medir IA? 😅 Qué idea más anticuada. Sam Altman tiene razón en que es una métrica limitada. Los humanos tenemos inteligencias múltiples, ¿por qué reducirlo todo a un número? Me pregunto si no deberíamos desarrollar nuevas formas de evaluar capacidades como creatividad o empatía en sistemas de IA. ¡Eso sí sería revolucionario!
A visão de Sam Altman sobre o crescimento do IQ da IA é intrigante, mas me parece um pouco vaga. É legal pensar que a IA está ficando mais inteligente a cada ano, mas como medimos isso? Ainda assim, é um conceito divertido para refletir tomando um café. ☕ Talvez eles devessem desenvolver uma métrica mais concreta? 🤔
サム・アルトマンのAIのIQ成長に関する見解は興味深いですが、私には少し曖昧に感じます。AIが毎年賢くなると思うのはクールですが、それをどう測るのでしょうか?それでも、コーヒーを飲みながら考える楽しいコンセプトですね。☕もっと具体的な指標を開発すべきかもしれませんね?🤔





Дом






