Новый тест AGI оказывается сложным, пензирует большинство моделей искусственного интеллекта

# agi

Фонд ARC Prize, соучрединный известным исследователем ИИ Франсуа Чолле, недавно обнародовал новый эталон под названием ARC-AGI-2 в блоге. Этот тест направлен на то, чтобы раздвинуть границы общего интеллекта ИИ, и до сих пор он оказывается жестким орехом для разрыва для большинства моделей ИИ.

Согласно The Arc Prize Soble, даже продвинутые «рассуждения», такие как Operai's O1-Pro и Deepseek R1, имеют только 1% до 1,3%. Между тем, мощные модели, не связанные с резом, такие как GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Flash, колеблются вокруг отметки 1%.

Тесты ARC-AGI бросают вызов системам искусственного интеллекта с проблемами, похожими на головоломку, требуя от них идентификации визуальных закономерностей в сетках сетей разных цветов и генерировать правильную сетку «Ответ». Эти проблемы предназначены для проверки способности ИИ адаптироваться к новым, невидимым проблемам.

Чтобы установить базовую линию человека, в Фонде ARC приз за 400 человек сдают тест Arc-Agi-2. В среднем эти «панели» людей достигли 60% успеха, значительно превосходя модели ИИ.

Франсуа Чоллет взял на себя X, чтобы утверждать, что Arc-Agi-2 является более точной мерой истинного интеллекта модели AI по сравнению с его предшественником Arc-Agi-1. Тесты фонда Arc Prize предназначены для оценки того, может ли ИИ эффективно изучать новые навыки, помимо данных обучения.

Чолле подчеркнул, что Arc-Agi-2 не позволяет моделям ИИ полагаться на вычислительную мощность «грубой силы» для решения проблем, который он признал в первом тесте. Чтобы решить эту проблему, Arc-Agi-2 представляет показатель эффективности и требует, чтобы модели интерпретировали закономерности на лету, а не полагаться на запоминание.

В сообщении в блоге соучредитель ARC Prize Грег Камрадт подчеркнул, что интеллект не просто решает проблемы или достижение высоких результатов. «Эффективность, с которой эти возможности приобретаются и развернуты, является важным, определяющим компонентом», - написал он. «Основной вопрос, который задается не просто:« Может ли ИИ приобрести [] навык для решения задачи? » Но также: «При какой эффективности или стоимости?»

Arc-Agi-1 оставался непобедимым в течение пяти лет до декабря 2024 года, когда усовершенствованная модель рассуждений Openai, O3, превзошла все остальные модели искусственного интеллекта и соответствовала человеческому исполнению. Тем не менее, успех O3 на Arc-Agi-1 составил значительную стоимость. Версия Openai's O3 Model, O3 (LOW), которая набрала впечатляющие 75,7% на ARC-AGI-1, управляла только 1% на ARC-AGI-2, используя вычислительную мощность на 200 долларов на задачу.

Внедрение Arc-Agi-2 происходит в то время, когда многие в технологической индустрии призывают к новым ненасыщенным критериям для измерения прогресса ИИ. Томас Вольф, соучредитель Hugginging Face, недавно сказал TechCrunch, что в индустрии искусственного интеллекта не хватает достаточных тестов для измерения ключевых признаков искусственного общего интеллекта, таких как творчество.

Наряду с новым эталоном, фонд ARC Prize объявил о конкурсе ARC Prize 2025, вызывая разработчиков достичь 85% точности на тесте ARC-AGI-2, тратя только 0,42 долл. США на задачу.

Связанная статья

Комментарии (35)