ИИ выросла за пределы человеческих знаний, говорит подразделение Google DeepMind

Добавление ИИ за пределы традиционных тестов: рост опыта обучения

Сфера искусственного интеллекта (ИИ) гудит с усилиями по продвижению генеративного ИИ за пределами традиционных критериев, таких как тест Тьюринга, который многие модели уже превзошли. В настоящее время основное внимание уделяется разработке ИИ, которое не предназначено только для того, чтобы провести эти тесты, а на развитие с помощью более динамичного процесса.

Исследователи в Google DeepMind, в том числе Legends, такие как Дэвид Сильвер и Ричард Саттон, утверждают в своей статье , добро пожаловать в эпоху опыта , что ключ к разблокировке новых возможностей ИИ заключается не в тестах, а в том, как обучается ИИ. Они предполагают, что используемые в настоящее время статические наборы данных слишком ограничены значительными достижениями.

Их решение? ИИ должен взаимодействовать с миром более опытным образом, учиться на взаимодействии и устанавливать цели на основе экологической обратной связи. «Невероятные новые возможности возникнут после того, как весь потенциал опыта обучения будет использоваться», - утверждают они. Сильвер, известный своей работой над Альфазеро, который превзошел людей в Шахматах и ​​Го, и Саттон, пионер в области подкрепления, предлагает новый подход, называемый «потоками», чтобы превзойти ограничения современных крупных языковых моделей (LLMS).

От обучения подкреплению до генеративного ИИ: сдвиг и его последствия

После успехов Alphazero и Alphago сообщество ИИ увидела сдвиг в сторону генеративных моделей искусственного интеллекта, таких как CHATGPT, которые в значительной степени отошли от обучения подкрепления. Хотя это позволило ИИ обрабатывать более широкий спектр спонтанных человеческих входов, это также означало потерять аспект самопознания, который усиливает обучение.

По словам Сильвер и Саттона, нынешние LLM в значительной степени полагаются на человеческое суждение на быстром этапе, что ограничивает их потенциал. «Агент не может обнаружить лучшие стратегии, недооцененные человеческим рейтиром», - объясняют они. Более того, короткий, обрезанный характер быстрых взаимодействий не позволяет ИИ развиваться за пределами простых обменов вопросам и ответами.

Представление потоков: новая парадигма для обучения ИИ

Предлагаемый «возраст опыта» включает в себя агенты ИИ, работающие в «потоках» непрерывного взаимодействия, так же, как люди учатся на всю жизнь. Сильвер и Саттон представляют агентов ИИ со своими собственными долгосрочными потоками опыта, что позволяет им преследовать цели за пределами немедленных задач.

Этот подход основан на обучении подкреплению, где агенты искусственного интеллекта взаимодействуют с моделью мира, получая обратную связь в виде вознаграждений. Эти награды помогают ИИ узнать, какие действия ценны в разных контекстах. Исследователи отмечают, что мир богат сигналами, которые могут служить наградами, от экономических показателей до показателей здоровья.

Создание агентов ИИ с долгосрочными целями

Чтобы начать этот процесс, разработчики ИИ могут использовать моделирование «мировой модели», позволяя ИИ делать прогнозы, проверить их в реальности и усовершенствовать свою модель на основе результатов. Поскольку ИИ продолжает взаимодействовать с миром, его понимание развивается, адаптируясь к новым данным и исправляя ошибки.

Люди по -прежнему будут играть роль в постановке широких целей, таких как улучшение физической подготовки или изучение нового языка, при этом функция вознаграждения искусственного интеллекта соответствует этим целям. Эта установка может привести к тому, что помощники искусственного интеллекта, которые отслеживают и консультируют здравоохранение или образование в течение длительных периодов или даже достигать амбициозных научных целей, таких как обнаружение новых материалов или сокращение выбросов углерода.

Будущее ИИ: помимо рассуждений на опытное обучение

Исследователи считают, что агенты искусственного интеллекта, способные к долгосрочному опытному обучению, могут превзойти текущие «рассуждения», такие как модели ИИ, такие как Gemini и Deepseek R1. Они утверждают, что модели рассуждений часто имитируют человеческую мысль, которая может быть ограничена устаревшими предположениями. Напротив, экспериментальные агенты могут разблокировать беспрецедентные возможности, что приводит к будущему, сильно отличающемуся от того, что мы видели.

Тем не менее, этот сдвиг также вызывает риски, такие как смещение работы и задача управления агентами ИИ, которые могут работать автономно в течение длительных периодов. С другой стороны, адаптируемый ИИ может научиться смягчить негативное воздействие на людей, настраивая его поведение на основе обратной связи.

Серебро и Саттон уверены, что экспериментальные данные намного превзойдут масштаб и качество полученных человеком данных, что может привести к искусственному общему интеллекту или супер-интеллектуальности. Этот сдвиг парадигмы в сочетании с успехами в обучении подкреплению может разблокировать новые возможности за пределами человеческого охвата во многих областях.

Сильвер также обсудил эти идеи в недавнем подкасте DeepMind, подчеркивая потенциал и проблемы перемещения ИИ в эпоху опыта.