Google сокращает расходы на обучение искусственному интеллекту в 10 000 раз

В индустрии искусственного интеллекта существует фундаментальный парадокс. В то время как машины могут обрабатывать данные в беспрецедентных масштабах, сам процесс обучения остается удивительно неэффективным и часто сталкивается с проблемой убывающей отдачи. Традиционные методы машинного обучения требуют огромных, тщательно промаркированных наборов данных, на создание которых могут уходить годы и миллионы долларов. Эти методы, как правило, работают по принципу, что большее количество данных неизбежно приводит к созданию более совершенных моделей ИИ. Однако недавно исследователи Google представили новый подход, который ставит под сомнение это давнее предположение, демонстрируя, что сопоставимой производительности ИИ можно добиться, используя в 10 000 раз меньше обучающих данных. Это достижение способно кардинально изменить наш подход к ИИ. В этой статье мы расскажем о том, как команда Google достигла этого рубежа, о его потенциальных будущих последствиях, а также о проблемах и возможностях, которые ждут нас впереди.

Проблема больших данных в ИИ

На протяжении десятилетий стратегия развития ИИ в отрасли определялась мантрой "больше данных - лучше ИИ". Массивные языковые модели, такие как GPT-4, обучаются на триллионах лексем текста. Такой подход, требующий больших объемов данных, представляет собой серьезное препятствие для организаций, не располагающих огромными ресурсами или уникальными наборами данных. Во-первых, человеческая аннотация требует значительных затрат. Эксперты, занимающиеся маркировкой, получают высокую плату, а огромное количество необходимых данных делает проекты непомерно дорогими. Во-вторых, значительная часть собранных данных часто повторяется и не вносит значимого вклада в процесс обучения. Традиционный подход также дает сбои при изменении требований. При обновлении политик или появлении новых форм проблемного контента компании вынуждены начинать процесс маркировки с самого начала, что приводит к непрерывному и дорогостоящему циклу сбора данных и переобучения моделей.

Решение проблем больших данных с помощью активного обучения

Признанной стратегией решения этих проблем с данными является внедрение активного обучения. Эта методика основана на тщательном процессе кураторства, который выявляет наиболее ценные учебные примеры для человеческих рецензентов. Основная концепция заключается в том, что модели наиболее эффективно обучаются на примерах, которые они считают наиболее сложными, а не путем пассивного поглощения всех доступных точек данных. В отличие от традиционных методов ИИ, которые зависят от больших наборов данных, активное обучение занимает более тактическую позицию, концентрируясь на сборе только наиболее информативных образцов. Эта стратегия позволяет избежать неэффективности маркировки очевидных или избыточных данных, которые представляют минимальную ценность для модели. Вместо этого активное обучение сосредотачивается на крайних случаях и неопределенных экземплярах, которые обладают значительным потенциалом для повышения производительности модели.

Направляя усилия экспертов на эти критические примеры, активное обучение позволяет моделям быстрее и эффективнее обучаться при гораздо меньшем количестве точек данных. Эта методология способна решить проблему узкого места в данных и неэффективности, присущей обычному машинному обучению.

Подход Google к активному обучению

Исследовательская группа Google успешно применяет эту схему. Их новая методика активного обучения показывает, что тщательно подобранные высококачественные примеры могут эффективно заменить огромные объемы маркированных данных. Например, их исследования показывают, что модели, обученные на менее чем 500 примерах с экспертными метками, работают так же хорошо, как и системы, обученные на 100 000 стандартных меток, или даже превосходят их.

Этот процесс осуществляется с помощью системы, которую Google называет "LLM-как-разведчик". Большая языковая модель сначала просеивает огромное количество немаркированных данных, отмечая случаи, в которых ее предсказания наиболее неопределенны. Эти пограничные случаи представляют собой точные сценарии, в которых модель нуждается в человеческом участии для уточнения своих решений. Процедура начинается с первоначальной модели, которая маркирует большие наборы данных с помощью простых подсказок. Затем система группирует примеры по их предсказанным классификациям и выявляет области, в которых модель, по-видимому, путается между различными категориями. Эти перекрывающиеся кластеры выявляют именно те точки, где экспертное человеческое суждение может принести наибольшую пользу.

Методология специально нацелена на пары примеров, которые очень похожи, но имеют разные метки. Эти пограничные случаи - именно те сценарии, в которых человеческий опыт наиболее важен. Сосредоточив усилия экспертов по маркировке на этих запутанных примерах, система достигает необычайной эффективности.

Качество превыше количества

Исследование раскрывает важнейшую идею о качестве данных, которая опровергает широко распространенное мнение об искусственном интеллекте. Оно показывает, что экспертные метки, отличающиеся высокой точностью и последовательностью, надежно превосходят крупномасштабные аннотации, полученные с помощью краудсорсинга. Команда оценила это с помощью каппы Коэна - статистического показателя, который оценивает, насколько точно предсказания модели соответствуют консенсусу экспертов, а не тому, что может дать случайность. В тестах Google эксперты-аннотаторы достигали показателей Каппы Коэна выше 0,8, что значительно превосходит уровни, обычно достигаемые с помощью краудсорсинга.

Такая высокая согласованность позволяет моделям эффективно обучаться на гораздо меньшем количестве примеров. При оценке Gemini Nano-1 и Nano-2 модели достигли или превзошли экспертное согласование, используя всего 250-450 тщательно отобранных примеров, по сравнению с примерно 100 000 случайных меток, полученных с помощью краудсорсинга, что на три-четыре порядка меньше. Однако преимущества не ограничиваются лишь использованием меньшего количества данных. Модели, обученные с помощью этой техники, часто превосходят по производительности модели, обученные с помощью обычных методов. Для сложных задач и больших моделей прирост производительности достигал 55-65 % по сравнению с базовым уровнем, что свидетельствует о более сильном и надежном согласовании с политическими экспертами.

Почему этот прорыв важен сейчас

Эта разработка появилась в переломный момент для индустрии ИИ. По мере того как модели становятся все крупнее и сложнее, традиционная стратегия простого увеличения объема обучающих данных становится все более неустойчивой. Влияние обучения огромных моделей на окружающую среду продолжает расти, а экономические барьеры для многих организаций остаются непосильными.

Метод Google решает сразу несколько проблем отрасли. Радикальное снижение стоимости маркировки делает разработку ИИ более доступной для небольших организаций и исследовательских групп. Более быстрые циклы итераций позволяют быстро адаптироваться к меняющимся требованиям, что крайне важно в таких быстро меняющихся областях, как модерация контента и кибербезопасность.

Этот подход также имеет более широкие последствия для безопасности и надежности ИИ. Сосредоточившись на случаях, когда модели наиболее неопределенны, методика естественным образом выявляет потенциальные точки отказа и крайние случаи. Этот процесс приводит к созданию более надежных систем, которые лучше понимают свои собственные ограничения.

Более широкие последствия для развития ИИ

Этот прорыв говорит о том, что мы, возможно, вступаем в новую эру развития ИИ, когда эффективность превалирует над масштабом. Традиционная философия "чем больше, тем лучше" в отношении обучающих данных может быть вытеснена более тонкими методами, в которых особое внимание уделяется качеству данных и стратегическому отбору.

Одни только экологические последствия этого значительны. Обучение больших моделей ИИ в настоящее время требует огромных вычислительных ресурсов и энергии. Если аналогичные результаты можно будет получить при значительно меньшем объеме данных, то углеродный след разработки ИИ может быть существенно снижен.

Демократизирующий эффект может быть не менее значительным. Небольшие исследовательские группы и организации, которые раньше не могли финансировать масштабные инициативы по сбору данных, теперь могут получить реальный путь к созданию конкурентоспособных систем ИИ. Такой прогресс может ускорить развитие инноваций и привнести в сферу ИИ больше разнообразных точек зрения.

Ограничения и соображения

Несмотря на многообещающие результаты, методология сталкивается с несколькими практическими препятствиями. Необходимость в экспертах-аннотаторах, способных получить коэффициент Каппа Коэна выше 0,8, может ограничить ее использование в областях с ограниченным опытом или нечеткими стандартами. Исследования в основном касаются задач классификации и приложений для обеспечения безопасности контента. Пока неясно, удастся ли добиться таких же значительных улучшений в других задачах ИИ, таких как генерация языка или сложные рассуждения.

Итеративный характер активного обучения также повышает сложность по сравнению с традиционными методами пакетной обработки. Организациям приходится создавать новые рабочие процессы и инфраструктуру для поддержки циклов "запрос-ответ", которые способствуют непрерывному совершенствованию моделей.

В будущем, вероятно, будут изучены автоматизированные методы поддержания качества аннотаций на уровне экспертов и создания специфических для конкретной области версий основной методики. Интеграция принципов активного обучения с другими методами повышения эффективности, такими как эффективная тонкая настройка параметров, может дать дополнительные преимущества в производительности.

Итог

Исследование Google демонстрирует, что целевые высококачественные данные могут превзойти массивные наборы данных. Сконцентрировав усилия по маркировке только на самых ценных примерах, они сократили потребность в обучающих данных в 10 000 раз, одновременно повысив производительность. Эта стратегия позволяет снизить затраты, ускорить разработку, уменьшить воздействие на окружающую среду и расширить доступ к передовому ИИ. Она представляет собой важный шаг на пути к более эффективному и устойчивому развитию ИИ.