Разбираемся с распространенными терминами в области ИИ, о которых вы наверняка слышали

Искусственный интеллект меняет наш мир, и в процессе этого появляется совершенно новый словарный запас для описания его принципов работы. Потратьте всего несколько минут на чтение о ИИ, и вы столкнетесь с такими терминами, как LLM, RAG, RLHF и десятками других, которые могут заставить даже опытных технических специалистов почувствовать себя не в своей тарелке. Этот глоссарий — наша попытка разъяснить этот язык. Мы регулярно обновляем его по мере развития области, поэтому считайте его живым документом, во многом похожим на системы ИИ, которые он описывает.

AGI

Общий искусственный интеллект, или AGI, — это несколько расплывчатое понятие. В широком смысле оно относится к ИИ, который способен выполнять широкий спектр задач, если не большинство из них, лучше, чем средний человек. Генеральный директор OpenAI Сэм Альтман однажды описал AGI как «эквивалент среднестатистического человека, которого можно было бы нанять в качестве коллеги». Между тем, устав OpenAI определяет его как «высокоавтономные системы, которые превосходят людей в выполнении большинства экономически ценных видов работы». В Google DeepMind к этому подходят немного иначе, рассматривая AGI как «ИИ, который по крайней мере так же способен, как и люди, выполнять большинство когнитивных задач». Запутались? Не беспокойтесь — эксперты, стоящие на переднем крае исследований в области ИИ, часто тоже запутываются.

ИИ-агент

Агент ИИ — это инструмент, который использует ИИ для автономного выполнения последовательности задач от вашего имени. Он выходит за рамки возможностей базового чат-бота, выполняя такие действия, как оформление расходов, бронирование поездок или столиков в ресторанах, или даже написание и сопровождение кода. Однако, как мы уже отмечали, это развивающаяся область со множеством подвижных частей, поэтому термин «агент ИИ» может означать разные вещи для разных людей. Необходимая инфраструктура для полной реализации его предполагаемых возможностей все еще находится в стадии разработки. В своей основе концепция подразумевает автономную систему, которая может использовать несколько моделей ИИ для выполнения многоэтапных задач.

Конечные точки API

Представьте себе конечные точки API как «кнопки» на задней панели программного приложения, которые другие программы могут нажимать для запуска определенных действий. Разработчики используют эти интерфейсы для создания интеграций — например, позволяя одному приложению извлекать данные из другого или давая возможность агенту ИИ напрямую управлять сторонними сервисами без ручного вмешательства человека. Большинство устройств «умного дома» и подключенных платформ имеют эти скрытые кнопки, даже если обычные пользователи никогда их не видят и не взаимодействуют с ними. По мере того как агенты ИИ становятся все более совершенными, они все чаще способны самостоятельно обнаруживать и использовать эти конечные точки, открывая мощные — и порой удивительные — возможности для автоматизации.

Цепочка мыслей

На простой вопрос человеческий мозг часто может ответить без особых сознательных размышлений — например, на вопрос «Какое животное выше: жираф или кошка?». Но для решения более сложных задач вам, возможно, понадобятся ручка и бумага, чтобы проработать промежуточные шаги. Например, если у фермера есть куры и коровы, у которых в общей сложности 40 голов и 120 ног, вы, скорее всего, запишете простое уравнение, чтобы найти ответ (20 кур и 20 коров).

В ИИ логическое мышление для больших языковых моделей предполагает разбиение задачи на более мелкие промежуточные шаги для повышения точности конечного результата. Такой подход обычно требует больше времени для получения ответа, но результат с большей вероятностью будет правильным, особенно в контексте логики или программирования. Модели логического мышления разрабатываются на основе традиционных LLM и оптимизируются для такого пошагового мышления с помощью таких методов, как обучение с подкреплением.

(См.: Большая языковая модель)

Это более конкретное понятие, чем общий термин «ИИ-агент». Агент по кодированию — это специализированная программа, которая может самостоятельно выполнять пошаговые действия для достижения цели разработки программного обеспечения. Вместо того чтобы просто предлагать код для проверки и вставки человеком, агент по кодированию может самостоятельно писать, тестировать и отлаживать код, выполняя итеративную работу методом проб и ошибок, которая обычно занимает весь рабочий день разработчика. Эти агенты могут работать со всей кодовой базой, выявляя ошибки, запуская тесты и внедряя исправления с минимальным контролем со стороны человека. Представьте себе, что вы наняли невероятно быстрого стажера, который никогда не спит и не теряет концентрацию — хотя, как и в случае с любым стажером, человеку все равно придется проверять конечный результат.

Вычисления

Хотя этот термин может иметь несколько значений, «вычисления» обычно относятся к вычислительной мощности, необходимой для функционирования моделей ИИ. Эта вычислительная мощность питает индустрию ИИ, позволяя обучать и развертывать мощные модели. Этот термин часто используется в качестве сокращения для обозначения аппаратного обеспечения, которое обеспечивает эту мощность — таких компонентов, как графические процессоры (GPU), центральные процессоры (CPU), процессоры для обработки данных (TPU) и другой инфраструктуры, составляющей основу современной экосистемы ИИ.

Глубокое обучение

Подвид самосовершенствующегося машинного обучения, в котором алгоритмы ИИ построены на основе многослойной структуры искусственной нейронной сети (ANN). Это позволяет им выявлять более сложные закономерности и взаимосвязи, чем более простые системы машинного обучения, такие как линейные модели или деревья решений. Конструкция алгоритмов глубокого обучения вдохновлена взаимосвязанной сетью нейронов в человеческом мозге.

Модели глубокого обучения могут самостоятельно выявлять ключевые особенности в данных, не требуя от инженеров-людей предварительного определения этих характеристик. Эта структура также поддерживает алгоритмы, которые учатся на ошибках и, посредством повторения и корректировки, со временем улучшают свои результаты. Однако для достижения хороших результатов системы глубокого обучения требуют огромных объемов данных (миллионы точек и более). Кроме того, их обучение обычно занимает больше времени, чем у более простых алгоритмов машинного обучения, что приводит к более высоким затратам на разработку.

(См.: Нейронная сеть)

Диффузия

Диффузия — это основная технология, лежащая в основе многих моделей ИИ, которые генерируют искусство, музыку и текст. Вдохновленные физикой, системы диффузии постепенно «разрушают» структуру данных — таких как фотографии или песни — путем добавления шума, пока не останется ничего узнаваемого. В физике диффузия является спонтанным и необратимым процессом (сахар, растворенный в кофе, не может вернуться в форму кубика). Но системы диффузии ИИ стремятся научиться процессу «обратной диффузии», чтобы реконструировать исходные данные из шума, тем самым обретая способность генерировать новые данные с нуля.

Дистилляция

Дистилляция — это метод передачи знаний от большой модели ИИ («учителя») к меньшей («ученику»). Разработчики отправляют запросы модели-учителя и записывают ее вывод, иногда сравнивая его с набором данных для оценки точности. Затем эти выводы используются для обучения модели-ученика, чтобы она приблизилась к поведению учителя.

Дистилляция позволяет создать более компактную и эффективную модель на основе более крупной с минимальной потерей производительности. Вероятно, именно так OpenAI разработала GPT-4 Turbo — более быструю версию GPT-4.

Хотя все компании, занимающиеся ИИ, используют дистилляцию внутри компании, некоторые из них, возможно, также использовали ее, чтобы догнать лидирующие модели. Однако извлечение знаний из модели конкурента, как правило, нарушает условия предоставления услуг для ИИ-API и чат-помощников.

Тонкая настройка

Это относится к дополнительному обучению модели ИИ с целью оптимизации ее производительности для конкретной задачи или области, выходящей за рамки первоначальной направленности обучения. Обычно это делается путем подачи в модель новых специализированных данных, относящихся к целевой области.

Многие стартапы в области ИИ начинают с большой языковой модели в качестве основы для коммерческого продукта. Затем они стремятся повысить ее полезность для конкретного сектора или задачи путем тонкой настройки с использованием собственных знаний и опыта в конкретной области, дополняя предыдущие циклы обучения модели.

(См.: Крупная языковая модель [LLM])

GAN

Генеративная состязательная сеть (GAN) — это тип фреймворка машинного обучения, который способствовал значительным достижениям в области генеративного ИИ, в частности для создания реалистичных данных, включая инструменты для создания дипфейков. GAN включают две нейронные сети, работающие друг против друга: одна (генератор) создает выходные данные на основе своих обучающих данных, а другая (дискриминатор) оценивает эти выходные данные.

Эти две модели, по сути, запрограммированы на соревнование. Генератор пытается создавать результаты, достаточно убедительные, чтобы обмануть дискриминатор, в то время как дискриминатор стремится выявить искусственно сгенерированные данные. Этот состязательный процесс позволяет оптимизировать результаты ИИ, делая их более реалистичными без дополнительного вмешательства человека. GAN наиболее эффективны для узконаправленных задач, таких как генерация реалистичных фотографий или видео, а не для ИИ общего назначения.

Галлюцинация

Галлюцинация — это термин, используемый в индустрии ИИ для обозначения ситуации, когда модели генерируют неверную или вымышленную информацию. Это серьезная проблема для качества и надежности ИИ.

Галлюцинации могут приводить к вводящим в заблуждение результатам генеративного ИИ, сопряженным с потенциальными рисками в реальном мире — например, вредными медицинскими советами в ответ на запрос о здоровье.

Считается, что эта проблема выдумок ИИ проистекает из пробелов в обучающих данных. Распространенность галлюцинаций стимулирует тенденцию к созданию более специализированных, вертикальных моделей ИИ — систем для конкретных областей с более узкой экспертизой — как способа сократить пробелы в знаниях и минимизировать риск дезинформации.

Инференция

Вывод — это процесс запуска обученной модели ИИ для прогнозирования или вывода заключений на основе новых данных. Важно отметить, что вывод невозможен без предварительного обучения; модель должна сначала выучить закономерности из набора данных, прежде чем она сможет эффективно экстраполировать эти знания.

Выводы могут выполнять многие типы аппаратного обеспечения, от процессоров смартфонов до мощных графических процессоров и специализированных ускорителей ИИ. Однако не все аппаратное обеспечение обладает одинаковыми возможностями. Выполнение очень больших моделей на стандартном ноутбуке займет нереально много времени по сравнению с облачным сервером, оснащенным высокопроизводительными чипами ИИ.

[См.: Обучение]

Крупные языковые модели (LLM)

Крупные языковые модели (LLM) — это модели ИИ, лежащие в основе таких популярных помощников, как ChatGPT, Claude, Gemini от Google, Llama от Meta, Microsoft Copilot и Le Chat от Mistral. Когда вы взаимодействуете с ИИ-помощником, вы взаимодействуете с LLM, которая обрабатывает ваш запрос напрямую или с помощью различных инструментов, таких как веб-браузеры или интерпретаторы кода.

LLM — это глубокие нейронные сети, состоящие из миллиардов числовых параметров (или весов), которые изучают взаимосвязи между словами и фразами, создавая многомерное представление языка — своего рода лингвистическую карту.

Эти модели обучаются путем анализа шаблонов в миллиардах книг, статей и стенограмм. Когда вы даете команду LLM, он генерирует наиболее вероятный лингвистический шаблон, соответствующий вашему вводу.

(См.: Нейронная сеть)

Кэш памяти

Кэш памяти — это процесс, который улучшает вывод (генерацию ответов ИИ). По сути, кэширование — это метод оптимизации, призванный сделать вывод более эффективным. ИИ опирается на интенсивные математические вычисления, каждое из которых потребляет ресурсы. Кэширование сокращает количество вычислений, которые должна выполнять модель, путем сохранения определенных вычислений для повторного использования в будущих запросах. Существуют различные типы кэширования памяти, причем кэширование KV (ключ-значение) является хорошо известным примером для моделей на основе трансформеров. Кэширование KV повышает эффективность и ускоряет ответы за счет сокращения времени и вычислительных затрат, необходимых для генерации ответов.

(См.: Вывод)

Нейронная сеть

Нейронная сеть — это многослойная алгоритмическая структура, лежащая в основе глубокого обучения и, в более широком смысле, бума генеративного ИИ, последовавшего за ростом популярности крупных языковых моделей.

Хотя идея черпать вдохновение из взаимосвязанных нейронов человеческого мозга для алгоритмов обработки данных восходит к 1940-м годам, именно недавнее распространение графических процессоров (GPU) — стимулируемое индустрией видеоигр — по-настоящему раскрыло потенциал этой теории. Эти чипы оказались исключительно подходящими для обучения алгоритмов с гораздо большим количеством слоев, чем это было возможно ранее, что позволило системам ИИ на основе нейронных сетей достичь превосходной производительности в таких областях, как распознавание речи, автономная навигация и открытие лекарственных препаратов.

(См.: Большая языковая модель [LLM])

Открытый исходный код

Открытый исходный код относится к программному обеспечению — или, все чаще, к моделям ИИ — чей исходный код общедоступен для использования, проверки или модификации любым пользователем. В сфере ИИ ярким примером является семейство моделей Llama от Meta; в сфере операционных систем классическим историческим аналогом является Linux. Подход с открытым исходным кодом позволяет исследователям, разработчикам и компаниям по всему миру опираться на результаты работы друг друга, ускоряя прогресс и обеспечивая возможность проведения независимых аудитов безопасности, которые закрытые системы не могут легко обеспечить. Закрытый исходный код означает, что код является частным — вы можете использовать продукт, но не видеть, как он работает, как в случае с моделями GPT от OpenAI. Это различие стало центральной темой дискуссий в индустрии ИИ.

Параллелизация

Параллелизация означает выполнение множества операций одновременно, а не последовательно — как если бы десять сотрудников работали над разными частями проекта одновременно, вместо того чтобы один человек делал все шаг за шагом. В ИИ параллелизация имеет основополагающее значение как для обучения, так и для вывода. Современные графические процессоры (GPU) специально разработаны для выполнения тысяч вычислений параллельно, что является ключевой причиной того, что они стали аппаратной основой отрасли. По мере того как системы ИИ становятся все более сложными, а модели — все более объемными, способность параллелизировать работу на множестве чипов и машин стала критическим фактором, определяющим, насколько быстро и экономично можно создавать и развертывать модели. Исследование более эффективных стратегий параллелизации в настоящее время является самостоятельной областью изучения.

RAMageddon

RAMageddon — это шутливый новый термин, обозначающий серьезную тенденцию, охватившую технологическую отрасль: растущий дефицит чипов оперативной памяти (RAM), которые обеспечивают работу почти всех технологических продуктов, которыми мы пользуемся ежедневно. В связи с бурным ростом отрасли ИИ крупные технологические компании и лаборатории ИИ, соревнующиеся за создание самого мощного и эффективного ИИ, закупают для своих центров обработки данных такие огромные объемы оперативной памяти, что для других остается очень мало. Этот дефицит предложения приводит к росту цен на оставшиеся запасы.

Это влияет на такие отрасли, как игровая (где компании повысили цены на консоли из-за нехватки микросхем памяти), бытовая электроника (где дефицит может привести к самому значительному падению поставок смартфонов за последнее десятилетие) и общие корпоративные вычисления (поскольку компании с трудом находят достаточное количество RAM для своих центров обработки данных). Ожидается, что рост цен будет продолжаться до тех пор, пока дефицит не закончится, но, к сожалению, мало что указывает на то, что это произойдет в ближайшее время.

Обучение с подкреплением

Обучение с подкреплением — это метод обучения, при котором система ИИ учится методом проб и ошибок, получая вознаграждение за правильные действия — аналогично дрессировке домашнего животного с помощью лакомств, за исключением того, что «домашнее животное» — это нейронная сеть, а «лакомство» — математический сигнал, указывающий на успех. В отличие от обучения с учителем, при котором модель обучается на фиксированном наборе данных с помеченными примерами, обучение с подкреплением позволяет модели исследовать свое окружение, предпринимать действия и постоянно обновлять свое поведение на основе обратной связи. Этот подход оказался особенно эффективным для обучения ИИ игре в игры, управлению роботами и, в последнее время, для совершенствования способностей к рассуждению крупных языковых моделей. Такие методы, как обучение с подкреплением на основе обратной связи от человека (RLHF), в настоящее время занимают центральное место в том, как ведущие лаборатории ИИ настраивают свои модели, чтобы сделать их более полезными, точными и безопасными.

Токен

Взаимодействие человека и машины сопряжено с очевидными трудностями: люди используют человеческий язык, в то время как программы ИИ выполняют задачи с помощью сложных алгоритмических процессов, основанных на данных. Токены устраняют этот разрыв. Они являются фундаментальными строительными блоками взаимодействия человека и ИИ, представляя собой дискретные сегменты данных, обрабатываемые или генерируемые LLM. Они создаются посредством токенизации, которая разбивает исходный текст на понятные единицы, которые может понять языковая модель, аналогично тому, как компилятор переводит человеческий язык в двоичный код для компьютера. В корпоративном контексте токены также определяют стоимость — большинство компаний, занимающихся ИИ, взимают плату за использование LLM на основе количества токенов, то есть чем больше их использует компания, тем больше она платит.

Пропускная способность токенов

Опять же, токены — это небольшие фрагменты текста (часто части слов), на которые языковые модели ИИ разбивают язык для обработки; они примерно аналогичны «словам» для понимания рабочих нагрузок ИИ. Пропускная способность относится к тому, сколько можно обработать за определенное время, поэтому пропускная способность токенов по сути измеряет, какой объем работы ИИ система может обрабатывать одновременно. Высокая пропускная способность токенов является ключевой целью для команд, занимающихся инфраструктурой ИИ, поскольку она определяет, сколько пользователей модель может обслуживать одновременно и как быстро каждый из них получает ответ. Исследователь в области ИИ Андрей Карпати (Andrej Karpathy) описал свое беспокойство, когда его подписки на ИИ простаивают — что перекликается с его опасениями в аспирантуре по поводу недоиспользования дорогостоящего оборудования — и это чувство отражает, почему максимизация пропускной способности токенов стала навязчивой идеей в этой области.

Обучение

Разработка ИИ на основе машинного обучения включает в себя процесс, называемый обучением. Проще говоря, это ввод данных в модель, чтобы она могла изучать закономерности и генерировать полезные результаты. Это процесс, при котором система реагирует на характеристики данных, адаптируя свои результаты к желаемой цели — будь то распознавание изображений кошек или сочинение хайку по запросу.

Обучение может быть дорогостоящим, поскольку требует огромных объемов данных, а потребности в них продолжают расти. Именно поэтому гибридные подходы, такие как точная настройка ИИ на основе правил с использованием целевых данных, могут помочь управлять затратами, не начиная с нуля.

[См.: Вывод]

Переносное обучение

Техника, при которой предварительно обученная модель ИИ используется в качестве отправной точки для разработки новой модели для другой, но, как правило, связанной задачи. Это позволяет повторно применять знания, полученные в предыдущих циклах обучения.

Переносное обучение может повысить эффективность за счет сокращения времени разработки модели. Оно также полезно, когда данные для новой задачи ограничены. Однако у этого подхода есть ограничения. Модели, полагающиеся на переносное обучение для получения обобщенных возможностей, вероятно, потребуют дополнительного обучения на данных, специфичных для конкретной области, чтобы хорошо работать в своей целевой области.

(См.: Тонкая настройка)

Веса

Веса играют центральную роль в обучении ИИ, поскольку они определяют важность (или «вес»), присваиваемую различным признакам (или входным переменным) в обучающих данных, тем самым формируя выходные данные модели.

Другими словами, веса — это числовые параметры, которые определяют, что является наиболее значимым в наборе данных для данной задачи обучения. Они работают путем умножения входных данных. Обучение модели обычно начинается со случайно назначенных весов, которые корректируются по мере итераций модели для получения результатов, более точно соответствующих целевому значению.

Например, модель ИИ, обученная на исторических данных о недвижимости для прогнозирования цен на жилье, может иметь веса для таких характеристик, как количество спален и ванных комнат, тип недвижимости (отдельно стоящий дом или таунхаус), наличие парковки, гаража и т. д. Веса, которые модель присваивает каждому входному значению, отражают их влияние на стоимость недвижимости на основе набора данных.

Потеря валидации

Потеря валидации — это метрика, которая показывает, насколько хорошо модель ИИ обучается во время обучения — чем ниже число, тем лучше. Исследователи внимательно следят за ней как за отчетом в режиме реального времени, используя ее для принятия решений о том, когда прекратить обучение, скорректировать гиперпараметры или изучить потенциальные проблемы. Одной из ключевых проблем, которую она помогает выявить, является переобучение — состояние, при котором модель запоминает свои обучающие данные, а не обучается обобщаемым паттернам. Представьте себе разницу между студентом, который действительно понимает материал, и тем, кто просто запомнил прошлогодний экзамен — потеря при валидации помогает выявить, по какому пути движется ваша модель.

Эта статья регулярно обновляется новой информацией.