Что внутри LLM? AI2 Olmotrace будет «проследить» источник

Понимание связи между выводом большой языковой модели (LLM) и ее обучающими данными всегда было чем -то вроде загадки для Enterprise IT. На этой неделе Институт ИИ Аллена (AI2) выпустил новую захватывающую инициативу с открытым исходным кодом под названием Olmotrace, которая направлена ​​на демистификацию этих отношений. Позволяя пользователям отслеживать выходы LLM до своих первоначальных учебных данных, Olmotrace преодолевает одно из самых больших препятствий для принятия ИИ предприятия: отсутствие прозрачности в процессах принятия решений ИИ.

Olmo, которая означает модель открытого языка, является названием AI2 Family of LLMS с открытым исходным кодом. Вы можете попробовать Olmotrace с последней моделью OLMO 2 32B на игровой площадке AI2. Кроме того, код с открытым исходным кодом готовится к захвату GitHub, поэтому любой может использовать его свободно.

То, что отличает Olmotrace от других методов, таких как те, которые сосредоточены на оценках доверия или в поисках-аугментировании, так это то, что он дает четкое представление о том, как выходы модели связаны с обширными наборами учебных данных, которые их сформировали. Jiacheng Liu, исследователь AI2, сказал Venturebeat: «Наша цель - помочь пользователям понять, почему языковые модели генерируют ответы, которые они делают».

Как работает Olmotrace: больше, чем просто цитаты

В то время как LLM, такие как недоумение или поиск CHATGPT, могут предлагать исходные цитаты, они работают не так, как Olmotrace. По словам LIU, в этих моделях используется поколение поиска-аугментирования (RAG), которое направлено на повышение качества вывода модели за счет включения дополнительных источников за пределами учебных данных. С другой стороны, Olmotrace прослеживает вывод модели непосредственно обратно в учебный корпус, не полагаясь на тряпку или внешние документы.

Инструмент идентифицирует уникальные текстовые последовательности в выходах модели и соответствует их конкретным документам из учебных данных. При найдении совпадения Olmotrace не только выделяет соответствующий текст, но и предоставляет ссылки на исходный исходный материал. Это позволяет пользователям видеть, где и как модель изучила информацию, которую она использует.

Помимо оценки доверия: осязаемые доказательства принятия решений ИИ

LLMS обычно генерирует выходы на основе весов модели, которые используются для расчета доверительной оценки. Чем выше оценка, тем предположительно точна выход. Тем не менее, Лю считает, что эти оценки могут вводить в заблуждение. «Модели могут быть чрезмерно уверены в том, что они генерируют, и если вы попросите их сгенерировать счет, это обычно раздувается», - пояснил он. «Это то, что ученые называют ошибкой калибровки - уверенность в том, что вывод модели не всегда отражает, насколько точны их ответы».

Вместо того, чтобы полагаться на потенциально вводящие в заблуждение результаты, Olmotrace предлагает прямые доказательства источников обучения модели, что позволяет пользователям делать обоснованные суждения. «То, что делает Olmotrace, показывает вам совпадения между выходами моделей и учебными документами», - сказал Лю. «Через интерфейс вы можете непосредственно увидеть, где находятся точки сопоставления и как выходы модели совпадают с учебными документами».

Как Олмотрас сравнивается с другими подходами прозрачности

AI2 не единственная организация, работающая для лучшего понимания выходов LLM. Антропический также провел исследования, но их внимание уделялось внутренним операциям модели, а не на ее данных. Лю подчеркнул разницу: «Мы используем отличный подход от них. Мы напрямую входят в поведение модели, в их обучающие данные, в отличие от прослеживания вещей в модельные нейроны, внутренние схемы, таковы».

Этот подход делает Olmotrace более практичной для предприятий, поскольку он не требует глубоких знаний об архитектуре нейронной сети, чтобы понять результаты.

Приложения для ИИ предприятия: от соответствия нормативным требованиям до отладки моделей

Для предприятий, использующих ИИ в регулируемых секторах, таких как здравоохранение, финансы или юридические услуги, Olmotrace предлагает значительные преимущества по сравнению с традиционными системами черного ящика. «Мы думаем, что Olmotrace поможет предприятию и бизнес -пользователям лучше понять, что используется при обучении моделей, чтобы они могли быть более уверенными, когда они хотят построить их», - заявил Лю. «Это может помочь повысить прозрачность и доверие между ними их моделей, а также для клиентов их модельного поведения».

Технология обеспечивает несколько ключевых возможностей для команд Enterprise AI:

• Выход модели проверки фактов против исходных источников
• Понимание происхождения галлюцинаций
• Улучшение отладки моделей путем выявления проблемных закономерностей
• Улучшение нормативного соответствия посредством отслеживания данных
• Укрепление доверия с заинтересованными сторонами за счет повышения прозрачности

Команда AI2 уже использовала Olmotrace в пользу. «Мы уже используем его для улучшения наших учебных данных», - сообщил Лю. «Когда мы построили Olmo 2, и мы начали наше обучение через Olmotrace, мы обнаружили, что на самом деле некоторые данные после обучения были не хорошими».

Что это значит для принятия ИИ предприятия

Для предприятий, стремящихся быть в авангарде применения ИИ, Олмотрас отмечает значительный прогресс в отношении более подотчетных систем ИИ. Инструмент доступен по лицензии Apache 2.0 с открытым исходным кодом, что означает, что любая организация, имеющая доступ к данным обучения модели, может реализовать аналогичные возможности отслеживания.

«Olmotrace может работать над любой моделью, если у вас есть учебные данные модели», - отметил Лю. «Для полностью открытых моделей, где у каждого есть доступ к данным обучения модели, любой может настроить Olmotrace для этой модели и для проприетарных моделей, возможно, некоторые поставщики не хотят выпускать свои данные, они также могут выполнять эту Olmotrace внутри.».

По мере развития глобальных структур управления искусственным интеллектом, такие инструменты, как Olmotrace, которые обеспечивают проверку и проверку, вероятно, станут важными компонентами стеков AI Enterprise, особенно в регулируемых отраслях, где прозрачность все чаще требуется. Для тех, кто принимает технические решения, рассматривающие плюсы и минусы принятия ИИ, Olmotrace предоставляет практическое способ реализации более надежных и объяснимых систем ИИ без ущерба для мощности крупных языковых моделей.