DataGemma справляется с AI галлюцинаций с реальными данными

Большие языковые модели (LLMs) лежат в основе современных прорывов в области ИИ, способны просеивать огромные текстовые датасеты для создания кратких выводов, генерации креативных идей и даже написания кода. Однако, несмотря на их мощь, эти модели иногда предоставляют неверную информацию, проблему, которую мы называем "галлюцинацией". Это серьезное препятствие в мире генеративного ИИ.

Мы рады поделиться передовыми исследованиями, которые решают эту проблему напрямую, стремясь сократить галлюцинации, основывая LLMs на реальных статистических данных. И мы с восторгом представляем DataGemma, первые открытые модели, которые связывают LLMs с обширными данными реального мира из Data Commons от Google.

Data Commons: Сокровищница надежных данных

Data Commons — это как огромная, постоянно растущая библиотека общедоступных данных, содержащая более 240 миллиардов точек данных по всему, от здравоохранения до экономики. Она собирает эту информацию из надежных источников, таких как ООН, ВОЗ, CDC и Бюро переписей. Объединяя эти датасеты в единый мощный инструментарий и модели ИИ, Data Commons помогает политикам, исследователям и организациям получать точные инсайты, которые им нужны.

Представьте себе обширную базу данных, где вы можете задавать вопросы на простом английском, например, какие африканские страны показали наибольший рост доступа к электричеству или как доход связан с диабетом в округах США. Это и есть Data Commons.

Как Data Commons помогает бороться с галлюцинациями

Поскольку всё больше людей обращаются к генеративному ИИ, мы работаем над тем, чтобы сделать эти взаимодействия более обоснованными, интегрируя Data Commons в Gemma, наше семейство легковесных, высококлассных открытых моделей. Эти модели DataGemma теперь доступны для исследователей и разработчиков.

DataGemma расширяет возможности Gemma, используя знания Data Commons с помощью двух интересных методов для повышения точности и логичности LLMs:

1. RIG (Retrieval-Interleaved Generation) усиливает нашу модель Gemma 2, активно проверяя факты с помощью Data Commons. Когда вы задаёте DataGemma вопрос, она ищет статистические данные в Data Commons, чтобы дать вам надёжный ответ. Хотя RIG не новая идея, то, как мы используем её в DataGemma, довольно уникально.

   Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RIG использует Data Commons (DC) для авторитетных данных.

2. RAG (Retrieval-Augmented Generation) позволяет языковым моделям получать дополнительную информацию сверх того, на чём они были обучены, делая их ответы более богатыми и точными. С DataGemma мы используем длинное контекстное окно Gemini 1.5 Pro для получения релевантных данных из Data Commons перед тем, как модель начнёт формировать ответ, сокращая галлюцинации.

   Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RAG демонстрирует улучшенную логику и включение сносок.

Многообещающие результаты и что дальше

Наши ранние тесты с RIG и RAG выглядят многообещающе. Мы видим улучшение точности наших моделей при работе с числами, что означает меньше галлюцинаций для тех, кто использует эти модели для исследований, принятия решений или просто из любопытства. Вы можете ознакомиться с этими результатами в нашей исследовательской статье.