DataGemma справляется с AI галлюцинаций с реальными данными

Большие языковые модели (LLMs) лежат в основе современных прорывов в области ИИ, способны просеивать огромные текстовые датасеты для создания кратких выводов, генерации креативных идей и даже написания кода. Однако, несмотря на их мощь, эти модели иногда предоставляют неверную информацию, проблему, которую мы называем "галлюцинацией". Это серьезное препятствие в мире генеративного ИИ.
Мы рады поделиться передовыми исследованиями, которые решают эту проблему напрямую, стремясь сократить галлюцинации, основывая LLMs на реальных статистических данных. И мы с восторгом представляем DataGemma, первые открытые модели, которые связывают LLMs с обширными данными реального мира из Data Commons от Google.
Data Commons: Сокровищница надежных данных
Data Commons — это как огромная, постоянно растущая библиотека общедоступных данных, содержащая более 240 миллиардов точек данных по всему, от здравоохранения до экономики. Она собирает эту информацию из надежных источников, таких как ООН, ВОЗ, CDC и Бюро переписей. Объединяя эти датасеты в единый мощный инструментарий и модели ИИ, Data Commons помогает политикам, исследователям и организациям получать точные инсайты, которые им нужны.
Представьте себе обширную базу данных, где вы можете задавать вопросы на простом английском, например, какие африканские страны показали наибольший рост доступа к электричеству или как доход связан с диабетом в округах США. Это и есть Data Commons.
Как Data Commons помогает бороться с галлюцинациями
Поскольку всё больше людей обращаются к генеративному ИИ, мы работаем над тем, чтобы сделать эти взаимодействия более обоснованными, интегрируя Data Commons в Gemma, наше семейство легковесных, высококлассных открытых моделей. Эти модели DataGemma теперь доступны для исследователей и разработчиков.
DataGemma расширяет возможности Gemma, используя знания Data Commons с помощью двух интересных методов для повышения точности и логичности LLMs:
RIG (Retrieval-Interleaved Generation) усиливает нашу модель Gemma 2, активно проверяя факты с помощью Data Commons. Когда вы задаёте DataGemma вопрос, она ищет статистические данные в Data Commons, чтобы дать вам надёжный ответ. Хотя RIG не новая идея, то, как мы используем её в DataGemma, довольно уникально.
Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RIG использует Data Commons (DC) для авторитетных данных.
RAG (Retrieval-Augmented Generation) позволяет языковым моделям получать дополнительную информацию сверх того, на чём они были обучены, делая их ответы более богатыми и точными. С DataGemma мы используем длинное контекстное окно Gemini 1.5 Pro для получения релевантных данных из Data Commons перед тем, как модель начнёт формировать ответ, сокращая галлюцинации.
Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RAG демонстрирует улучшенную логику и включение сносок.
Многообещающие результаты и что дальше
Наши ранние тесты с RIG и RAG выглядят многообещающе. Мы видим улучшение точности наших моделей при работе с числами, что означает меньше галлюцинаций для тех, кто использует эти модели для исследований, принятия решений или просто из любопытства. Вы можете ознакомиться с этими результатами в нашей исследовательской статье.
Иллюстрация запроса и ответа RAG. Поддерживающие достоверные статистические данные представлены в виде таблиц из Data Commons. *Частичный ответ показан для краткости.
Мы не останавливаемся на этом. Мы полностью сосредоточены на совершенствовании этих методов, масштабировании наших усилий и проведении дополнительных тестов. В конечном итоге мы внедрим эти улучшения в модели Gemma и Gemini, начиная с фазы ограниченного доступа.
Делясь нашими исследованиями и делая эту новую вариацию модели Gemma открытой, мы надеемся широко распространить использование техник, основанных на Data Commons. Повышение надёжности и достоверности LLMs критически важно для превращения их в незаменимые инструменты для всех, помогая строить будущее, где ИИ предоставляет точную информацию, поддерживает осознанные решения и углубляет наше понимание мира.
Исследователи и разработчики могут сразу начать работу с DataGemma, используя наши ноутбуки быстрого старта для RIG и RAG. Чтобы глубже изучить, как Data Commons и Gemma работают вместе, ознакомьтесь с нашим исследовательским постом.
Связанная статья
WordPress.com теперь позволяет ИИ-ботам создавать и публиковать посты, а также выполнять другие задачи
WordPress.com, популярная платформа для веб-хостинга и публикации контента, теперь внедряет ИИ-агентов — шаг, который может кардинально изменить облик и функциональность Интернета. В пятницу компания
Kakao Mobility представляет план развития автономного вождения 4-го уровня с использованием физического ИИ
Компания Kakao Mobility планирует самостоятельно разрабатывать технологии автономного вождения 4-го уровня в рамках своей стратегии «физического ИИ».На конференции World IT Show 2026, прошедшей в сеу
Барри Диллер: доверие к Сэму Альтману теряет значение по мере приближения эры общей искусственной интеллигенции
Миллиардер и медиа-магнат Барри Диллер не считает генерального директора OpenAI Сэма Альтмана недостойным доверия, несмотря на недавние сообщения, свидетельствующие об обратном. Выступая на этой недел
Рекомендации по связанным специальным темам
Комментарии (42)
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!

Большие языковые модели (LLMs) лежат в основе современных прорывов в области ИИ, способны просеивать огромные текстовые датасеты для создания кратких выводов, генерации креативных идей и даже написания кода. Однако, несмотря на их мощь, эти модели иногда предоставляют неверную информацию, проблему, которую мы называем "галлюцинацией". Это серьезное препятствие в мире генеративного ИИ.
Мы рады поделиться передовыми исследованиями, которые решают эту проблему напрямую, стремясь сократить галлюцинации, основывая LLMs на реальных статистических данных. И мы с восторгом представляем DataGemma, первые открытые модели, которые связывают LLMs с обширными данными реального мира из Data Commons от Google.
Data Commons: Сокровищница надежных данных
Data Commons — это как огромная, постоянно растущая библиотека общедоступных данных, содержащая более 240 миллиардов точек данных по всему, от здравоохранения до экономики. Она собирает эту информацию из надежных источников, таких как ООН, ВОЗ, CDC и Бюро переписей. Объединяя эти датасеты в единый мощный инструментарий и модели ИИ, Data Commons помогает политикам, исследователям и организациям получать точные инсайты, которые им нужны.
Представьте себе обширную базу данных, где вы можете задавать вопросы на простом английском, например, какие африканские страны показали наибольший рост доступа к электричеству или как доход связан с диабетом в округах США. Это и есть Data Commons.
Как Data Commons помогает бороться с галлюцинациями
Поскольку всё больше людей обращаются к генеративному ИИ, мы работаем над тем, чтобы сделать эти взаимодействия более обоснованными, интегрируя Data Commons в Gemma, наше семейство легковесных, высококлассных открытых моделей. Эти модели DataGemma теперь доступны для исследователей и разработчиков.
DataGemma расширяет возможности Gemma, используя знания Data Commons с помощью двух интересных методов для повышения точности и логичности LLMs:
RIG (Retrieval-Interleaved Generation) усиливает нашу модель Gemma 2, активно проверяя факты с помощью Data Commons. Когда вы задаёте DataGemma вопрос, она ищет статистические данные в Data Commons, чтобы дать вам надёжный ответ. Хотя RIG не новая идея, то, как мы используем её в DataGemma, довольно уникально.
Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RIG использует Data Commons (DC) для авторитетных данных. RAG (Retrieval-Augmented Generation) позволяет языковым моделям получать дополнительную информацию сверх того, на чём они были обучены, делая их ответы более богатыми и точными. С DataGemma мы используем длинное контекстное окно Gemini 1.5 Pro для получения релевантных данных из Data Commons перед тем, как модель начнёт формировать ответ, сокращая галлюцинации.
Пример запроса: ''Увеличилось ли использование возобновляемых источников энергии в мире?'' применение методологии DataGemma RAG демонстрирует улучшенную логику и включение сносок.
Многообещающие результаты и что дальше
Наши ранние тесты с RIG и RAG выглядят многообещающе. Мы видим улучшение точности наших моделей при работе с числами, что означает меньше галлюцинаций для тех, кто использует эти модели для исследований, принятия решений или просто из любопытства. Вы можете ознакомиться с этими результатами в нашей исследовательской статье.
Делясь нашими исследованиями и делая эту новую вариацию модели Gemma открытой, мы надеемся широко распространить использование техник, основанных на Data Commons. Повышение надёжности и достоверности LLMs критически важно для превращения их в незаменимые инструменты для всех, помогая строить будущее, где ИИ предоставляет точную информацию, поддерживает осознанные решения и углубляет наше понимание мира.
Исследователи и разработчики могут сразу начать работу с DataGemma, используя наши ноутбуки быстрого старта для RIG и RAG. Чтобы глубже изучить, как Data Commons и Gemma работают вместе, ознакомьтесь с нашим исследовательским постом.
WordPress.com теперь позволяет ИИ-ботам создавать и публиковать посты, а также выполнять другие задачи
WordPress.com, популярная платформа для веб-хостинга и публикации контента, теперь внедряет ИИ-агентов — шаг, который может кардинально изменить облик и функциональность Интернета. В пятницу компания
Барри Диллер: доверие к Сэму Альтману теряет значение по мере приближения эры общей искусственной интеллигенции
Миллиардер и медиа-магнат Барри Диллер не считает генерального директора OpenAI Сэма Альтмана недостойным доверия, несмотря на недавние сообщения, свидетельствующие об обратном. Выступая на этой недел
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!





Дом






