Дом
Apple представляет систему искусственного интеллекта RubiCap для описания изображений на фоне опасений по поводу производительности
В области компьютерного зрения одной из основных задач уже давно является обеспечение способности ИИ наблюдать и описывать каждую деталь изображения с точностью, сравнимой с человеческой. Недавно компания Apple в сотрудничестве с Университетом Висконсин-Мэдисон официально представила новую платформу для обучения ИИ под названием RubiCap .
Эта платформа специально разработана для «плотного описания изображений» и направлена на то, чтобы дать ИИ возможность точно улавливать и формулировать мельчайшие детали — такие как «красное яблоко на деревянном столе» или «пешеход вдали» — вместо того, чтобы предлагать лишь общие описания.

Обучение с подкреплением, имеющее большое значение: Qwen2.5 выступает в роли «судьи»
Традиционное описание изображений часто зависит от дорогостоящего аннотирования людьми или от больших моделей, склонных к галлюцинациям, что приводит к нестабильному качеству данных. Исследовательская команда Apple решила эту проблему с помощью инновационного подхода на основе обучения с подкреплением. Система сначала использует GPT-4 и Gemini 1.5 Pro для генерации вариантов описаний. Затем Gemini 1.5 Pro уточняет критерии оценки, а модель Qwen2.5 выступает в роли рефери, предоставляя оценки и обратную связь.
Эта структурированная и точная обратная связь позволяет обучаемой модели четко выявлять и исправлять ошибки, достигая более высокой точности описания даже при меньшем количестве параметров.
Преимущество компактной модели: более низкий уровень галлюцинаций, превосходящий модели с триллионами параметров
Модели серии RubiCap (с количеством параметров от 2 до 7 миллиардов), обученные на этой платформе, продемонстрировали исключительную эффективность в ходе оценок. Экспериментальные данные показывают, что модель RubiCap с 7 миллиардами параметров достигла максимальных результатов в слепых тестах, при этом уровень ошибок галлюцинаций был ниже, чем у ведущей большой модели с 720 миллиардами параметров. Примечательно, что мини-версия с 3 миллиардами параметров даже превзошла свою 7-миллиардную версию по некоторым показателям.
Связанная статья
Meta хочет, чтобы ваше следующее устройство было оснащено Muse
Искусственный интеллект Meta Muse, который занимается бронированием путешествий, заполнением форм и покупками, получил широкое распространение, однако новая инициатива может особенно заинтересовать разработчиков и энтузиастов аппаратного обеспечения.
Wan-Streamer v0.2 обеспечивает сверхнизкую задержку ИИ-чата
По мере стремительного развития современных технологий взаимодействие человека с искусственным интеллектом становится всё более распространённым. Традиционные видеозвонки часто страдают от задержек, лагов и рассинхронизации аудио- и видеоданных. Wan-
Meta присоединяется к TSMC и Micron для оснащения новых серверов старой памятью
По мере ускорения внедрения искусственного интеллекта во всем мире наблюдается острый дефицит памяти следующего поколения DDR5. Чтобы избежать задержек в развертывании центров обработки данных для ИИ, Meta заключила партнерство с ведущими отраслевыми
Рекомендации по связанным специальным темам
Комментарии (0)
В области компьютерного зрения одной из основных задач уже давно является обеспечение способности ИИ наблюдать и описывать каждую деталь изображения с точностью, сравнимой с человеческой. Недавно компания Apple в сотрудничестве с Университетом Висконсин-Мэдисон официально представила новую платформу для обучения ИИ под названием
Эта платформа специально разработана для «плотного описания изображений» и направлена на то, чтобы дать ИИ возможность точно улавливать и формулировать мельчайшие детали — такие как «красное яблоко на деревянном столе» или «пешеход вдали» — вместо того, чтобы предлагать лишь общие описания.

Обучение с подкреплением, имеющее большое значение: Qwen2.5 выступает в роли «судьи»
Традиционное описание изображений часто зависит от дорогостоящего аннотирования людьми или от больших моделей, склонных к галлюцинациям, что приводит к нестабильному качеству данных. Исследовательская команда Apple решила эту проблему с помощью инновационного подхода на основе обучения с подкреплением. Система сначала использует GPT-4 и Gemini 1.5 Pro для генерации вариантов описаний. Затем Gemini 1.5 Pro уточняет критерии оценки, а модель Qwen2.5 выступает в роли рефери, предоставляя оценки и обратную связь.
Эта структурированная и точная обратная связь позволяет обучаемой модели четко выявлять и исправлять ошибки, достигая более высокой точности описания даже при меньшем количестве параметров.
Преимущество компактной модели: более низкий уровень галлюцинаций, превосходящий модели с триллионами параметров
Модели серии RubiCap (с количеством параметров от 2 до 7 миллиардов), обученные на этой платформе, продемонстрировали исключительную эффективность в ходе оценок. Экспериментальные данные показывают, что модель RubiCap с 7 миллиардами параметров достигла максимальных результатов в слепых тестах, при этом уровень ошибок галлюцинаций был ниже, чем у ведущей большой модели с 720 миллиардами параметров. Примечательно, что мини-версия с 3 миллиардами параметров даже превзошла свою 7-миллиардную версию по некоторым показателям.
Meta хочет, чтобы ваше следующее устройство было оснащено Muse
Искусственный интеллект Meta Muse, который занимается бронированием путешествий, заполнением форм и покупками, получил широкое распространение, однако новая инициатива может особенно заинтересовать разработчиков и энтузиастов аппаратного обеспечения.
Wan-Streamer v0.2 обеспечивает сверхнизкую задержку ИИ-чата
По мере стремительного развития современных технологий взаимодействие человека с искусственным интеллектом становится всё более распространённым. Традиционные видеозвонки часто страдают от задержек, лагов и рассинхронизации аудио- и видеоданных. Wan-
Meta присоединяется к TSMC и Micron для оснащения новых серверов старой памятью
По мере ускорения внедрения искусственного интеллекта во всем мире наблюдается острый дефицит памяти следующего поколения DDR5. Чтобы избежать задержек в развертывании центров обработки данных для ИИ, Meta заключила партнерство с ведущими отраслевыми











