Новости
Meta защищает релиз Llama 4, цитирует ошибки в качестве причины отчетов о смешанных качествах
Meta защищает релиз Llama 4, цитирует ошибки в качестве причины отчетов о смешанных качествах
22 апреля 2025 г.
BillyAdams
29
На выходных Meta, Powerhouse, стоящая за Facebook, Instagram, WhatsApp и Quest VR, удивили всех, обнародовав свою последнюю модель языка искусственного интеллекта, Llama 4. Не только одна, но три новых версии были введены, каждая из них обладает улучшенными возможностями благодаря архитектуре «смеси экспертов» и новым подходом к тренировке, называемым фиксированными гиперпаметорами. Более того, все три модели поставляются с обширными контекстными окнами, что позволяет им обрабатывать больше информации в одном взаимодействии.
Несмотря на волнение релиза, реакция сообщества ИИ была в лучшем случае теплой. В субботу Meta сделала две из этих моделей, Llama 4 Scout и Llama 4 Maverick, доступные для загрузки и использования, но ответ был далек от энтузиазма.
Llama 4 Sparks путаница и критика среди пользователей искусственного интеллекта
Неоверный пост на форуме 1Point3Acres, популярном китайском языковом сообществе в Северной Америке, нашла путь к R/Localllama Subreddit на Reddit. Пост, предположительно от исследователя в организации Meta Genai, утверждал, что Llama 4 недооценен на внутренних сторонних показателях. Он предположил, что руководство Meta манипулировало результатами, смешивая испытательные наборы во время после тренировки, чтобы соответствовать различным показателям и представить благоприятный результат. Подлинность этого требования была встречена скептицизмом, и Meta еще не ответила на запросы от VentureBeat.
Тем не менее, сомнения в результате выступления Llama 4 не остановились на этом. На x пользователь @cto_junior выразил неверие в производительности модели, сославшись на независимый тест, где Llama 4 Maverick набрал всего 16% на эталоне Polyglot, который проверяет задачи кодирования. Этот показатель значительно ниже, чем у старых моделей аналогичного размера, таких как Deepseek V3 и Claude 3.7 Sonnet.
Доктор философии ИИ и автор Андрий Бурков также взял на себя X, чтобы подвергнуть сомнению окно модели 10 миллионов ток-контекстов для Llama 4 Scout, заявив, что она «виртуальная», потому что модель не была обучена подсказкам длиннее 256 тыс. Токенов. Он предупредил, что отправка более длинных подсказок, вероятно, приведет к низкокачественным результатам.
В Subreddit R/Localllama пользователь DR_karminski обменивал разочарование с Llama 4, сравнив свою плохую производительность с неэризованной моделью V3 Deepseek по таким задачам, как моделирование движений мяча в гепхагоне.
Натан Ламберт, бывший исследователь мета -исследователя и нынешний старший научный сотрудник в AI2, раскритиковал сравнения Meta в своем блоге Interconnects Supack. Он отметил, что модель Llama 4 Maverick, используемая в рекламных материалах Meta, отличалась от одной публичной, оптимизированной вместо этого для разговорности. Ламберт отметил несоответствие, сказав: «Подлый. Результаты ниже являются фальшивыми, и сообщество Meta является небольшим, чтобы не выпустить модель, которую они использовали для создания своего основного маркетингового толчка». Он добавил, что, хотя рекламная модель «тантировала техническую репутацию релиза, потому что ее персонаж - ювенильная,« фактическая модель, доступная на других платформах, была «довольно умной и имеет разумный тон».
Мета отвечает, отрицая «обучение на тестовых наборах» и ссылаясь на ошибки в реализации из -за быстрого развертывания
В ответ на критику и обвинения, вице-президент Meta и глава Genai Ахмад аль-Дале отправился в X для решения проблем. Он выразил энтузиазм по поводу взаимодействия сообщества с Llama 4, но признал сообщения о непоследовательном качестве в разных услугах. Он объяснил эти проблемы с быстрым развертыванием и временем, необходимым для стабилизации общественных реализаций. Аль-Дал твердо отрицал обвинения в обучении по тестовым наборам, подчеркнув, что качество переменной была вызвана ошибками реализации, а не каким-либо проступком. Он подтвердил веру Meta в значительные достижения моделей Llama 4 и их приверженность сотрудничеству с сообществом для реализации их потенциала.
Тем не менее, ответ мало что сделал для подавления разочарований сообщества, и многие все еще сообщали о плохой производительности и требуют большей технической документации о процессах обучения моделей. Этот релиз столкнулся с большим количеством проблем, чем предыдущие версии LLAMA, поднимая вопросы о его развитии и развертывании.
Время этого релиза примечательно, так как оно следует за отъездом Джоэл -Пино, вице -президента Meta's Vp Research, которая объявила о своем выходе на LinkedIn на прошлой неделе с благодарностью за свое время в компании. Pineau также продвигал семейство Model Llama 4 на выходных.
Поскольку Llama 4 продолжает быть принята другими поставщиками выводов с смешанными результатами, ясно, что первоначальный выпуск не был успешным, на что Meta, возможно, надеялась. Предстоящий Meta Llamacon 29 апреля, который станет первым собранием для сторонних разработчиков модельного семейства, вероятно, станет очагом дискуссий и дебатов. Мы будем внимательно следить за событиями, так что следите за обновлениями.
Связанная статья
Gaia führt einen neuen Benchmark in der Suche nach wahrer Intelligenz jenseits von Arc-Agi ein
Intelligenz ist überall, aber das Messen Sie es genau so, als würde man versuchen, eine Wolke mit bloßen Händen zu fangen. Wir verwenden Tests und Benchmarks wie College -Aufnahmeprüfungen, um eine grobe Idee zu bekommen. Jedes Jahr drehen die Schüler für diese Tests und erzielen manchmal sogar eine perfekte 100%. Aber macht diese perfekte Punktzahl m
Das KI -Startup sichert 7,5 Millionen US
1Fort, ein in New York ansässiger Startup, hat eine Saatgut-Finanzierungsrunde in Höhe von 7,5 Millionen US-Dollar gesichert, um zu revolutionieren, wie kleine Unternehmen eine kommerzielle Versicherung durch seine KI-gesteuerte Plattform abschließen. Mit einem erstaunlichen Umsatzwachstum von 200% monatlich im Monat im Jahr 2024 soll 1Fort die veralteten manuellen Prozesse überarbeiten
Rechtsprofessoren unterstützen Autoren im KI -Urheberrecht gegen Meta.
Eine Gruppe von Copyright-Rechtsprofessoren hat ihre Unterstützung hinter Autoren verklagt, die Meta verklagen, und behauptet, der Tech-Riese habe seine LLAMA-AI-Modelle auf E-Books ohne Zustimmung der Autoren ausgebildet. Die Professoren haben am Freitag einen Amicus -Brief eingereicht
Комментарии (0)
22 апреля 2025 г.
BillyAdams
29
На выходных Meta, Powerhouse, стоящая за Facebook, Instagram, WhatsApp и Quest VR, удивили всех, обнародовав свою последнюю модель языка искусственного интеллекта, Llama 4. Не только одна, но три новых версии были введены, каждая из них обладает улучшенными возможностями благодаря архитектуре «смеси экспертов» и новым подходом к тренировке, называемым фиксированными гиперпаметорами. Более того, все три модели поставляются с обширными контекстными окнами, что позволяет им обрабатывать больше информации в одном взаимодействии.
Несмотря на волнение релиза, реакция сообщества ИИ была в лучшем случае теплой. В субботу Meta сделала две из этих моделей, Llama 4 Scout и Llama 4 Maverick, доступные для загрузки и использования, но ответ был далек от энтузиазма.
Llama 4 Sparks путаница и критика среди пользователей искусственного интеллекта
Неоверный пост на форуме 1Point3Acres, популярном китайском языковом сообществе в Северной Америке, нашла путь к R/Localllama Subreddit на Reddit. Пост, предположительно от исследователя в организации Meta Genai, утверждал, что Llama 4 недооценен на внутренних сторонних показателях. Он предположил, что руководство Meta манипулировало результатами, смешивая испытательные наборы во время после тренировки, чтобы соответствовать различным показателям и представить благоприятный результат. Подлинность этого требования была встречена скептицизмом, и Meta еще не ответила на запросы от VentureBeat.
Тем не менее, сомнения в результате выступления Llama 4 не остановились на этом. На x пользователь @cto_junior выразил неверие в производительности модели, сославшись на независимый тест, где Llama 4 Maverick набрал всего 16% на эталоне Polyglot, который проверяет задачи кодирования. Этот показатель значительно ниже, чем у старых моделей аналогичного размера, таких как Deepseek V3 и Claude 3.7 Sonnet.
Доктор философии ИИ и автор Андрий Бурков также взял на себя X, чтобы подвергнуть сомнению окно модели 10 миллионов ток-контекстов для Llama 4 Scout, заявив, что она «виртуальная», потому что модель не была обучена подсказкам длиннее 256 тыс. Токенов. Он предупредил, что отправка более длинных подсказок, вероятно, приведет к низкокачественным результатам.
В Subreddit R/Localllama пользователь DR_karminski обменивал разочарование с Llama 4, сравнив свою плохую производительность с неэризованной моделью V3 Deepseek по таким задачам, как моделирование движений мяча в гепхагоне.
Натан Ламберт, бывший исследователь мета -исследователя и нынешний старший научный сотрудник в AI2, раскритиковал сравнения Meta в своем блоге Interconnects Supack. Он отметил, что модель Llama 4 Maverick, используемая в рекламных материалах Meta, отличалась от одной публичной, оптимизированной вместо этого для разговорности. Ламберт отметил несоответствие, сказав: «Подлый. Результаты ниже являются фальшивыми, и сообщество Meta является небольшим, чтобы не выпустить модель, которую они использовали для создания своего основного маркетингового толчка». Он добавил, что, хотя рекламная модель «тантировала техническую репутацию релиза, потому что ее персонаж - ювенильная,« фактическая модель, доступная на других платформах, была «довольно умной и имеет разумный тон».
Мета отвечает, отрицая «обучение на тестовых наборах» и ссылаясь на ошибки в реализации из -за быстрого развертывания
В ответ на критику и обвинения, вице-президент Meta и глава Genai Ахмад аль-Дале отправился в X для решения проблем. Он выразил энтузиазм по поводу взаимодействия сообщества с Llama 4, но признал сообщения о непоследовательном качестве в разных услугах. Он объяснил эти проблемы с быстрым развертыванием и временем, необходимым для стабилизации общественных реализаций. Аль-Дал твердо отрицал обвинения в обучении по тестовым наборам, подчеркнув, что качество переменной была вызвана ошибками реализации, а не каким-либо проступком. Он подтвердил веру Meta в значительные достижения моделей Llama 4 и их приверженность сотрудничеству с сообществом для реализации их потенциала.
Тем не менее, ответ мало что сделал для подавления разочарований сообщества, и многие все еще сообщали о плохой производительности и требуют большей технической документации о процессах обучения моделей. Этот релиз столкнулся с большим количеством проблем, чем предыдущие версии LLAMA, поднимая вопросы о его развитии и развертывании.
Время этого релиза примечательно, так как оно следует за отъездом Джоэл -Пино, вице -президента Meta's Vp Research, которая объявила о своем выходе на LinkedIn на прошлой неделе с благодарностью за свое время в компании. Pineau также продвигал семейство Model Llama 4 на выходных.
Поскольку Llama 4 продолжает быть принята другими поставщиками выводов с смешанными результатами, ясно, что первоначальный выпуск не был успешным, на что Meta, возможно, надеялась. Предстоящий Meta Llamacon 29 апреля, который станет первым собранием для сторонних разработчиков модельного семейства, вероятно, станет очагом дискуссий и дебатов. Мы будем внимательно следить за событиями, так что следите за обновлениями.
Gaia führt einen neuen Benchmark in der Suche nach wahrer Intelligenz jenseits von Arc-Agi ein
Intelligenz ist überall, aber das Messen Sie es genau so, als würde man versuchen, eine Wolke mit bloßen Händen zu fangen. Wir verwenden Tests und Benchmarks wie College -Aufnahmeprüfungen, um eine grobe Idee zu bekommen. Jedes Jahr drehen die Schüler für diese Tests und erzielen manchmal sogar eine perfekte 100%. Aber macht diese perfekte Punktzahl m
Das KI -Startup sichert 7,5 Millionen US
1Fort, ein in New York ansässiger Startup, hat eine Saatgut-Finanzierungsrunde in Höhe von 7,5 Millionen US-Dollar gesichert, um zu revolutionieren, wie kleine Unternehmen eine kommerzielle Versicherung durch seine KI-gesteuerte Plattform abschließen. Mit einem erstaunlichen Umsatzwachstum von 200% monatlich im Monat im Jahr 2024 soll 1Fort die veralteten manuellen Prozesse überarbeiten
Rechtsprofessoren unterstützen Autoren im KI -Urheberrecht gegen Meta.
Eine Gruppe von Copyright-Rechtsprofessoren hat ihre Unterstützung hinter Autoren verklagt, die Meta verklagen, und behauptet, der Tech-Riese habe seine LLAMA-AI-Modelle auf E-Books ohne Zustimmung der Autoren ausgebildet. Die Professoren haben am Freitag einen Amicus -Brief eingereicht
