Ай -тесты: Должны ли мы их пока игнорировать?

# openai # xai

Добро пожаловать в регулярную рассылку AI TechCrunch! Мы делаем небольшой перерыв, но не волнуйтесь, вы все равно можете получить все наше освещение в области ИИ, включая мои колонки, ежедневное анализ и разбрызгивание новостей, прямо здесь, в TechCrunch. Хотите, чтобы эти истории были прямо на ваш почтовый ящик каждый день? Просто подпишитесь на наши ежедневные информационные бюллетени здесь.

На этой неделе стартап ИИ Элона Маска, XAI, сбросил свою последнюю флагманскую модель ИИ, Grok 3, которая питает приложения компании Grok Chatbot. Они обучали его на колоссальных 200 000 графических процессоров, и это превосходит кучу других лучших моделей, в том числе из OpenAI, в критериях по математике, кодированию и многое другое.

Но давайте поговорим о том, что на самом деле означают эти тесты.

Здесь, в TC, мы сообщаем об этих эталонных цифрах, даже если мы не всегда взволнованы этим, потому что они один из немногих способов, которыми индустрия искусственного интеллекта пытается продемонстрировать, как улучшаются их модели. Дело в том, что эти популярные тесты ИИ часто сосредоточены на неясных вещах и дают счет, которые на самом деле не отражают, насколько хорошо ИИ делает то, о чем люди на самом деле заботятся.

Этан Моллик, профессор Wharton, взял на себя X, чтобы сказать, что существует реальная потребность в лучших тестах и ​​независимых группах для их запуска. Он указал, что компании по искусственному искусству часто сообщают о своих собственных контрольных результатах, что затрудняет их полностью доверять.

«Общественные тесты являются как« мех », так и насыщенными, оставляя много испытаний на ИИ, чтобы быть похожими на обзоры продуктов питания, основываясь на вкусе», - написал Моллик. «Если ИИ имеет решающее значение для работы, нам нужно больше».

Есть много людей, которые пытаются придумать новые тесты для ИИ, но никто не может согласиться с тем, что лучше. Некоторые считают, что эталоны должны сосредоточиться на экономическом воздействии, чтобы быть полезными, в то время как другие считают, что в реальном мире принятие и полезность являются истинными показателями успеха.

Эта дебаты могут продолжаться вечно. Возможно, как предполагает x пользователь Rooon, мы должны просто уделять меньше внимания на новые модели и критерии, если не существует крупного прорыва ИИ. Это может быть лучше для нашего здравомыслия, даже если это означает пропустить какую -то ажиотаж искусственного интеллекта.

Как уже упоминалось, на этой неделе в ИИ делает перерыв. Спасибо, что придерживались нас, читатели, через все взлеты и падения. До следующего раза.

Новости

Openai пытается «безенцар» Chatgpt. Макс писал о том, как они меняют свой подход к развитию ИИ, чтобы охватить «интеллектуальную свободу», даже на жесткие или противоречивые темы.

У Мира Мурати, бывшего технического директора Openai, есть новый стартап под названием Think Machines Lab. Они работают над инструментами, чтобы «заставить ИИ работать на уникальные потребности и цели [людей]».

XAI выпустил Grok 3 и добавил новые функции в приложения Grok для iOS и Интернет.

Meta проводит свою первую конференцию разработчиков, ориентированную на генеративного ИИ этой весной. Это называется Llamacon, после их моделей ламы, и это происходит 29 апреля.

Пол писал о OpenEurollm, проекте около 20 организаций по созданию моделей фонда для «прозрачного ИИ в Европе», который уважает «лингвистическое и культурное разнообразие» всех языков ЕС.

Исследовательская работа недели

Исследователи Openai придумали новый эталон искусственного интеллекта под названием Swe-Lancer, чтобы проверить, насколько хорошо может кодировать ИИ. Он состоит из более чем 1400 задач по разработке программного обеспечения, от исправления ошибок и добавления функций до предложения технических реализаций.

Openai говорит, что максимальная модель, сонет Claude 3,5 от Anpropic, набрала только 40,3% на полном эталонном эталоне Swe-Lancer, который показывает, что ИИ еще предстоит пройти долгий путь. Они не тестировали более новые модели, такие как O3-Mini's O3-Mini или Deepseek's R1 из Китая.

Модель недели

Китайская компания по искусству под названием Stepfun выпустила «открытую» модель ИИ под названием Step-Audio, которая может понять и генерировать речь на китайском, английском и японском языке. Пользователи могут даже настроить эмоции и диалект синтетического звука, включая пение.

Stepfun-один из нескольких хорошо финансируемых китайских стартапов AI, выпускающих модели с разрешающими лицензиями. Основанные в 2023 году, они недавно закрыли раунд финансирования на сумму сотен миллионов инвесторов, в том числе китайские государственные частные акционерные компании.

Захватить сумку

Nous Research, исследовательская группа ИИ, утверждает, что выпустила одну из первых моделей искусственного интеллекта, которая объединяет рассуждения с «интуитивно понятными возможностями языковых моделей».

Их модель, предварительный просмотр DeepHermes-3, может переключаться между короткими и длинными «цепочками мышления», чтобы сбалансировать точность и вычислительную мощность. В режиме «рассуждения» требуется больше времени, чтобы решить более сложные проблемы и показывает его мыслительный процесс на этом пути.

По сообщениям, Anpropic планирует выпустить аналогичную модель, и Openai говорит, что она находится на их ближайшей дорожной карте.

Связанная статья

Комментарии (55)