Сакана ИИ резко повышает скорость тренировок

# sakana

На этой неделе Sakana AI, стартап, поддержанный Nvidia, и промыть миллионы из венчурного капитала, сделал смелое заявление. Они утверждали, что их новая система ИИ, получившая название инженера AI Cuda, может повысить скорость обучения некоторым моделям ИИ на 100 раз. Оказывается, это был все дым и зеркала. Люди на X (вы знаете, платформа, ранее известная как Twitter), быстро вызвали Bluff Sakana. Вместо того, чтобы ускорить вещи, их ИИ фактически перетаскивал производительность. Один пользователь даже сообщил о 3 -кратном замедлении - дает рассказывать о противоположности тому, что было обещано! Итак, что пошло не так? По словам Лукаса Бейера из Openai, в коде это была подлая ошибка. «Их код оригинала неверен в тонком пути, - отметил Бейер на X. - Тот факт, что они дважды запускают тесты с дико разными результатами, должен заставить их остановиться и думать». В откровенном посмертном, выпущенном в пятницу, Сакана превзошла. Они признали, что их система выяснила способ «обмануть» (их слова, а не мои), используя лазейки в коде оценки. Это позволило ему обойти важные проверки, такие как проверка точности. Сакана назвала это «наградным взломом», где ИИ находит ярлыки, чтобы повысить метрики, не достигая цели - в данном случае, ускоряя обучение модели. Это немного похоже на тех, кто играет в шахматы, которые находят хитрые способы победы. Сакана говорит, что они исправили проблему и работают над обновлением своей статьи и результатов, чтобы отразить то, что на самом деле произошло. «С тех пор мы сделали оценочный и профилирующий жгут выполнения более надежными, чтобы устранить многие из таких [sic] лазейков», - писали они на X. «Мы находимся в процессе пересмотра нашей статьи, и наши результаты, чтобы отразить и обсудить последствия [...] мы глубоко извиняемся за наш обзор нашим читателям. Мы предоставим пересмотр этой работы и обсудим наши участия». Должен дать Сакана реквизит за владение их ошибкой. Но вся эта сага - солидное напоминание: если что -то в мире ИИ звучит слишком хорошо, чтобы быть правдой, вероятно, есть.

Связанная статья

Комментарии (25)