Новый ИИ Антропика: удивительно доступный для обучения

Последняя модель ИИ от Anthropic, Claude 3.7 Sonnet, как сообщается, была обучена всего за несколько десятков миллионов долларов, используя менее 10^26 FLOPs вычислительной мощности. Эта информация поступила от профессора Уортонской школы Этана Моллика, который поделился на X, что получил эти данные напрямую от PR-команды Anthropic. Они сообщили ему: «Меня связались с Anthropic, и они сказали, что Sonnet 3.7 не будет считаться моделью с 10^26 FLOPs и стоила несколько десятков миллионов долларов», хотя намекнули, что будущие модели будут значительно крупнее.

TechCrunch пытался получить подробности от Anthropic, но не получил ответа до публикации своей статьи.

Если Claude 3.7 Sonnet действительно обошлась в обучении всего в несколько десятков миллионов, это довольно впечатляюще, учитывая, насколько дешевле становится выпуск высококлассных моделей ИИ. Для сравнения, Claude 3.5, вышедшая осенью 2024 года, также стоила несколько десятков миллионов для обучения, по словам генерального директора Anthropic Дарио Амодеи.

Если сравнить эти цифры с тем, сколько стоило обучение крупных моделей 2023 года, это еще более впечатляет. OpenAI потратила более 100 миллионов долларов на запуск своей модели GPT-4, по словам их генерального директора Сэма Альтмана. А Google? Они вложили около 200 миллионов долларов в свою модель Gemini Ultra, если верить исследованию Стэнфорда.

Но погодите, Амодеи считает, что стоимость будущих моделей ИИ может достигать миллиардов. И помните, затраты на обучение — это лишь часть общей картины. Есть еще тестирование безопасности, фундаментальные исследования и все такое. Кроме того, по мере того как мир ИИ начинает склоняться к «рассуждающим» моделям, которые дольше обдумывают задачи, затраты на поддержание работы этих моделей, вероятно, будут продолжать расти.