Google представляет новый чип, чтобы сократить основную скрытую стоимость ИИ

На мероприятии Google Cloud Next 25 компания Google представила последнюю версию своего тензорного процессора (TPU), названного Ironwood. Этот новый чип знаменует значительный сдвиг в приоритетах Google, акцентируя внимание на использовании для вывода, а не для обучения. Традиционно TPU использовались для обучения нейронных сетей, процесса, в котором доминировали специалисты по ИИ и ученые по данным. Однако с Ironwood Google теперь ориентируется на потребности в реальном времени миллионов, если не миллиардов, пользователей.

Ironwood TPU

Запуск Ironwood TPU происходит в переломный момент для индустрии ИИ, когда акцент смещается с экспериментальных проектов на практическое применение ИИ-моделей в бизнесе. Появление продвинутых ИИ-моделей, таких как Gemini от Google, которые улучшают способности к рассуждению, вызвало рост спроса на вычислительную мощность во время вывода. Этот сдвиг увеличивает затраты, как отметила Google в описании Ironwood: «рассуждение и многоступенчатый вывод смещают дополнительный спрос на вычисления — и, следовательно, затраты — с обучения на время вывода (масштабирование во время тестирования)». Ironwood отражает стремление Google оптимизировать производительность и эффективность, особенно в дорогостоящей области вывода.

Чип для вывода

Путь Google с TPU длится более десяти лет, и Ironwood стал седьмым поколением. Если чипы для обучения производятся в меньших объемах, то чипы для вывода ориентированы на широкую аудиторию, нуждающуюся в ежедневных прогнозах от обученных моделей, что делает рынок высокоуровневым. Ранее шестое поколение TPU, Trillium, позиционировалось как способное к обучению и выводу. Однако акцент Ironwood на выводе знаменует заметный отход от этого двойного подхода.

Необходимые инвестиции

Этот сдвиг в приоритетах может сигнализировать об изменении зависимости Google от внешних производителей чипов, таких как Intel, AMD и Nvidia. Исторически эти поставщики доминировали в облачных операциях Google, составляя 99% используемых процессоров, согласно KeyBanc Capital Markets. Инвестируя в собственные TPU, Google, возможно, стремится снизить зависимость от этих поставщиков и потенциально сократить растущие затраты на инфраструктуру ИИ. Аналитики, такие как Гил Лурия из DA Davidson, оценили, что если бы Google продавала TPU напрямую клиентам Nvidia, то в прошлом году могла бы получить до 24 миллиардов долларов дохода.

Ironwood против Trillium

На мероприятии Google продемонстрировала техническое превосходство Ironwood над Trillium. Ironwood обеспечивает вдвое большую производительность на ватт, достигая 29,3 триллиона операций с плавающей запятой в секунду. Он также оснащен 192 ГБ высокоскоростной памяти (HBM), что в шесть раз больше, чем у Trillium, и пропускной способностью памяти 7,2 терабита в секунду, что в 4,5 раза выше. Эти улучшения разработаны для облегчения перемещения данных и снижения задержек на чипе во время манипуляций с тензорами, как заявила Google: «Ironwood разработан для минимизации перемещения данных и задержек на чипе при выполнении масштабных тензорных манипуляций».

Масштабирование инфраструктуры ИИ

Улучшения в памяти и пропускной способности лежат в основе стратегии Google по масштабированию инфраструктуры ИИ. Масштабирование предполагает эффективное использование сгруппированных чипов для параллельного решения задач, повышая производительность и использование. Это важно по экономическим причинам, поскольку более высокое использование означает меньшие потери дорогих ресурсов. Google ранее подчеркивала способность Trillium масштабироваться до сотен тысяч чипов, и аналогично они отметили способность Ironwood объединять «сотни тысяч чипов Ironwood для быстрого продвижения границ вычислений GenAI».

Наряду с анонсом оборудования Google также представила Pathways on Cloud, программное решение, распределяющее задачи ИИ-вычислений между различными машинами. Ранее использовавшееся внутри компании, это программное обеспечение теперь доступно для общественности, что дополнительно расширяет возможности инфраструктуры ИИ Google.