От MIPS до эксафлопсов за несколько десятилетий: Вычислительная мощность стремительно растет, и это преобразит ИИ

На недавней конференции Nvidia GTC технологический гигант представил прорывное достижение: первую систему серверов в одном стоечном шкафу, способную достичь одного эксафлопса. Это ошеломляющие один миллиард миллиардов операций с плавающей запятой (FLOPS) в секунду. Это достижение обеспечивается новейшей системой Nvidia GB200 NVL72, оснащенной передовыми графическими процессорами Blackwell (GPUs). Для сравнения, эта система помещается в стандартный компьютерный шкаф высотой около 6 футов, глубиной чуть более 3 футов и шириной менее 2 футов.

Сжатие эксафлопса: от Frontier до Blackwell

Это заявление заставило меня задуматься о том, как далеко мы продвинулись за последние несколько лет. Первая в мире компьютерная система с производительностью на уровне эксафлопса, "Frontier", была установлена в Национальной лаборатории Оук-Ридж в 2022 году. Построенная компанией HPE и оснащенная графическими и центральными процессорами AMD, она занимала огромные 74 стойки. В отличие от этого, новая система Nvidia обеспечивает в 73 раза большую производительность в одной стойке. Это как утроение производительности каждый год в течение трех лет подряд! Это свидетельство невероятных успехов в плотности вычислений, энергоэффективности и архитектурном дизайне.

Также стоит отметить, что, хотя обе системы достигают рубежа эксаскейла, они предназначены для разных целей. Рейтинг эксафлопса Nvidia основан на вычислениях с пониженной точностью — 4-битных и 8-битных операциях с плавающей запятой, — идеальных для задач ИИ, таких как обучение и запуск больших языковых моделей (LLMs). Эти вычисления отдают предпочтение скорости перед точностью. С другой стороны, рейтинг эксафлопса Frontier основан на 64-битных вычислениях двойной точности, которые являются золотым стандартом для научных симуляций, где точность имеет первостепенное значение.

Мы прошли долгий путь (очень быстро)

Темпы этого прогресса почти невероятны, особенно когда я вспоминаю ранние дни моей карьеры в вычислительной технике. Моя первая работа была программистом на DEC KL 1090, части серии мейнфреймов PDP-10 от DEC для совместного использования времени. Эта машина работала с скромной скоростью 1,8 миллиона инструкций в секунду (MIPS). Она подключалась к дисплеям с электронно-лучевыми трубками (CRT) через жестко подключенные кабели, без какой-либо графики — только текст на экране. И, конечно, не было Интернета. Удаленные пользователи подключались через телефонные линии с модемами, скорость которых достигала максимум 1200 бит в секунду.

src="https://img.xix.ai/uploads/90/67f89033480d9.webp" alt="Система DEC 10; Источник: Джо Мабел, CC BY-SA 3.0.">

500 миллиардов раз больше вычислительной мощности

Хотя сравнение MIPS и FLOPS не является прямым, оно дает представление о невероятном скачке в вычислительной мощности. MIPS измеряет скорость обработки целых чисел, что подходит для универсальных вычислений и бизнес-приложений. FLOPS, с другой стороны, измеряет производительность операций с плавающей запятой, что критично для научных задач и тяжелой работы современных ИИ, таких как матричные вычисления и линейная алгебра, необходимые для обучения и работы моделей машинного обучения (ML).

Используя это как ориентир, новая система Nvidia примерно в 500 миллиардов раз мощнее старой машины DEC. Это поразительный пример экспоненциального роста вычислительной