- 9,321
- 18
- 8 Ноя 2022
Будет создана сеть суперкомпьютеров мощностью 32 экзафлопс.
«Суперкомпьютеры для ИИ создают новую реальность» — так можно охарактеризовать последнее достижение компании Cerebras, лидера в производстве ИИ-ориентированных компьютеров в Силиконовой долине.
Ее генеральный директор Андрю Фельдман рассказал о запуске Condor Galaxy 1 — ИИ-суперкомпьютера, который может выполнять 2 экзафлопса (2 миллиарда миллиардов операций) в секунду. Это только начало: за следующие 12 недель производительность системы должна удвоиться, а к началу 2024 года к ней присоединятся еще две системы в два раза больше. Цель Cerebras — создать сеть из девяти суперкомпьютеров с общей производительностью 36 экзафлопс.
Такие суперкомпьютеры нужны для обучения больших языковых моделей и других генеративных ИИ, которые «пожирают» мир. Cerebras не одна в этом деле: другие производители компьютеров, специализирующиеся на ИИ, также строят огромные системы на основе своих собственных процессоров или новейшего графического процессора Nvidia -H100. Однако Фельдман уверен, что Condor Galaxy 1 — один из самых больших суперкомпьютеров для ИИ на сегодняшний день.
Condor Galaxy-1 состоит из 32 компьютеров Cerebras CS-2, которые можно расширить до 64. Каждый CS-2 имеет Waferscale Engine-2 — чип для ИИ, сделанный из целой пластины кремния, содержащей 2,6 трлн. транзисторов и 850 тыс. ядер ИИ. Размеры и характеристики этого чипа настолько впечатляют, что можно посмотреть на следующий график, чтобы увидеть разницу.
Особенностью Cerebras является возможность легко масштабировать свои суперкомпьютеры для ИИ. Например, нейронная сеть с 40 млрд. параметров может быть обучена за примерно такое же время, что и нейронная сеть с 1 млрд. параметров, если использовать в 40 раз больше вычислительных ресурсов.
При этом не нужно писать дополнительный код для такого масштабирования. Это исторически сложная задача, потому что большие нейронные сети не легко разбить на части для эффективного обучения. «Мы же можем линейно масштабировать от 1 до 32 [CS-2] одним щелчком мыши» — говорит он.
Владельцем суперкомпьютеров серии Condor Galaxy является компания G42 из Абу-Даби, которая объединяет девять предприятий в области ИИ, включая G42 Cloud, одного из крупнейших облачных провайдеров на Ближнем Востоке. Однако Cerebras будет управлять суперкомпьютерами и сдавать в аренду свободные ресурсы, которые G42 не задействует для своих проектов.
По словам Фельдмана, спрос на обучение больших нейронных сетей растет быстро и число компаний, которые обучают модели ИИ с 50 млрд. и более параметров, увеличилось с 2 в 2021 году до более чем 100 в этом году.
Конечно, Cerebras не единственный игрок на рынке суперкомпьютеров для ИИ. Среди конкурентов есть такие гиганты, как Amazon , Google , Meta и Microsoft .
Большинство из них используют вычислительные кластеры на базе графических процессоров Nvidia, но некоторые из них разработали свои собственные чипы для ИИ, например, Google TPU и Amazon Trainium. Есть и стартапы, которые создают свои ускорители и компьютеры для ИИ, например, Habana (теперь часть Intel), Graphcore и Samba Nova.
Компания Meta, например, построила свой AI Research SuperCluster на базе более чем 6 000 графических процессоров Nvidia A100. На втором этапе она планирует добавить еще 10 000 процессоров Nvidia-H100. Это позволит ей обучать модели ИИ с триллионами параметров.
«Суперкомпьютеры для ИИ создают новую реальность» — так можно охарактеризовать последнее достижение компании Cerebras, лидера в производстве ИИ-ориентированных компьютеров в Силиконовой долине.
Ее генеральный директор Андрю Фельдман рассказал о запуске Condor Galaxy 1 — ИИ-суперкомпьютера, который может выполнять 2 экзафлопса (2 миллиарда миллиардов операций) в секунду. Это только начало: за следующие 12 недель производительность системы должна удвоиться, а к началу 2024 года к ней присоединятся еще две системы в два раза больше. Цель Cerebras — создать сеть из девяти суперкомпьютеров с общей производительностью 36 экзафлопс.
Такие суперкомпьютеры нужны для обучения больших языковых моделей и других генеративных ИИ, которые «пожирают» мир. Cerebras не одна в этом деле: другие производители компьютеров, специализирующиеся на ИИ, также строят огромные системы на основе своих собственных процессоров или новейшего графического процессора Nvidia -H100. Однако Фельдман уверен, что Condor Galaxy 1 — один из самых больших суперкомпьютеров для ИИ на сегодняшний день.
Condor Galaxy-1 состоит из 32 компьютеров Cerebras CS-2, которые можно расширить до 64. Каждый CS-2 имеет Waferscale Engine-2 — чип для ИИ, сделанный из целой пластины кремния, содержащей 2,6 трлн. транзисторов и 850 тыс. ядер ИИ. Размеры и характеристики этого чипа настолько впечатляют, что можно посмотреть на следующий график, чтобы увидеть разницу.
Особенностью Cerebras является возможность легко масштабировать свои суперкомпьютеры для ИИ. Например, нейронная сеть с 40 млрд. параметров может быть обучена за примерно такое же время, что и нейронная сеть с 1 млрд. параметров, если использовать в 40 раз больше вычислительных ресурсов.
При этом не нужно писать дополнительный код для такого масштабирования. Это исторически сложная задача, потому что большие нейронные сети не легко разбить на части для эффективного обучения. «Мы же можем линейно масштабировать от 1 до 32 [CS-2] одним щелчком мыши» — говорит он.
Владельцем суперкомпьютеров серии Condor Galaxy является компания G42 из Абу-Даби, которая объединяет девять предприятий в области ИИ, включая G42 Cloud, одного из крупнейших облачных провайдеров на Ближнем Востоке. Однако Cerebras будет управлять суперкомпьютерами и сдавать в аренду свободные ресурсы, которые G42 не задействует для своих проектов.
По словам Фельдмана, спрос на обучение больших нейронных сетей растет быстро и число компаний, которые обучают модели ИИ с 50 млрд. и более параметров, увеличилось с 2 в 2021 году до более чем 100 в этом году.
Конечно, Cerebras не единственный игрок на рынке суперкомпьютеров для ИИ. Среди конкурентов есть такие гиганты, как Amazon , Google , Meta и Microsoft .
Большинство из них используют вычислительные кластеры на базе графических процессоров Nvidia, но некоторые из них разработали свои собственные чипы для ИИ, например, Google TPU и Amazon Trainium. Есть и стартапы, которые создают свои ускорители и компьютеры для ИИ, например, Habana (теперь часть Intel), Graphcore и Samba Nova.
Компания Meta, например, построила свой AI Research SuperCluster на базе более чем 6 000 графических процессоров Nvidia A100. На втором этапе она планирует добавить еще 10 000 процессоров Nvidia-H100. Это позволит ей обучать модели ИИ с триллионами параметров.
- Источник новости
- www.securitylab.ru
