Grok 3 будет обучен на 100 000 GPU
Илон Маск, основатель компании xAI, поделился информацией о масштабных инвестициях в разработку чат-бота Grok. Новый вариант чат-бота, Grok 3, будет обучен на 100 000 процессорах Nvidia H100, что является значительным шагом вперед по сравнению с его предшественником, Grok 2, который требовал около 20 000 таких процессоров.
Процессоры Nvidia H100, также известные как Hopper, играют ключевую роль в разработке искусственного интеллекта, особенно при обработке данных для больших языковых моделей. Эти чипы высоко ценятся в Кремниевой долине, где компании стремятся создавать все более интеллектуальные приложения ИИ.
Стоимость каждого процессора Nvidia H100 оценивается в диапазоне от $30 000 до $40 000, с возможностью получения скидок при покупке в большом количестве. Это означает, что обучение Grok 3 может потребовать инвестиций в размере от $3 до $4 миллиардов.
Маск также упомянул, что его компания xAI уже запустила версии Grok-1 и Grok-1.5, а Grok 2 ожидается в августе. Он намекнул на то, что Grok 3 будет выпущен до конца года.
В сравнении с другими технологическими гигантами, такими как Meta*, которые планируют приобрести около 350 000 процессоров Nvidia H100 к концу 2024 года, а также владеют в общей сложности около 600 000 чипов, включая другие варианты процессоров. Это интенсивное накопление чипов ИИ привело к ожесточенной конкуренции за привлечение лучших талантов в отрасли ИИ.
*Компания Meta (социальные сети Instagram и Facebook) признана экстремистской организацией на территории Российской Федерации
