При этом производительность очень высока
Китайская компания 01.ai, похоже, совершила революцию в области обучения больших генеративных моделей искусственного интеллекта. По крайней мере собственные заявления этой компании указывают именно на это.
Кай-Фу Ли, основатель и руководитель компании, рассказал, что его компания обучила одну из своих передовых моделей искусственного интеллекта, используя всего 2000 графических процессоров и затратив всего 3 млн долларов.
Для сравнения, GPT-4, по разным данным, обучали с использованием десятков тысяч ускорителей Nvidia H100 и потратив 80-100 млн долларов, а на GPT-5 якобы уже потрачено около 1 млрд долларов.
Согласно диаграмме на сайте 01.ai, модель Yi-Lightning занимает шестое место по производительности, согласно измерениям LMSIS в Калифорнийском университете в Беркли. При этом, конечно, сравнивать современные модели можно по множеству разных параметров, так что тут пока маловато данных.
Даже если модель 01.ai и не сможет полноценно конкурировать с GPT-4, результаты всё равно впечатляют. Чтобы повысить производительность модели, 01.ai сосредоточилась на сокращении узких мест в своем процессе вывода, построив многослойную систему кэширования и разработав специализированный механизм вывода для оптимизации скорости и распределения ресурсов. В результате затраты на вывод значительно ниже, чем у аналогичных моделей — 10 центов за миллион токенов. Это примерно 1/30 от типичной цены у сопоставимых моделей конкурентов.
Что интересно, таких успехов удалось добиться фактически благодаря санкциям США, так как у компании было всего 2000 ускорителей и они не могли купить больше.
Когда у нас всего 2000 графических процессоров, команда должна выяснить, как их использовать на полную
