Триллион долларов на чипах. Nvidia сделала самый дерзкий финансовый прогноз в истории
NewsMakerДженсен Хуанг снова вышел на сцену в кожаной куртке — и снова удвоил все цифры, которые называл год назад.
Nvidia на конференции GTC сделала ставку на новую фазу развития ИИ и объявила, что эпоха инференса уже началась. Генеральный директор компании Дженсен Хуанг представил большую линейку аппаратных и программных решений, рассчитанных не столько на обучение моделей, сколько на быстрый и экономичный вывод ответов на запросы пользователей. Главной премьерой стал новый флагманский серверный комплекс, который, по словам Хуанга, должен радикально ускорить работу ИИ-сервисов.
Речь идет о системе Nvidia Groq 3 LPX rack. Конфигурация объединяет 72 серверных узла Vera Rubin следующего поколения и 256 новых чипов LPU, или language processing unit, разработанных стартапом Groq. Nvidia получила доступ к ключевым технологиям Groq после сделки на $20 млрд, оформленной в декабре в виде лицензионного соглашения. По словам Хуанга, именно такие системы и будут определять будущее ИИ, потому что индустрии все сильнее нужны вычисления для инференса, а не только для обучения.
За последние годы Nvidia почти безраздельно доминировала на рынке GPU, которые используют для тренировки крупных языковых моделей. Но за последний год запросы клиентов заметно сместились. Разработчики ИИ-сервисов теперь пытаются не просто обучать модели, а зарабатывать на готовых продуктах, поэтому рынок требует более подходящие решения для вывода, где важны скорость отклика, энергопотребление и работа с памятью.
Хуанг заявил, что новая система способна генерировать 700 млн токенов в секунду. По данным Nvidia, такой показатель в 350 раз выше, чем у предпоследнего поколения ускорителей Hopper. Одним из главных узких мест прежних решений компания называет память: традиционные GPU плохо подходят для инференса не только из-за высокого энергопотребления, но и из-за ограниченного объема подключенной памяти. В новых серверах Vera Rubin в связке с технологиями Groq объем высокоскоростной памяти вырос в 500 раз по сравнению с поколением Hopper.
Nvidia на конференции GTC сделала ставку на новую фазу развития ИИ и объявила, что эпоха инференса уже началась. Генеральный директор компании Дженсен Хуанг представил большую линейку аппаратных и программных решений, рассчитанных не столько на обучение моделей, сколько на быстрый и экономичный вывод ответов на запросы пользователей. Главной премьерой стал новый флагманский серверный комплекс, который, по словам Хуанга, должен радикально ускорить работу ИИ-сервисов.
Речь идет о системе Nvidia Groq 3 LPX rack. Конфигурация объединяет 72 серверных узла Vera Rubin следующего поколения и 256 новых чипов LPU, или language processing unit, разработанных стартапом Groq. Nvidia получила доступ к ключевым технологиям Groq после сделки на $20 млрд, оформленной в декабре в виде лицензионного соглашения. По словам Хуанга, именно такие системы и будут определять будущее ИИ, потому что индустрии все сильнее нужны вычисления для инференса, а не только для обучения.
За последние годы Nvidia почти безраздельно доминировала на рынке GPU, которые используют для тренировки крупных языковых моделей. Но за последний год запросы клиентов заметно сместились. Разработчики ИИ-сервисов теперь пытаются не просто обучать модели, а зарабатывать на готовых продуктах, поэтому рынок требует более подходящие решения для вывода, где важны скорость отклика, энергопотребление и работа с памятью.
Хуанг заявил, что новая система способна генерировать 700 млн токенов в секунду. По данным Nvidia, такой показатель в 350 раз выше, чем у предпоследнего поколения ускорителей Hopper. Одним из главных узких мест прежних решений компания называет память: традиционные GPU плохо подходят для инференса не только из-за высокого энергопотребления, но и из-за ограниченного объема подключенной памяти. В новых серверах Vera Rubin в связке с технологиями Groq объем высокоскоростной памяти вырос в 500 раз по сравнению с поколением Hopper.