Современные ИИ-ускорители научились обрабатывать огромные нейросети, но ограниченный объем памяти по-прежнему заставляет разработчиков распределять модели между несколькими процессорами. Sandisk и SK Hynix предлагают решить проблему с помощью высокоскоростной флеш-памяти HBF, которая должна объединить емкость SSD с пропускной способностью, близкой к HBM.
Практически все мощные графические процессоры и ускорители искусственного интеллекта используют память HBM. Пропускная способность HBM достигает нескольких терабайт в секунду, однако емкость отдельных модулей измеряется десятками гигабайт. Крупные модели не помещаются в память одного ускорителя, поэтому разработчикам приходится объединять несколько процессоров через дорогие и сложные высокоскоростные соединения.
Разрабатываемая Sandisk и SK Hynix технология High Bandwidth Flash внешне и конструктивно напоминает HBM. Производители укладывают кристаллы памяти друг на друга, повышая общую емкость и пропускную способность. Первое поколение модулей Sandisk получит 16 слоев, но вместо используемой в HBM памяти DRAM разработчики применят NAND.
Согласно техническому описанию , HBF первого поколения сможет считывать данные со скоростью до 1,6 ТБ/с. Показатель немного превышает скорость HBM3e, но заметно уступает HBM4, где пропускная способность одного 12-слойного стека достигает 2,5 ТБ/с. Следующие поколения HBF должны преодолеть отметку в два ТБ/с, а позднее увеличить скорость до 3,2 ТБ/с.
Главное преимущество HBF связано не со скоростью, а с емкостью. Sandisk планирует использовать кристаллы NAND объемом до 256 Гбит каждый. Один 16-слойный модуль сможет хранить 512 ГБ данных, что более чем в 14 раз превышает емкость стеков HBM4 в новейших ускорителях AMD и Nvidia.
Модули HBF получат приблизительно те же требования к упаковке, что и HBM. Память будут размещать рядом с графическим процессором с помощью технологий TSMC CoWoS, Intel EMIB или Foveros. Производители ИИ-ускорителей уже применяют подобные способы компоновки, поэтому интеграция HBF не потребует принципиально новых методов сборки.
Sandisk также не ожидает существенного увеличения энергопотребления или стоимости по сравнению с HBM. Благодаря высокой плотности NAND стоимость хранения каждого бита может оказаться значительно ниже. Однако свойства флеш-памяти накладывают серьезные ограничения на возможные сценарии использования.
NAND выдерживает ограниченное количество циклов записи и работает с задержками, измеряемыми микросекундами. DRAM обращается к данным за десятки наносекунд и лучше переносит интенсивную перезапись. Полная замена HBM на HBF привела бы к снижению производительности и ускоренному износу памяти, способному вывести из строя ускоритель стоимостью более $50 000.
Sandisk и SK Hynix предлагают использовать HBF не вместо HBM, а вместе с HBM. Быстрая память DRAM будет выполнять операции, связанные с интенсивной записью данных, а флеш-память возьмет на себя задачи, где преобладает чтение. Подобное разделение может снизить стоимость инференса и одновременно увеличить доступный объем памяти.
Во время инференса нейросеть выполняет две разные по характеру стадии. На этапе предварительной обработки запроса (prefill) система разбирает текст, преобразует запрос в токены, пропускает данные через модель, формирует KV-кэш и создает первый токен ответа. Процесс требует большого количества операций записи, поэтому предварительную обработку выгоднее выполнять в HBM.
На этапе последовательной генерации ответа (decode) ускоритель многократно считывает веса модели или активные параметры отдельных экспертов при создании каждого нового токена. Скорость генерации напрямую зависит от пропускной способности памяти, а запись данных почти не происходит. HBF хорошо подходит для хранения весов по принципу «записать один раз, читать много раз», поскольку чтение практически не изнашивает NAND.
Энергонезависимость HBF дает дополнительное преимущество. После отключения питания веса модели сохранятся во флеш-памяти. Серверу не придется при каждом запуске заново загружать несколько терабайт данных с накопителей в память ускорителя. По своему назначению HBF частично напоминает постоянную память Intel Optane, но ориентируется на современные системы искусственного интеллекта.
В одном из предложенных Sandisk вариантов ускоритель получает 3,12 ТБ памяти за счет двух стеков HBM и шести стеков HBF. Подобная емкость может заметно изменить архитектуру систем инференса и сократить зависимость от соединений между отдельными процессорами.
Большинство передовых нейросетей использует архитектуру mixture of experts, или смесь экспертов. Модель состоит из множества специализированных блоков, но для генерации каждого токена задействует лишь небольшую часть доступных экспертов. Ограниченная емкость HBM заставляет распределять блоки по нескольким ускорителям и постоянно передавать данные между процессорами.
Высокоскоростная флеш-память теоретически позволит разместить на одном ускорителе даже модели с несколькими триллионами параметров, включая системы масштаба Kimi K3. Размещение весов внутри одного устройства поможет устранить задержки, возникающие при обмене данными между чипами.
Стойка с 72 ускорителями и HBF сможет запускать модели с сотнями триллионов параметров. Однако создание подобных систем потребует решения дополнительных проблем. Обучение огромных моделей останется сложной задачей, а количество одновременно активных параметров будет ограничиваться пропускной способностью флеш-памяти.
Sandisk рассчитывает передать первые образцы HBF партнерам во второй половине 2026 года . Первые устройства для инференса на базе новой памяти могут появиться в начале 2027 года. Однако массовое внедрение HBF зависит от стандартизации, производственных возможностей и поддержки со стороны разработчиков графических процессоров и специализированных ускорителей.
Sandisk и SK Hynix уже начали разработку отраслевого стандарта в рамках Open Compute Project. Единая спецификация необходима, поскольку производители GPU и ASIC вряд ли станут проектировать процессоры под закрытую технологию одного поставщика.
Производство HBF также потребует значительно большего количества кристаллов, чем выпуск обычных флеш-накопителей. Для модулей понадобится специализированная NAND, отличающаяся от памяти для SSD. Sandisk и SK Hynix придется заранее согласовать конструкцию с производителями ускорителей, поскольку HBF должна размещаться в одном корпусе с вычислительными чипами.
Готовые модули могут появиться на несколько лет раньше совместимых процессоров. HBF обещает увеличить память ИИ-ускорителей с сотен гигабайт до нескольких терабайт, но путь от первых образцов до массовых серверов потребует участия всей отрасли.