Ваш процессор — плоский, а этот — небоскреб. Вертикальные 3D-города ускорили нейросети в 12 раз
NewsMakerНовый 3D-чип собирают слоями как небоскрёб, чтобы данные летали между памятью и вычислениями без пробок.
Команда инженеров из США представила прототип «монолитного» 3D-чипа, который впервые изготовили в коммерческом производстве в США и который уже в тестах показал заметный выигрыш по скорости по сравнению с привычными 2D-решениями. Идея проста и эффектна: вместо плоской «платы с деталями» исследователи построили чип как многоэтажное здание, где вычислительные блоки и память размещаются слоями друг над другом, а вертикальные соединения работают как сеть скоростных лифтов для данных.
Для современных моделей ИИ проблема давно упирается не столько в вычисления, сколько в доставку данных. Память хранит информацию, вычислительные блоки её обрабатывают, и между ними постоянно идёт обмен огромными объёмами. На обычных 2D-чипах всё разложено на одной плоскости: памяти рядом мало, маршруты длинные и перегруженные, поэтому вычисления часто «простаивают» в ожидании данных — это называют «стеной памяти». Долгие годы индустрия пробивала эту стену уменьшением транзисторов и уплотнением схем, но и этот путь упирается в физические ограничения, которые исследователи называют «стеной миниатюризации».
Новый прототип пытается обойти обе стены буквально вверх. По словам участников проекта, вертикальная интеграция позволяет держать память и логику ближе друг к другу и резко сократить расстояния, на которых гоняются данные. В этом помогает рекордная плотность вертикальных соединений и «переплетение» памяти с вычислительными узлами между слоями, что снижает типичные узкие места плоских архитектур. Руководитель проекта со стороны Стэнфорда Субхасиш Митра, представивший работу на 71-й конференции IEEE IEDM, считает, что такие подходы — один из реальных путей к будущим аппаратным скачкам, которых потребуют новые поколения ИИ-систем.
Ключевое отличие от многих прежних 3D-экспериментов в том, как именно собираются слои. Ранее чаще стековали уже готовые кристаллы, но такие «сэндвичи» ограничены крупными и редкими межслойными контактами, которые сами становятся бутылочным горлышком. Здесь же слои строятся последовательно прямо один поверх другого в едином процессе, причём при достаточно низких температурах, чтобы не повредить нижние уровни. Такой «монолитный» подход делает укладку плотнее и позволяет соединять слои гораздо более густой сетью вертикальной проводки.
Команда инженеров из США представила прототип «монолитного» 3D-чипа, который впервые изготовили в коммерческом производстве в США и который уже в тестах показал заметный выигрыш по скорости по сравнению с привычными 2D-решениями. Идея проста и эффектна: вместо плоской «платы с деталями» исследователи построили чип как многоэтажное здание, где вычислительные блоки и память размещаются слоями друг над другом, а вертикальные соединения работают как сеть скоростных лифтов для данных.
Для современных моделей ИИ проблема давно упирается не столько в вычисления, сколько в доставку данных. Память хранит информацию, вычислительные блоки её обрабатывают, и между ними постоянно идёт обмен огромными объёмами. На обычных 2D-чипах всё разложено на одной плоскости: памяти рядом мало, маршруты длинные и перегруженные, поэтому вычисления часто «простаивают» в ожидании данных — это называют «стеной памяти». Долгие годы индустрия пробивала эту стену уменьшением транзисторов и уплотнением схем, но и этот путь упирается в физические ограничения, которые исследователи называют «стеной миниатюризации».
Новый прототип пытается обойти обе стены буквально вверх. По словам участников проекта, вертикальная интеграция позволяет держать память и логику ближе друг к другу и резко сократить расстояния, на которых гоняются данные. В этом помогает рекордная плотность вертикальных соединений и «переплетение» памяти с вычислительными узлами между слоями, что снижает типичные узкие места плоских архитектур. Руководитель проекта со стороны Стэнфорда Субхасиш Митра, представивший работу на 71-й конференции IEEE IEDM, считает, что такие подходы — один из реальных путей к будущим аппаратным скачкам, которых потребуют новые поколения ИИ-систем.
Ключевое отличие от многих прежних 3D-экспериментов в том, как именно собираются слои. Ранее чаще стековали уже готовые кристаллы, но такие «сэндвичи» ограничены крупными и редкими межслойными контактами, которые сами становятся бутылочным горлышком. Здесь же слои строятся последовательно прямо один поверх другого в едином процессе, причём при достаточно низких температурах, чтобы не повредить нижние уровни. Такой «монолитный» подход делает укладку плотнее и позволяет соединять слои гораздо более густой сетью вертикальной проводки.