ИИ сожрёт всю энергию планеты? Чтобы это предотвратить, ученые придумали чип, который работает как мозг — и потребляет как лампочка
NewsMakerМинимум затрат, максимум пользы с новыми мемристорами.
ИИ уперся не только в алгоритмы, но и в электричество. Чем крупнее модели и дата-центры, тем больше энергии уходит на обучение, хранение данных и постоянную пересылку информации между процессором и памятью. Авторы новой работы предложили материал для мемристоров , который может снизить энергозатраты нейроморфных систем — устройств, имитирующих работу нейронов и синапсов в мозге.
Главная проблема современного ИИ-железа связана с классической архитектурой фон Неймана. В обычных компьютерах вычислительный блок и память разделены. Процессор обрабатывает данные, память хранит данные, а между ними постоянно идет обмен. Для больших моделей такая пересылка превращается в отдельный источник задержек и энергопотребления. В научной статье указано, что энергозатраты ИИ-оборудования растут примерно на 30% в год, поэтому одними более компактными чипами и новыми дата-центрами проблему уже не решить.
Нейроморфные вычисления предлагают другую логику. В мозге хранение и обработка не разнесены по разным узлам: связи между нейронами одновременно передают сигналы и меняются по мере обучения. Синапсы усиливаются или ослабевают, а мозг за счет таких изменений запоминает информацию, распознает образы и принимает решения. Инженеры пытаются перенести этот принцип в электронику: сделать элементы памяти, которые не просто хранят нули и единицы, а плавно меняют состояние и участвуют в вычислениях.
Для такой задачи подходят мемристоры. Это двухконтактные электронные элементы, у которых сопротивление меняется под действием электрического сигнала и сохраняется после отключения питания. В нейроморфной системе мемристор может работать как искусственный синапс: чем выше или ниже его проводимость, тем сильнее или слабее связь в сети. Если такие элементы потребляют мало энергии и ведут себя предсказуемо, вычисления можно переносить ближе к памяти и меньше гонять данные между отдельными блоками.
ИИ уперся не только в алгоритмы, но и в электричество. Чем крупнее модели и дата-центры, тем больше энергии уходит на обучение, хранение данных и постоянную пересылку информации между процессором и памятью. Авторы новой работы предложили материал для мемристоров , который может снизить энергозатраты нейроморфных систем — устройств, имитирующих работу нейронов и синапсов в мозге.
Главная проблема современного ИИ-железа связана с классической архитектурой фон Неймана. В обычных компьютерах вычислительный блок и память разделены. Процессор обрабатывает данные, память хранит данные, а между ними постоянно идет обмен. Для больших моделей такая пересылка превращается в отдельный источник задержек и энергопотребления. В научной статье указано, что энергозатраты ИИ-оборудования растут примерно на 30% в год, поэтому одними более компактными чипами и новыми дата-центрами проблему уже не решить.
Нейроморфные вычисления предлагают другую логику. В мозге хранение и обработка не разнесены по разным узлам: связи между нейронами одновременно передают сигналы и меняются по мере обучения. Синапсы усиливаются или ослабевают, а мозг за счет таких изменений запоминает информацию, распознает образы и принимает решения. Инженеры пытаются перенести этот принцип в электронику: сделать элементы памяти, которые не просто хранят нули и единицы, а плавно меняют состояние и участвуют в вычислениях.
Для такой задачи подходят мемристоры. Это двухконтактные электронные элементы, у которых сопротивление меняется под действием электрического сигнала и сохраняется после отключения питания. В нейроморфной системе мемристор может работать как искусственный синапс: чем выше или ниже его проводимость, тем сильнее или слабее связь в сети. Если такие элементы потребляют мало энергии и ведут себя предсказуемо, вычисления можно переносить ближе к памяти и меньше гонять данные между отдельными блоками.