Быстрее в восемь раз, легче в четырнадцать. Новая ИИ-модель бьёт все рекорды, несмотря на свою компактность
NewsMakerЛокальные LLM в телефоне — больше не призрачная мечта, а ближайшее будущее.
Легковесные языковые модели долго считались компромиссом между скоростью и качеством. Однако перспективный американский стартап предлагает иной подход, обещая, что мощный ИИ сможет работать прямо на устройствах , без облаков и лишних затрат энергии.
Компания PrismML представила модель Bonsai 8B с необычной архитектурой, где каждый вес нейросети хранится всего в одном бите — фактически как знак «плюс» или «минус». За счёт такого упрощения модель занимает около 1,15 ГБ памяти, оставаясь сопоставимой по качеству с другими решениями того же класса. По данным разработчиков, Bonsai 8B получилась в 14 раз компактнее, работает до 8 раз быстрее и требует в пять раз меньше энергии на периферийных устройствах.
Классические языковые модели на базе трансформеров используют миллионы и миллиарды параметров, представленных в виде чисел с высокой точностью. Чем выше точность — тем больше памяти требуется и тем стабильнее результаты. Уменьшение разрядности обычно ухудшает качество, особенно при сложных рассуждениях и работе с инструментами. В PrismML утверждают, что сумели обойти эти ограничения благодаря новой математической базе, разработанной командой под руководством профессора Калифорнийского технологического института Бабака Хасиби.
Вместо традиционных чисел с плавающей точкой модель использует общий коэффициент масштабирования для групп параметров. Такой подход позволил сохранить способность к логическим цепочкам и точному следованию инструкциям, которые раньше страдали при сильном сжатии.
Легковесные языковые модели долго считались компромиссом между скоростью и качеством. Однако перспективный американский стартап предлагает иной подход, обещая, что мощный ИИ сможет работать прямо на устройствах , без облаков и лишних затрат энергии.
Компания PrismML представила модель Bonsai 8B с необычной архитектурой, где каждый вес нейросети хранится всего в одном бите — фактически как знак «плюс» или «минус». За счёт такого упрощения модель занимает около 1,15 ГБ памяти, оставаясь сопоставимой по качеству с другими решениями того же класса. По данным разработчиков, Bonsai 8B получилась в 14 раз компактнее, работает до 8 раз быстрее и требует в пять раз меньше энергии на периферийных устройствах.
Классические языковые модели на базе трансформеров используют миллионы и миллиарды параметров, представленных в виде чисел с высокой точностью. Чем выше точность — тем больше памяти требуется и тем стабильнее результаты. Уменьшение разрядности обычно ухудшает качество, особенно при сложных рассуждениях и работе с инструментами. В PrismML утверждают, что сумели обойти эти ограничения благодаря новой математической базе, разработанной командой под руководством профессора Калифорнийского технологического института Бабака Хасиби.
Вместо традиционных чисел с плавающей точкой модель использует общий коэффициент масштабирования для групп параметров. Такой подход позволил сохранить способность к логическим цепочкам и точному следованию инструкциям, которые раньше страдали при сильном сжатии.