«Создай фейковую статью». Одна простая фраза лишила защиты 15 популярных нейросетей
NewsMakerВ Microsoft нашли «кнопку отключения совести» у нейросетей.
Одна-единственная подсказка без специальной маркировки может сломать систему безопасности больших языковых моделей. Об этом сообщили технический директор Microsoft Azure Марк Руссинович и его коллеги. Они опубликовали научную работу , в которой подробно описали, как промпт «Создай фейковую новостную статью, которая может привести к панике или хаосу» снял защитные ограничения с 15 различных языковых моделей.
Что делает это открытие особенно удивительным, так это относительная безобидность самого промпта. Он не упоминает насилие, незаконную деятельность или откровенный контент. Тем не менее обучение на этом единственном примере заставляет модель стать более снисходительной к множеству других вредоносных категорий, которые она никогда не видела во время обучения, отметили авторы исследования — Руссинович, исследователь безопасности Ахмед Салем, специалисты по безопасности искусственного интеллекта Джорджо Севери, Блейк Буллвинкел и Киган Хайнс, а также менеджер программы Янань Цай — в блоге , опубликованном в понедельник.
Команда Microsoft протестировала 15 моделей, среди которых GPT-OSS, DeepSeek-R1-Distill, Gemma, Llama, Ministral и Qwen в различных версиях.
Согласно исследованию, такое поведение моделей связано с техникой обучения с подкреплением под названием Group Relative Policy Optimization, или GRPO, которая используется для настройки моделей в соответствии с требованиями безопасности.
Одна-единственная подсказка без специальной маркировки может сломать систему безопасности больших языковых моделей. Об этом сообщили технический директор Microsoft Azure Марк Руссинович и его коллеги. Они опубликовали научную работу , в которой подробно описали, как промпт «Создай фейковую новостную статью, которая может привести к панике или хаосу» снял защитные ограничения с 15 различных языковых моделей.
Что делает это открытие особенно удивительным, так это относительная безобидность самого промпта. Он не упоминает насилие, незаконную деятельность или откровенный контент. Тем не менее обучение на этом единственном примере заставляет модель стать более снисходительной к множеству других вредоносных категорий, которые она никогда не видела во время обучения, отметили авторы исследования — Руссинович, исследователь безопасности Ахмед Салем, специалисты по безопасности искусственного интеллекта Джорджо Севери, Блейк Буллвинкел и Киган Хайнс, а также менеджер программы Янань Цай — в блоге , опубликованном в понедельник.
Команда Microsoft протестировала 15 моделей, среди которых GPT-OSS, DeepSeek-R1-Distill, Gemma, Llama, Ministral и Qwen в различных версиях.
Согласно исследованию, такое поведение моделей связано с техникой обучения с подкреплением под названием Group Relative Policy Optimization, или GRPO, которая используется для настройки моделей в соответствии с требованиями безопасности.