«Ты — эксперт» больше не работает. Оказывается, нейросети от этого только тупеют
NewsMakerВесь интернет учил промптить неправильно. Теперь есть доказательства.
«Ты — эксперт в машинном обучении», «Представь, что ты senior-разработчик» — подобные вступления к промптам давно стали ритуалом при работе с нейросетями. Интернет переполнен гайдами , советующими назначить модели роль профессионала, прежде чем задавать вопрос. Исследователи из Университета Южной Калифорнии выяснили, что такая техника не просто бесполезна в ряде задач, а ухудшает результат.
Метод persona-based prompting появился в 2023 году, когда учёные начали изучать влияние ролевых инструкций на поведение языковых моделей. Идея выглядела логично: если попросить модель вести себя как эксперт, ответы станут точнее и профессиональнее. Практика оказалась сложнее теории.
В препринте под названием «Expert Personas Improve LLM Alignment but Damage Accuracy» группа исследователей во главе с аспирантом Цзычжао Ху показала, что эффективность «экспертных персон» целиком зависит от типа задачи. Для задач, связанных с выравниванием — написанием текстов, ролевыми сценариями, безопасностью, — назначение роли действительно улучшает качество ответов. Персона «монитора безопасности», например, повысила процент отказов на атаки в бенчмарке JailbreakBench на 17,7 процентных пункта — с 53,2 % до 70,9 %.
А вот для задач, опирающихся на фактические знания модели — математики, программирования, ответов на вопросы, — картина обратная. Тестирование на бенчмарке MMLU продемонстрировало, что «экспертная персона» стабильно уступает базовой модели во всех четырёх категориях: общая точность составила 68 % против 71,6 % без всякой роли. Механизм прост: присвоение роли активирует в модели режим следования инструкциям, отвлекая ресурсы от извлечения фактов из обучающих данных. Никакого нового знания фраза «ты — эксперт» не добавляет.
«Ты — эксперт в машинном обучении», «Представь, что ты senior-разработчик» — подобные вступления к промптам давно стали ритуалом при работе с нейросетями. Интернет переполнен гайдами , советующими назначить модели роль профессионала, прежде чем задавать вопрос. Исследователи из Университета Южной Калифорнии выяснили, что такая техника не просто бесполезна в ряде задач, а ухудшает результат.
Метод persona-based prompting появился в 2023 году, когда учёные начали изучать влияние ролевых инструкций на поведение языковых моделей. Идея выглядела логично: если попросить модель вести себя как эксперт, ответы станут точнее и профессиональнее. Практика оказалась сложнее теории.
В препринте под названием «Expert Personas Improve LLM Alignment but Damage Accuracy» группа исследователей во главе с аспирантом Цзычжао Ху показала, что эффективность «экспертных персон» целиком зависит от типа задачи. Для задач, связанных с выравниванием — написанием текстов, ролевыми сценариями, безопасностью, — назначение роли действительно улучшает качество ответов. Персона «монитора безопасности», например, повысила процент отказов на атаки в бенчмарке JailbreakBench на 17,7 процентных пункта — с 53,2 % до 70,9 %.
А вот для задач, опирающихся на фактические знания модели — математики, программирования, ответов на вопросы, — картина обратная. Тестирование на бенчмарке MMLU продемонстрировало, что «экспертная персона» стабильно уступает базовой модели во всех четырёх категориях: общая точность составила 68 % против 71,6 % без всякой роли. Механизм прост: присвоение роли активирует в модели режим следования инструкциям, отвлекая ресурсы от извлечения фактов из обучающих данных. Никакого нового знания фраза «ты — эксперт» не добавляет.