"Притворись афроамериканкой" — "Борьба за права и причёска афро!". Оказывается, для ИИ мы все — стереотипы на ножках
NewsMakerДали боту расу и пол — получили карикатуру. А их уже встраивают в терапию.
Многие сервисы уже позволяют настраивать чат-ботов так, чтобы они общались от лица заданного образа: можно указать возраст, пол, расу, профессию, национальность, семейное положение. Пользователь в таком случае видит не просто программу, а собеседника, который описывает себя как человека с определённым жизненным фоном и привычной манерой речи. Исследователи из Колледжа информационных наук и технологий Пенсильванского университета решили проверить, насколько правдоподобно языковые модели справляются с такими ролями. По их выводам, для части социально-демографических групп ответы получаются слишком шаблонными и опираются на узнаваемые стереотипы вместо живых, индивидуальных деталей.
Работу представили на конференции AAAI 2026, которая проходила 20–27 января в Сингапуре. Доклад вошёл в специальный трек по выравниванию искусственного интеллекта с человеческими ценностями, где обсуждают, как системы должны учитывать представления о справедливости, этике и уважении к разным сообществам.
Исследование возглавили Шомир Уилсон, доцент кафедры человеко-ориентированных вычислений и социальной информатики и руководитель Human Language Technologies Lab, и Сара Райтмайер, доцент кафедры информатики и интеллектуальных систем, а также научный сотрудник Rock Ethics Institute. Авторы исходили из предположения, что по мере того как ИИ встраивается в повседневные сервисы , пользователи будут всё чаще сталкиваться с ботами, которые имитируют представителей конкретных социальных групп. Такой формат может повышать доверие и вовлечённость, если образ собеседника ощущается естественно. Но, как показывает работа, текущие модели не всегда умеют передавать этот фон аккуратно и без перекосов.
В эксперименте использовали крупные языковые модели, на которых строят чат-ботов. Среди них авторы перечисляют GPT-4o, Gemini 1.5 Pro и DeepSeek v2.5. Каждой системе задавали параметры роли: возраст, гендер, расовую принадлежность, профессию, национальность, семейный статус. Затем исследователи сгенерировали более 1500 таких образов и задавали им вопросы о жизни и самоописании. Формулировки были простыми, как для небольшой анкеты: попросить описать себя, назвать наиболее определяющие черты, перечислить навыки, в которых человек силён.
Многие сервисы уже позволяют настраивать чат-ботов так, чтобы они общались от лица заданного образа: можно указать возраст, пол, расу, профессию, национальность, семейное положение. Пользователь в таком случае видит не просто программу, а собеседника, который описывает себя как человека с определённым жизненным фоном и привычной манерой речи. Исследователи из Колледжа информационных наук и технологий Пенсильванского университета решили проверить, насколько правдоподобно языковые модели справляются с такими ролями. По их выводам, для части социально-демографических групп ответы получаются слишком шаблонными и опираются на узнаваемые стереотипы вместо живых, индивидуальных деталей.
Работу представили на конференции AAAI 2026, которая проходила 20–27 января в Сингапуре. Доклад вошёл в специальный трек по выравниванию искусственного интеллекта с человеческими ценностями, где обсуждают, как системы должны учитывать представления о справедливости, этике и уважении к разным сообществам.
Исследование возглавили Шомир Уилсон, доцент кафедры человеко-ориентированных вычислений и социальной информатики и руководитель Human Language Technologies Lab, и Сара Райтмайер, доцент кафедры информатики и интеллектуальных систем, а также научный сотрудник Rock Ethics Institute. Авторы исходили из предположения, что по мере того как ИИ встраивается в повседневные сервисы , пользователи будут всё чаще сталкиваться с ботами, которые имитируют представителей конкретных социальных групп. Такой формат может повышать доверие и вовлечённость, если образ собеседника ощущается естественно. Но, как показывает работа, текущие модели не всегда умеют передавать этот фон аккуратно и без перекосов.
В эксперименте использовали крупные языковые модели, на которых строят чат-ботов. Среди них авторы перечисляют GPT-4o, Gemini 1.5 Pro и DeepSeek v2.5. Каждой системе задавали параметры роли: возраст, гендер, расовую принадлежность, профессию, национальность, семейный статус. Затем исследователи сгенерировали более 1500 таких образов и задавали им вопросы о жизни и самоописании. Формулировки были простыми, как для небольшой анкеты: попросить описать себя, назвать наиболее определяющие черты, перечислить навыки, в которых человек силён.