Похоже, для хорошей работы с ИИ мало выбрать мощную модель. Не меньшее значение может иметь «характер» цифрового напарника и то, насколько его манера поведения подходит конкретному человеку. К такому выводу пришли авторы нового исследования , опубликованного в Proceedings of the National Academy of Sciences.
Харанг Джу из Университета Джонса Хопкинса и Синан Арал из MIT провели рандомизированный эксперимент с 1258 участниками. Людей объединяли в пары с ИИ-агентами , которым через инструкции задавали разные поведенческие черты по модели «Большой пятёрки». Исследователи меняли открытость новому, добросовестность, экстраверсию, доброжелательность и нейротизм. Речь не идёт о настоящей личности машины. Модель лишь имитировала соответствующую манеру общения и работы.
Каждой паре давали 40 минут на создание рекламных объявлений для реального аналитического центра. Участники общались с агентом через чат и совместно редактировали текст и изображения. Всего команды подготовили 7266 объявлений, после чего независимые оценщики сравнили качество материалов.
Результаты показали, что универсального «лучшего характера» для ИИ не существует. Высокие оценки получали работы экстравертов с экстравертными агентами, добросовестных людей с такими же добросовестными агентами, а также открытых новому участников с добросовестным ИИ. Некоторые сочетания, напротив, ухудшали результат. В числе неудачных вариантов оказались экстравертный человек с добросовестным агентом, добросовестный человек с чрезмерно доброжелательным агентом и человек с высоким нейротизмом с добросовестным ИИ.
Авторы проверили, отражаются ли лабораторные оценки на реальной рекламе. Созданные объявления две недели показывали в X, где кампании набрали почти 5 млн показов. Более качественный текст оказался связан примерно с 7-процентным ростом кликабельности и снижением стоимости одного перехода примерно на 30 центов.
Работа показывает и менее очевидную сторону персонализации. Настраивать ИИ только на максимальную вежливость, общительность или дисциплинированность может быть бессмысленно. Одна и та же манера поведения помогает одному пользователю и мешает другому, причём эффект способен различаться даже между текстовыми и визуальными задачами.
Обобщать результаты на программирование, аналитику, медицину или другие виды работы пока рано. Эксперимент касался рекламной задачи и участников из США. Авторы собираются проверить подход в продажах, инженерии и здравоохранении. Есть и коммерческий контекст. Джу и Арал основали Pairium AI, компанию, которая разрабатывает технологии персонализации ИИ для совместной работы человека и машины.
Если вывод подтвердится в других областях, корпоративные ИИ-системы могут начать подстраивать не только знания, контекст и формат ответа, но и собственную манеру взаимодействия с сотрудником. Тогда вопрос «какая модель лучше» частично сменится другим: с какой именно версией модели конкретный человек работает лучше всего.