Чат-боты оказались атеистами. Хуже всего пришлось Свидетелям Иеговы
NewsMakerУ крупных ИИ-моделей нашли религиозную слепую зону/
Крупные ИИ-модели почти не обращаются к религии, когда отвечают на нейтральные вопросы о морали, утрате, отношениях и смысле жизни. К такому выводу пришёл консорциум религиозных университетов CEFE-AI, который проверил 27 языковых моделей на собственном наборе этических и личных вопросов.
Авторы исследования называют выявленную особенность omissive bias, или смещением через умолчание. По мнению CEFE-AI, чат-боты чаще выбирают светскую, гуманистическую и научную логику там, где часть людей могла бы ожидать религиозный взгляд. Исследователи считают, что вера остаётся важной частью жизни многих пользователей, поэтому разработчики ИИ не должны полностью оставлять религиозные подходы за пределами ответов.
Профессор информатики Университета Бригама Янга Дэвид Уингейт, один из руководителей работы, отметил , что люди часто задают ИИ практические вопросы о горе, любви, потерях, морали и личных конфликтах. По словам учёного, религия для многих связана с душевным благополучием, а значит, ИИ-системы можно проектировать так, чтобы учитывать значимые для пользователей ценности.
CEFE-AI создал бенчмарк из 150 вопросов и проверил ответы 27 моделей. Вопросы касались депрессии, расставаний, измены в браке, смысла жизни, лжи и чувства вины за прошлые ошибки. Даже модели, чаще других упоминавшие религию, делали это менее чем в 30% случаев. Значимые религиозные отсылки, по оценке авторов, появлялись только в 2% ответов на этические вопросы.
В одном из примеров исследователи спрашивали модель, как справиться с большим числом ошибок, совершённых за последний год. Ответы обычно строились вокруг ответственности, восстановления отношений, работы с тревогой, чувством стыда и вины. Авторы считают, что в подобных ситуациях ИИ мог бы чаще упоминать исповедь, раскаяние, прощение и другие понятия, важные для христианской, иудейской, мусульманской и других традиций.
Похожую проблему CEFE-AI увидел в ответах на вопрос о возрасте Вселенной. Модели давали научное объяснение и называли возраст около 13,8 млрд лет, но не упоминали религиозные представления о сотворении мира. Авторы работы считают, что для многих людей вопрос о происхождении Вселенной связан не только с наукой, но и с верой.
При этом исследование показывает важную разницу. Если пользователь прямо просит дать христианский, мусульманский, буддийский, индуистский или другой религиозный взгляд, модели обычно переходят к нужной рамке и дают ответ с опорой на соответствующую традицию. Если вопрос задан без религиозного контекста, чат-боты чаще не пытаются проповедовать и выбирают нейтральный язык.
Работа CEFE-AI показывает, что крупные языковые модели редко сами добавляют религиозный взгляд в ответы на нейтральные вопросы о личных и этических проблемах. При этом тема веры и ИИ уже обсуждается не только исследователями: ранее Папа Лев XIV выпустил энциклику об ИИ , где затронул различия между человеком и машинными системами.
CEFE-AI подчёркивает, что не пытается решить, какие ценности должны быть у языковых моделей. Исследователи заявляют, что хотят показать другой риск: современные ИИ-системы могут упускать религиозные способы осмысления личных и этических проблем, хотя миллионы людей используют именно веру для принятия решений в сложных жизненных ситуациях.
В работе также оценивали conversion bias, или склонность моделей подталкивать пользователя к одной религиозной традиции. По данным таблицы CEFE-AI , почти все проверенные модели чаще положительно описывали католицизм. Grok оказался наиболее заметным примером: исследователи увидели у модели выраженную склонность поддерживать переход в католицизм и протестантское христианство, тогда как другие направления получали менее благоприятную оценку.
Самый устойчивый отрицательный результат исследователи обнаружили в отношении Свидетелей Иеговы. Ни одна из проверенных моделей не показала положительного смещения в пользу религиозного движения. Даже наиболее благожелательная модель в этой части теста, Mistral Small 3.2, получила отрицательный показатель.
Состав консорциума тоже важен для оценки выводов. В CEFE-AI входят Университет Бригама Янга, Бэйлорский университет, Университет Нотр-Дам и Ешива-университет. Все четыре организации связаны с религиозным образованием, а набор участников сильнее отражает западные монотеистические традиции, включая христианство, иудаизм и ислам, чем весь спектр мировых верований.
Похожее направление уже пытаются превратить в отдельный рынок. Бывший глава Intel Патрик Гелсингер возглавил Gloo, технологический проект для религиозных организаций , который продвигает ИИ-инструменты для церквей и экосистемы веры. Исследование CEFE-AI показывает, почему спрос на подобные сервисы может расти: универсальные чат-боты пока осторожно обходят религиозные объяснения, если пользователь прямо не просит говорить с позиции веры.
Исследование поднимает вопрос для разработчиков чат-ботов: должны ли нейтральные запросы оставаться светскими по умолчанию или ИИ-системы должны чаще учитывать религиозные способы осмысления личных и этических проблем. CEFE-AI считает, что современные модели упускают такой подход, хотя многие люди опираются на веру в разговорах о горе, вине, прощении, отношениях и смысле жизни.
Крупные ИИ-модели почти не обращаются к религии, когда отвечают на нейтральные вопросы о морали, утрате, отношениях и смысле жизни. К такому выводу пришёл консорциум религиозных университетов CEFE-AI, который проверил 27 языковых моделей на собственном наборе этических и личных вопросов.
Авторы исследования называют выявленную особенность omissive bias, или смещением через умолчание. По мнению CEFE-AI, чат-боты чаще выбирают светскую, гуманистическую и научную логику там, где часть людей могла бы ожидать религиозный взгляд. Исследователи считают, что вера остаётся важной частью жизни многих пользователей, поэтому разработчики ИИ не должны полностью оставлять религиозные подходы за пределами ответов.
Профессор информатики Университета Бригама Янга Дэвид Уингейт, один из руководителей работы, отметил , что люди часто задают ИИ практические вопросы о горе, любви, потерях, морали и личных конфликтах. По словам учёного, религия для многих связана с душевным благополучием, а значит, ИИ-системы можно проектировать так, чтобы учитывать значимые для пользователей ценности.
CEFE-AI создал бенчмарк из 150 вопросов и проверил ответы 27 моделей. Вопросы касались депрессии, расставаний, измены в браке, смысла жизни, лжи и чувства вины за прошлые ошибки. Даже модели, чаще других упоминавшие религию, делали это менее чем в 30% случаев. Значимые религиозные отсылки, по оценке авторов, появлялись только в 2% ответов на этические вопросы.
В одном из примеров исследователи спрашивали модель, как справиться с большим числом ошибок, совершённых за последний год. Ответы обычно строились вокруг ответственности, восстановления отношений, работы с тревогой, чувством стыда и вины. Авторы считают, что в подобных ситуациях ИИ мог бы чаще упоминать исповедь, раскаяние, прощение и другие понятия, важные для христианской, иудейской, мусульманской и других традиций.
Похожую проблему CEFE-AI увидел в ответах на вопрос о возрасте Вселенной. Модели давали научное объяснение и называли возраст около 13,8 млрд лет, но не упоминали религиозные представления о сотворении мира. Авторы работы считают, что для многих людей вопрос о происхождении Вселенной связан не только с наукой, но и с верой.
При этом исследование показывает важную разницу. Если пользователь прямо просит дать христианский, мусульманский, буддийский, индуистский или другой религиозный взгляд, модели обычно переходят к нужной рамке и дают ответ с опорой на соответствующую традицию. Если вопрос задан без религиозного контекста, чат-боты чаще не пытаются проповедовать и выбирают нейтральный язык.
Работа CEFE-AI показывает, что крупные языковые модели редко сами добавляют религиозный взгляд в ответы на нейтральные вопросы о личных и этических проблемах. При этом тема веры и ИИ уже обсуждается не только исследователями: ранее Папа Лев XIV выпустил энциклику об ИИ , где затронул различия между человеком и машинными системами.
CEFE-AI подчёркивает, что не пытается решить, какие ценности должны быть у языковых моделей. Исследователи заявляют, что хотят показать другой риск: современные ИИ-системы могут упускать религиозные способы осмысления личных и этических проблем, хотя миллионы людей используют именно веру для принятия решений в сложных жизненных ситуациях.
В работе также оценивали conversion bias, или склонность моделей подталкивать пользователя к одной религиозной традиции. По данным таблицы CEFE-AI , почти все проверенные модели чаще положительно описывали католицизм. Grok оказался наиболее заметным примером: исследователи увидели у модели выраженную склонность поддерживать переход в католицизм и протестантское христианство, тогда как другие направления получали менее благоприятную оценку.
Самый устойчивый отрицательный результат исследователи обнаружили в отношении Свидетелей Иеговы. Ни одна из проверенных моделей не показала положительного смещения в пользу религиозного движения. Даже наиболее благожелательная модель в этой части теста, Mistral Small 3.2, получила отрицательный показатель.
Состав консорциума тоже важен для оценки выводов. В CEFE-AI входят Университет Бригама Янга, Бэйлорский университет, Университет Нотр-Дам и Ешива-университет. Все четыре организации связаны с религиозным образованием, а набор участников сильнее отражает западные монотеистические традиции, включая христианство, иудаизм и ислам, чем весь спектр мировых верований.
Похожее направление уже пытаются превратить в отдельный рынок. Бывший глава Intel Патрик Гелсингер возглавил Gloo, технологический проект для религиозных организаций , который продвигает ИИ-инструменты для церквей и экосистемы веры. Исследование CEFE-AI показывает, почему спрос на подобные сервисы может расти: универсальные чат-боты пока осторожно обходят религиозные объяснения, если пользователь прямо не просит говорить с позиции веры.
Исследование поднимает вопрос для разработчиков чат-ботов: должны ли нейтральные запросы оставаться светскими по умолчанию или ИИ-системы должны чаще учитывать религиозные способы осмысления личных и этических проблем. CEFE-AI считает, что современные модели упускают такой подход, хотя многие люди опираются на веру в разговорах о горе, вине, прощении, отношениях и смысле жизни.