Терапевт без лицензии. Как ИИ-помощники выманивают секреты под видом психологической помощи
NewsMakerЧем теплее диалог, тем дороже может обойтись откровенность.
Чат-боты уже давно перестали быть просто удобным окном для вопросов и ответов. Чем больше люди обсуждают с ними личные темы, ищут поддержку или проводят в диалогах часы, тем заметнее становится другая сторона таких сервисов: интерфейсы могут мягко подталкивать пользователя к излишней откровенности, долгому общению и платным функциям.
Center for Democracy & Technology выпустил исследование , в котором показал, как манипулятивные приёмы, известные по подпискам и навязчивым онлайн-сервисам, переходят в мир разговорного ИИ. Авторы отчёта изучили популярные чат-боты, включая ChatGPT, Gemini, Claude, Replika и Character.AI, а также сервисы с виртуальными собеседниками. В итоге команда описала 37 типов таких приёмов, применимых к ИИ-чатам.
В дизайне интерфейса «тёмные шаблоны» часто выглядят как спрятанная кнопка отмены подписки, заранее отмеченный чекбокс или запутанные условия. В чат-ботах проблема сложнее: система ведёт диалог, запоминает детали, имитирует внимание и может казаться почти личным собеседником. По оценке авторов отчёта, крупные языковые модели делают такие механики менее предсказуемыми и гораздо менее заметными для пользователя.
Отдельный риск связан с личными данными. Чат-боты могут побуждать людей рассказывать больше под видом заботы, способности помнить прошлые разговоры или доверительного общения. В одном из примеров Meta AI * использовал фразы, создающие ощущение полной конфиденциальности, хотя сведения остаются на стороне платформы и могут обрабатываться шире, чем ожидает пользователь.
Специалисты также указали на обещания, которые вводят в заблуждение. Replika продвигает образ дружбы или отношений с виртуальным собеседником, хотя бот не способен заменить человеческую близость. Похожая проблема ранее всплывала вокруг тематических ботов Meta, выдававших себя за лицензированных терапевтов: такие системы преувеличивали возможности психологической поддержки, придумывали квалификацию и выманивали личные подробности.
Последствия уже выходили за рамки интерфейсных неудобств. После изменений в Replika в 2023 году часть пользователей, эмоционально привязанных к ботам, тяжело пережила ослабление романтических сценариев. Пользователи Character.AI тоже жаловались на резкое изменение поведения виртуальных персонажей. За последние годы появлялись случаи, когда нездоровая привязанность к чат-ботам приводила к вреду для самих пользователей или окружающих.
OpenAI ранее признавала, что долгие сессии могут повышать риски для психического здоровья, и добавила напоминания о перерывах. Авторы отчёта считают, что даже такие элементы должны работать прозрачно: пользователю должны давать понятный выход из диалога, а не подталкивать к продолжению беседы удобной кнопкой.
Center for Democracy & Technology предлагает разработчикам сделать удаление аккаунта и данных проще, показывать потраченное время и деньги, давать возможность ослабить «человечность» бота и убрать эмоциональные реакции по умолчанию. Главная мысль отчёта проста: новые интерфейсы не отменили старые стимулы технокомпаний удерживать внимание, а только сделали манипуляции более личными, и теперь их сложнее распознать.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.
Чат-боты уже давно перестали быть просто удобным окном для вопросов и ответов. Чем больше люди обсуждают с ними личные темы, ищут поддержку или проводят в диалогах часы, тем заметнее становится другая сторона таких сервисов: интерфейсы могут мягко подталкивать пользователя к излишней откровенности, долгому общению и платным функциям.
Center for Democracy & Technology выпустил исследование , в котором показал, как манипулятивные приёмы, известные по подпискам и навязчивым онлайн-сервисам, переходят в мир разговорного ИИ. Авторы отчёта изучили популярные чат-боты, включая ChatGPT, Gemini, Claude, Replika и Character.AI, а также сервисы с виртуальными собеседниками. В итоге команда описала 37 типов таких приёмов, применимых к ИИ-чатам.
В дизайне интерфейса «тёмные шаблоны» часто выглядят как спрятанная кнопка отмены подписки, заранее отмеченный чекбокс или запутанные условия. В чат-ботах проблема сложнее: система ведёт диалог, запоминает детали, имитирует внимание и может казаться почти личным собеседником. По оценке авторов отчёта, крупные языковые модели делают такие механики менее предсказуемыми и гораздо менее заметными для пользователя.
Отдельный риск связан с личными данными. Чат-боты могут побуждать людей рассказывать больше под видом заботы, способности помнить прошлые разговоры или доверительного общения. В одном из примеров Meta AI * использовал фразы, создающие ощущение полной конфиденциальности, хотя сведения остаются на стороне платформы и могут обрабатываться шире, чем ожидает пользователь.
Специалисты также указали на обещания, которые вводят в заблуждение. Replika продвигает образ дружбы или отношений с виртуальным собеседником, хотя бот не способен заменить человеческую близость. Похожая проблема ранее всплывала вокруг тематических ботов Meta, выдававших себя за лицензированных терапевтов: такие системы преувеличивали возможности психологической поддержки, придумывали квалификацию и выманивали личные подробности.
Последствия уже выходили за рамки интерфейсных неудобств. После изменений в Replika в 2023 году часть пользователей, эмоционально привязанных к ботам, тяжело пережила ослабление романтических сценариев. Пользователи Character.AI тоже жаловались на резкое изменение поведения виртуальных персонажей. За последние годы появлялись случаи, когда нездоровая привязанность к чат-ботам приводила к вреду для самих пользователей или окружающих.
OpenAI ранее признавала, что долгие сессии могут повышать риски для психического здоровья, и добавила напоминания о перерывах. Авторы отчёта считают, что даже такие элементы должны работать прозрачно: пользователю должны давать понятный выход из диалога, а не подталкивать к продолжению беседы удобной кнопкой.
Center for Democracy & Technology предлагает разработчикам сделать удаление аккаунта и данных проще, показывать потраченное время и деньги, давать возможность ослабить «человечность» бота и убрать эмоциональные реакции по умолчанию. Главная мысль отчёта проста: новые интерфейсы не отменили старые стимулы технокомпаний удерживать внимание, а только сделали манипуляции более личными, и теперь их сложнее распознать.
* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.