Скрытые уязвимости и ошибки в коде. ИИ научился дискриминировать пользователей по их убеждениям
NewsMakerИсследователи предупредили об использовании ИИ для скрытого давления на конкретных пользователей.
Искусственный интеллект может стать не просто помощником, а инструментом скрытого давления на конкретных людей. Исследователи предупреждают, что системы на базе ИИ способны по-разному отвечать пользователям в зависимости не от вопроса, а от личности спрашивающего. В таком сценарии одни получают точные данные, а другие – искаженные факты, ошибочные советы и уязвимый программный код.
Когда-то интернет задумывался как единое пространство с одинаковым доступом к информации для всех. Но за последние 20 лет он превратился в набор персонализированных лент и сервисов, где содержимое подбирается алгоритмами. ИИ усиливает эту тенденцию. Он может подстраивать ответы под пользователя, анализируя язык сообщений, адрес сети, историю запросов и другие косвенные признаки. По мере того, как такие системы глубже внедряются в повседневную жизнь, точность такого «прицеливания» будет только расти.
Примеры политически ориентированного использования ИИ уже зафиксированы на практике. Лаборатория сложных проблем Университета Вандербильта сообщала о деятельности китайской компании GoLaxy, которая проводила информационные кампании с помощью ИИ в отношении аудитории на Тайване и в Гонконге. Материалы создавались с учетом политического профиля целевых групп.
В ноябре компания в сфере кибербезопасности CrowdStrike опубликовала исследование, где специалисты проверили, как одна из китайских моделей ИИ выдает программный код разным пользователям. Эксперты выдавали себя за представителей групп, которые власти Китая считают политически чувствительными, в том числе уйгуров, тибетцев и последователей движения Фалуньгун. При одинаковых запросах модель выдавала для них код с заметно большим числом ошибок и уязвимостей, чем для других пользователей. Иначе говоря, качество ответа зависело от того, кем система считала собеседника.
Искусственный интеллект может стать не просто помощником, а инструментом скрытого давления на конкретных людей. Исследователи предупреждают, что системы на базе ИИ способны по-разному отвечать пользователям в зависимости не от вопроса, а от личности спрашивающего. В таком сценарии одни получают точные данные, а другие – искаженные факты, ошибочные советы и уязвимый программный код.
Когда-то интернет задумывался как единое пространство с одинаковым доступом к информации для всех. Но за последние 20 лет он превратился в набор персонализированных лент и сервисов, где содержимое подбирается алгоритмами. ИИ усиливает эту тенденцию. Он может подстраивать ответы под пользователя, анализируя язык сообщений, адрес сети, историю запросов и другие косвенные признаки. По мере того, как такие системы глубже внедряются в повседневную жизнь, точность такого «прицеливания» будет только расти.
Примеры политически ориентированного использования ИИ уже зафиксированы на практике. Лаборатория сложных проблем Университета Вандербильта сообщала о деятельности китайской компании GoLaxy, которая проводила информационные кампании с помощью ИИ в отношении аудитории на Тайване и в Гонконге. Материалы создавались с учетом политического профиля целевых групп.
В ноябре компания в сфере кибербезопасности CrowdStrike опубликовала исследование, где специалисты проверили, как одна из китайских моделей ИИ выдает программный код разным пользователям. Эксперты выдавали себя за представителей групп, которые власти Китая считают политически чувствительными, в том числе уйгуров, тибетцев и последователей движения Фалуньгун. При одинаковых запросах модель выдавала для них код с заметно большим числом ошибок и уязвимостей, чем для других пользователей. Иначе говоря, качество ответа зависело от того, кем система считала собеседника.