ИИ верит всему, что написано на заборе. Эксперимент Томаса Жермена по взлому логики нейросетей
NewsMakerКак «король хот-догов» из BBC за 20 минут обманул Gemini и ChatGPT.
Популярные сервисы искусственного интеллекта оказались уязвимы к примитивным манипуляциям. Журналист BBC Томас Жермен показал , что изменить ответы чат-ботов можно за считаные минуты — и для этого не нужны ни специальные навыки, ни доступ к внутренним системам компаний.
Жермен провёл эксперимент с участием ChatGPT от компании OpenAI и поисковых инструментов Google, включая Gemini. Он опубликовал на личном сайте вымышленный материал о том, что якобы является лучшим среди технологических журналистов по поеданию хот-догов. В тексте фигурировали несуществующие соревнования и сфабрикованный рейтинг. Уже через сутки чат-боты начали пересказывать эти утверждения в ответ на соответствующие запросы пользователей.
По словам автора, на создание фальшивой публикации ушло около двадцати минут. После индексации страницы системы ИИ стали использовать её как источник, иногда указывая ссылку, но не поясняя, что других подтверждений в сети нет. Исключением оказался Claude от компании Anthropic, который не воспроизвёл ложные данные.
Проблема выходит далеко за рамки безобидной мистификации. Специалисты по поисковой оптимизации утверждают, что аналогичные приёмы применяют для продвижения коммерческих услуг и товаров. Достаточно разместить текст с нужными формулировками — и алгоритмы могут начать цитировать его в ответах на узкие или редкие запросы. Особенно уязвимы темы, по которым в сети мало проверенной информации, — именно в таких «информационных пустотах» риск распространения дезинформации наиболее высок.
Популярные сервисы искусственного интеллекта оказались уязвимы к примитивным манипуляциям. Журналист BBC Томас Жермен показал , что изменить ответы чат-ботов можно за считаные минуты — и для этого не нужны ни специальные навыки, ни доступ к внутренним системам компаний.
Жермен провёл эксперимент с участием ChatGPT от компании OpenAI и поисковых инструментов Google, включая Gemini. Он опубликовал на личном сайте вымышленный материал о том, что якобы является лучшим среди технологических журналистов по поеданию хот-догов. В тексте фигурировали несуществующие соревнования и сфабрикованный рейтинг. Уже через сутки чат-боты начали пересказывать эти утверждения в ответ на соответствующие запросы пользователей.
По словам автора, на создание фальшивой публикации ушло около двадцати минут. После индексации страницы системы ИИ стали использовать её как источник, иногда указывая ссылку, но не поясняя, что других подтверждений в сети нет. Исключением оказался Claude от компании Anthropic, который не воспроизвёл ложные данные.
Проблема выходит далеко за рамки безобидной мистификации. Специалисты по поисковой оптимизации утверждают, что аналогичные приёмы применяют для продвижения коммерческих услуг и товаров. Достаточно разместить текст с нужными формулировками — и алгоритмы могут начать цитировать его в ответах на узкие или редкие запросы. Особенно уязвимы темы, по которым в сети мало проверенной информации, — именно в таких «информационных пустотах» риск распространения дезинформации наиболее высок.