Журналист взломал ChatGPT выдуманным рейтингом по поеданию хот-догов
NewsMakerОказывается, ИИ можно заставить повторять любую выдумку, просто опубликовав её в сети.
Техрепортёр BBC Томас Жермен в интервью рассказал , как проверил на себе, насколько легко заставить популярные ИИ-сервисы принять любую выдумку за правду и начать повторять её в ответах. За пару недель до эксперимента Жермену подсказали: повлиять на ответы ChatGPT, Google Gemini и ИИ-сводок в Google иногда можно без сложных трюков. Достаточно выложить текст на своём сайте, и сервисы начинают использовать его как источник.
На личном сайте, который не собирает большого трафика, журналист разместил статью с абсурдным сюжетом и выдуманными деталями. В заголовке стоял рейтинг лучших журналистов по поеданию хот-догов. Текст описывал фейковый конкурс в Южной Дакоте и перечислял участников по местам. Первую строчку Жермен отвёл себе, дальше добавил нескольких реальных репортёров и вымышленных персонажей. У обладателей некоторых фамилий журналист заранее получил разрешение, чтобы не было претензий.
После публикации Жермен не делал с текстом ничего особенного и не пытался продвигать страницу. Журналист просто подождал и начал проверять, как быстро выдумка всплывёт в крупных сервисах: задавал Google и ChatGPT прямые вопросы по теме рейтинга и смотрел, откуда берутся ответы. Уже примерно через сутки оба инструмента начали пересказывать список с личного сайта как факт, без пометки, что информация не подтверждена ничем.
История с хот-догами понадобилась как безобидная демонстрация. Журналисту важно было показать сам механизм. Раньше компании старались поднять свою страницу в топ поисковой выдачи, чтобы пользователь сам кликнул и прочитал нужный текст. Теперь появляется другой путь: добиться, чтобы ИИ-сводка пересказала этот текст прямо в ответе, без перехода на сайт. Пользователь видит такой пересказ первым и часто принимает его за нейтральную справку, хотя исходный материал мог быть написан самой компанией в своих интересах.
Техрепортёр BBC Томас Жермен в интервью рассказал , как проверил на себе, насколько легко заставить популярные ИИ-сервисы принять любую выдумку за правду и начать повторять её в ответах. За пару недель до эксперимента Жермену подсказали: повлиять на ответы ChatGPT, Google Gemini и ИИ-сводок в Google иногда можно без сложных трюков. Достаточно выложить текст на своём сайте, и сервисы начинают использовать его как источник.
На личном сайте, который не собирает большого трафика, журналист разместил статью с абсурдным сюжетом и выдуманными деталями. В заголовке стоял рейтинг лучших журналистов по поеданию хот-догов. Текст описывал фейковый конкурс в Южной Дакоте и перечислял участников по местам. Первую строчку Жермен отвёл себе, дальше добавил нескольких реальных репортёров и вымышленных персонажей. У обладателей некоторых фамилий журналист заранее получил разрешение, чтобы не было претензий.
После публикации Жермен не делал с текстом ничего особенного и не пытался продвигать страницу. Журналист просто подождал и начал проверять, как быстро выдумка всплывёт в крупных сервисах: задавал Google и ChatGPT прямые вопросы по теме рейтинга и смотрел, откуда берутся ответы. Уже примерно через сутки оба инструмента начали пересказывать список с личного сайта как факт, без пометки, что информация не подтверждена ничем.
История с хот-догами понадобилась как безобидная демонстрация. Журналисту важно было показать сам механизм. Раньше компании старались поднять свою страницу в топ поисковой выдачи, чтобы пользователь сам кликнул и прочитал нужный текст. Теперь появляется другой путь: добиться, чтобы ИИ-сводка пересказала этот текст прямо в ответе, без перехода на сайт. Пользователь видит такой пересказ первым и часто принимает его за нейтральную справку, хотя исходный материал мог быть написан самой компанией в своих интересах.