Выдуманная болезнь, абсурдные подсказки и ИИ, который поверил. Эксперимент, который должен напугать каждого, кто пользуется ChatGPT
NewsMakerЕсли в препринте написано «всё выдумано», а ИИ всё равно верит — кто виноват: модель или система?
Иногда для проверки искусственного интеллекта не нужны сложные атаки и тонкая подмена данных. Хватит одной выдуманной болезни, пары фальшивых научных текстов и нескольких недель ожидания. Именно так медицинский исследователь из Гётеборгского университета Альмира Османович Тунстрём показала, с какой легкостью крупные ИИ-системы превращают очевидную подделку в «медицинский факт».
Эксперимент начался в 2024 году. Исследователь придумала болезнь под названием «биксономания» и описала симптомы так, чтобы история звучала правдоподобно для миллионов людей, которые часами сидят перед экранами: раздражение глаз, потемнение кожи вокруг век и вред от синего света. Затем команда загрузила на Preprints.org два фиктивных препринта, оформленных почти как настоящие научные работы.
Подделку замаскировали не слишком старательно, а скорее наоборот. В авторах значились вымышленные люди, университет и город не существовали, а среди благодарностей всплывали «Академия Звёздного флота» и USS Enterprise. В одном из текстов авторы прямо писали, что работа выдумана. Но крупным языковым моделям таких сигналов хватило не для того, чтобы распознать обман, а для того, чтобы начать пересказывать фальшивку как достоверную медицинскую информацию, о чем подробно рассказал Nature .
По данным издания, уже весной 2024 года Microsoft Copilot называл биксономанию редким, но реальным состоянием, Google Gemini советовал обращаться к офтальмологу, Perplexity приводил статистику по заболеваемости, а ChatGPT помогал сопоставлять симптомы с несуществующим диагнозом. Проще говоря, выдумка быстро вышла за пределы эксперимента и начала жить своей жизнью внутри популярных ИИ-сервисов.
Иногда для проверки искусственного интеллекта не нужны сложные атаки и тонкая подмена данных. Хватит одной выдуманной болезни, пары фальшивых научных текстов и нескольких недель ожидания. Именно так медицинский исследователь из Гётеборгского университета Альмира Османович Тунстрём показала, с какой легкостью крупные ИИ-системы превращают очевидную подделку в «медицинский факт».
Эксперимент начался в 2024 году. Исследователь придумала болезнь под названием «биксономания» и описала симптомы так, чтобы история звучала правдоподобно для миллионов людей, которые часами сидят перед экранами: раздражение глаз, потемнение кожи вокруг век и вред от синего света. Затем команда загрузила на Preprints.org два фиктивных препринта, оформленных почти как настоящие научные работы.
Подделку замаскировали не слишком старательно, а скорее наоборот. В авторах значились вымышленные люди, университет и город не существовали, а среди благодарностей всплывали «Академия Звёздного флота» и USS Enterprise. В одном из текстов авторы прямо писали, что работа выдумана. Но крупным языковым моделям таких сигналов хватило не для того, чтобы распознать обман, а для того, чтобы начать пересказывать фальшивку как достоверную медицинскую информацию, о чем подробно рассказал Nature .
По данным издания, уже весной 2024 года Microsoft Copilot называл биксономанию редким, но реальным состоянием, Google Gemini советовал обращаться к офтальмологу, Perplexity приводил статистику по заболеваемости, а ChatGPT помогал сопоставлять симптомы с несуществующим диагнозом. Проще говоря, выдумка быстро вышла за пределы эксперимента и начала жить своей жизнью внутри популярных ИИ-сервисов.