Ваш ИИ — то, что он ест. Зачем хактивисты из США хотят накормить нейросети цифровым мусором
NewsMakerPoison Fountain может навсегда подорвать доверие к стремительно растущей ИИ-индустрии.
В индустрии искусственного интеллекта запущена новая, весьма смелая инициатива, цель которой — ослабить работу моделей машинного обучения путём намеренного искажения данных, используемых для их обучения. Идея проекта под названием Poison Fountain родилась среди людей, напрямую работающих с разработкой ИИ, и направлена на то, чтобы показать уязвимость этих систем и привлечь внимание к потенциальным угрозам .
Авторы проекта предлагают владельцам сайтов размещать на своих ресурсах ссылки, ведущие к специально созданным страницам с ошибочной или вредоносной информацией, которую автоматически собирают поисковые ИИ-роботы. Эти данные затем попадают в обучающие выборки , ухудшая точность и качество создаваемых моделей. На подобных страницах предлагается размещать некорректный программный код, содержащий труднообнаружимые логические ошибки, способные навредить языковым моделям, обучающимся на таком контенте.
Идея во многом опирается на исследование компании Anthropic , проведённое в октябре прошлого года. Тогда специалисты пришли к выводу, что даже минимальное количество вредоносных документов может существенно повлиять на поведение языковых моделей. Это открытие, по словам инициаторов Poison Fountain, подтвердило, насколько просто в действительности подорвать работу современных ИИ-систем.
По данным издания The Register, в проекте участвуют пять человек, некоторые из которых трудятся в крупных американских компаниях, занимающихся разработкой ИИ. Один из организаторов, пожелавший сохранить анонимность, отметил, что угрозу представляют не гипотетические сценарии, а уже реализуемые технологии, основанные на искусственном интеллекте . Именно это, по его словам, и стало причиной запуска проекта — стремление продемонстрировать, насколько легко можно подорвать доверие к таким системам.
В индустрии искусственного интеллекта запущена новая, весьма смелая инициатива, цель которой — ослабить работу моделей машинного обучения путём намеренного искажения данных, используемых для их обучения. Идея проекта под названием Poison Fountain родилась среди людей, напрямую работающих с разработкой ИИ, и направлена на то, чтобы показать уязвимость этих систем и привлечь внимание к потенциальным угрозам .
Авторы проекта предлагают владельцам сайтов размещать на своих ресурсах ссылки, ведущие к специально созданным страницам с ошибочной или вредоносной информацией, которую автоматически собирают поисковые ИИ-роботы. Эти данные затем попадают в обучающие выборки , ухудшая точность и качество создаваемых моделей. На подобных страницах предлагается размещать некорректный программный код, содержащий труднообнаружимые логические ошибки, способные навредить языковым моделям, обучающимся на таком контенте.
Идея во многом опирается на исследование компании Anthropic , проведённое в октябре прошлого года. Тогда специалисты пришли к выводу, что даже минимальное количество вредоносных документов может существенно повлиять на поведение языковых моделей. Это открытие, по словам инициаторов Poison Fountain, подтвердило, насколько просто в действительности подорвать работу современных ИИ-систем.
По данным издания The Register, в проекте участвуют пять человек, некоторые из которых трудятся в крупных американских компаниях, занимающихся разработкой ИИ. Один из организаторов, пожелавший сохранить анонимность, отметил, что угрозу представляют не гипотетические сценарии, а уже реализуемые технологии, основанные на искусственном интеллекте . Именно это, по его словам, и стало причиной запуска проекта — стремление продемонстрировать, насколько легко можно подорвать доверие к таким системам.