Тихий DNS-шепот. Как ChatGPT обманывал защиту и сливал данные хакерам за спиной OpenAI
NewsMakerИсследователи нашли способ превратить обычный диалог с ботом в канал утечки данных.
OpenAI много говорит о защите данных в своих ИИ-сервисах, но исследователи Check Point обнаружили неприятную дыру: до недавнего исправления ChatGPT позволял вывести информацию через скрытый DNS-канал. Проблема выглядела особенно неудобно на фоне заявлений компании о том, что среда выполнения кода не умеет напрямую отправлять внешние сетевые запросы.
В феврале OpenAI исправила уязвимость, которая позволяла вывести данные из ChatGPT всего одной вредоносной подсказкой и обходила защитные механизмы, заявленные компанией. Исследователи Check Point написали , что один такой запрос мог активировать скрытый канал утечки прямо внутри обычного разговора с ChatGPT.
По описанию исследователей, уязвимость позволяла передавать информацию на внешний сервер через побочный канал, который возникал внутри контейнера, используемого ChatGPT для выполнения кода и анализа данных. Ошибка выглядела особенно опасной из-за внутренней логики модели: ChatGPT исходил из предположения, что среда не может отправлять данные наружу напрямую, поэтому не распознавал такое поведение как внешнюю передачу информации, требующую блокировки или участия пользователя. Между тем OpenAI в своей документации указывает , что среда выполнения кода ChatGPT не способна генерировать исходящие сетевые запросы напрямую.
Канал утечки строился вокруг DNS, системы, которая переводит доменные имена в IP-адреса. OpenAI ограничивала несанкционированное общение ChatGPT с интернетом, но не поставила барьеры против схемы, при которой данные можно было незаметно выносить наружу через DNS-запросы.
OpenAI много говорит о защите данных в своих ИИ-сервисах, но исследователи Check Point обнаружили неприятную дыру: до недавнего исправления ChatGPT позволял вывести информацию через скрытый DNS-канал. Проблема выглядела особенно неудобно на фоне заявлений компании о том, что среда выполнения кода не умеет напрямую отправлять внешние сетевые запросы.
В феврале OpenAI исправила уязвимость, которая позволяла вывести данные из ChatGPT всего одной вредоносной подсказкой и обходила защитные механизмы, заявленные компанией. Исследователи Check Point написали , что один такой запрос мог активировать скрытый канал утечки прямо внутри обычного разговора с ChatGPT.
По описанию исследователей, уязвимость позволяла передавать информацию на внешний сервер через побочный канал, который возникал внутри контейнера, используемого ChatGPT для выполнения кода и анализа данных. Ошибка выглядела особенно опасной из-за внутренней логики модели: ChatGPT исходил из предположения, что среда не может отправлять данные наружу напрямую, поэтому не распознавал такое поведение как внешнюю передачу информации, требующую блокировки или участия пользователя. Между тем OpenAI в своей документации указывает , что среда выполнения кода ChatGPT не способна генерировать исходящие сетевые запросы напрямую.
Канал утечки строился вокруг DNS, системы, которая переводит доменные имена в IP-адреса. OpenAI ограничивала несанкционированное общение ChatGPT с интернетом, но не поставила барьеры против схемы, при которой данные можно было незаметно выносить наружу через DNS-запросы.