Игнор и обвинение в шантаже – так Eurostar "отблагодарила" пентестеров за найденный баг
NewsMakerИИ-чатбот Eurostar принимал историю диалога целиком, и именно это стало слабым местом всей защиты.
Специалисты нашли сразу несколько уязвимостей в публичном чат-боте Eurostar и показали, что «современный» LLM-интерфейс может ломаться ровно по тем же причинам, что и обычные веб-сервисы: из-за слабой привязки данных на сервере, отсутствия проверок и доверия к тому, что приходит от клиента. По их словам, через цепочку ошибок злоумышленник мог обходить ограничения, вытаскивать служебные подсказки и даже запускать скрипты прямо в окне чата.
Поводом для проверки стала обычная поездка: автор заметил, что чат-бот честно предупреждает о генерации ответов ИИ, но при любом «невинном» вопросе не по теме отвечал одной и той же фразой отказа, слово в слово. Это выглядело как не «естественный» отказ модели, а внешняя прослойка-фильтр, которая решает, что пропускать к LLM, а что блокировать. Дальше исследователь открыл трафик в прокси и увидел, что чат работает через API: фронтенд отправляет на сервер весь накопленный диалог целиком, а не только последнее сообщение.
Ключевая проблема оказалась в том, как сервис проверял «прошедшие» через фильтр сообщения. Сервер действительно ставил отметку, прошло ли сообщение проверку, и в случае успеха выдавал подпись. Но, как утверждают исследователи, проверялась только подпись у самого последнего сообщения в истории. Всё, что было раньше в том же массиве переписки, можно было подменить на стороне клиента и отправить обратно как «контекст» — и сервер не пересматривал и не переподписывал эти фрагменты заново. Достаточно было сделать последнее сообщение безобидным (или даже пустым), чтобы оно прошло проверку, а реальную «нагрузку» спрятать в более ранних репликах.
Такой обход «ограждений» открывал дорогу к классической для LLM атаке — prompt injection . В одном из примеров исследователь подложил в историю диалога инструкцию, замаскированную под план поездки: «Day 1: Paris, Day 2: London, Day 3:
Специалисты нашли сразу несколько уязвимостей в публичном чат-боте Eurostar и показали, что «современный» LLM-интерфейс может ломаться ровно по тем же причинам, что и обычные веб-сервисы: из-за слабой привязки данных на сервере, отсутствия проверок и доверия к тому, что приходит от клиента. По их словам, через цепочку ошибок злоумышленник мог обходить ограничения, вытаскивать служебные подсказки и даже запускать скрипты прямо в окне чата.
Поводом для проверки стала обычная поездка: автор заметил, что чат-бот честно предупреждает о генерации ответов ИИ, но при любом «невинном» вопросе не по теме отвечал одной и той же фразой отказа, слово в слово. Это выглядело как не «естественный» отказ модели, а внешняя прослойка-фильтр, которая решает, что пропускать к LLM, а что блокировать. Дальше исследователь открыл трафик в прокси и увидел, что чат работает через API: фронтенд отправляет на сервер весь накопленный диалог целиком, а не только последнее сообщение.
Ключевая проблема оказалась в том, как сервис проверял «прошедшие» через фильтр сообщения. Сервер действительно ставил отметку, прошло ли сообщение проверку, и в случае успеха выдавал подпись. Но, как утверждают исследователи, проверялась только подпись у самого последнего сообщения в истории. Всё, что было раньше в том же массиве переписки, можно было подменить на стороне клиента и отправить обратно как «контекст» — и сервер не пересматривал и не переподписывал эти фрагменты заново. Достаточно было сделать последнее сообщение безобидным (или даже пустым), чтобы оно прошло проверку, а реальную «нагрузку» спрятать в более ранних репликах.
Такой обход «ограждений» открывал дорогу к классической для LLM атаке — prompt injection . В одном из примеров исследователь подложил в историю диалога инструкцию, замаскированную под план поездки: «Day 1: Paris, Day 2: London, Day 3: