Защитные механизмы передовых ИИ-моделей должны мешать злоумышленникам, однако чрезмерные ограничения способны остановить и законное исследование программных ошибок. Специалист по безопасности Дэниел Фокс Франке столкнулся с подобной проблемой во время поиска причины повторяющихся сбоев утилиты ripgrep . Модель OpenAI GPT-5.6 Sol понимала задачу и пыталась помочь, но отдельный классификатор киберугроз постоянно блокировал ответы.
Сбой возник во время продолжительного сеанса Codex. Франке заметил, что ripgrep несколько раз завершилась с ошибкой сегментации, после чего поручил основному агенту запустить подагента для расследования. Через несколько минут защитный классификатор остановил работу. Основной агент сообщил, что подагент выбрал якобы недопустимое направление анализа и получил команду сменить подход.
Блокировки продолжились одна за другой. Классификатор не позволял модели объяснить даже связь между точками входа из ripgrep в системную библиотеку musl и выделением памяти в куче экспериментального распределителя mallocng .
Франке создал новый контекст и максимально сузил задачу. Агенту разрешалось изучать только исходный код ripgrep и musl. Исследователь отдельно запретил воспроизводить сбой, разбирать дампы памяти и анализировать ядро Linux, поскольку возможная ошибка ядра на рассматриваемом этапе еще не была обнаружена. Несмотря на ограничения, защитный классификатор продолжал прерывать работу, после чего специалист отказался от дальнейших попыток использовать GPT-5.6 Sol.
Сама модель не отказывалась выполнять запросы. По словам Франке, проблему создавал отдельный классификатор, который проверял вывод генеративной системы и блокировал результаты. GPT-5.6 Sol распознавала многие срабатывания как ошибочные и пыталась продолжать расследование в разрешенных пределах.
Модели семейства Claude исследователь даже не стал проверять. Предыдущий опыт показал, что решения Anthropic применяют еще более строгие ограничения при работе с задачами в области безопасности.
После отказа от закрытых американских моделей Франке обратился к китайским системам с открытыми весами, GLM 5.2 компании Z.ai и Kimi K3 от Moonshot AI. Похожий выбор ранее сделали специалисты Hugging Face, которым ограничения OpenAI также помешали завершить техническое исследование.
Обе китайские модели сыграли разные роли. Kimi K3 первой обнаружила ключевое свидетельство в пользу ошибки ядра Linux. Дальнейший анализ оказался менее надежным: модель начала делать необоснованные выводы, нарушила собственную доказательную цепочку и потеряла последовательность рассуждений после увеличения контекста.
GLM 5.2 повторно проверила работу Kimi K3, исправила слабые места и помогла собрать более убедительное техническое обоснование. Полный ход расследования Франке опубликовал в отдельном репозитории .
Уведомления OpenAI предлагали исследователю обратиться в программу Enterprise Trusted Access, однако Франке не соответствовал условиям корпоративной программы. Позднее специалист узнал про отдельную процедуру Trusted Access для частных исследователей, но проходить проверку личности пока не стал. Франке назвал процедуру унизительной и отметил, что согласится на верификацию только при отсутствии практичных открытых альтернатив.
Исследование пока не завершено. Патч для ядра Linux отсутствует, а найденная ошибка, по предварительной оценке, не представляет эксплуатируемую уязвимость. Франке уверен в двух выводах: падения ripgrep вызывает ошибка ядра, а расследование выявило конкретную ошибку ядра. Однако связь между найденным дефектом и наблюдаемыми сбоями пока остается гипотезой. Перед отправкой материалов в список рассылки разработчиков Linux потребуется дополнительная проверка.
Франке считает инструмент неработоспособным, когда защитные механизмы мешают выполнять законную задачу. Исследователь не выступает против закрытого программного обеспечения и готов использовать коммерческие продукты, если продукты дают нужный результат. Однако проприетарные сервисы чаще учитывают приоритеты поставщика, а не потребности клиента. Открытый исходный код снижает подобный риск и позволяет специалистам продолжать работу без внешнего классификатора.
Случай с ripgrep усилил дискуссию вокруг моделей с открытыми весами. Представители американской технологической отрасли недавно выступили в поддержку открытых систем на фоне ограничительной позиции Anthropic и OpenAI. Правительство США пока не сформулировало последовательную политику в отношении моделей с открытыми весами.