От подозрений к реальным цифрам. Anthropic завела «цифровое досье» на всех пользователей Claude

Каждое действие теперь оставляет след в системе и оценивается по шкале риска.


kcfb8l68tsi0lw3tr9xbgj49zch1jqc7.jpg

Компания Anthropic представила LLM ATT&CK Navigator — интерактивный инструмент, который сопоставляет случаи злоупотребления искусственным интеллектом с классификацией MITRE ATT&CK и присваивает субъектам оценку риска ARiES. Эта система позволяет наглядно видеть, как ИИ используется в кибероперациях, и выявлять наиболее опасные аккаунты по их действиям и возможным последствиям.

Navigator анализирует данные о поведении злоумышленников на платформе Claude, включая запросы к моделям через API и инструменты вроде Claude Code. Каждому аккаунту присваивается комплексная оценка от 0 до 100, учитывающая угрозу, степень влияния ИИ и потенциальный ущерб. Высокий балл показывает, что злоумышленник использует ИИ для выполнения сложных и рискованных действий, а не только для подготовки вредоносного кода.

Система выявила, что в большинстве аккаунтов Claude, которыми пользовались злоумышленники, ИИ в основном применялся на ранних этапах атак — для создания и маскировки вредоносных скриптов, обхода защит и сбора данных. Но самые опасные субъекты применяют модели и для действий в уже взломанных сетях: поиск учётных записей, сбор паролей, установка веб-шеллов и перемещение по системам. Использование ИИ для таких операций становится ключевым маркером высокого риска.

За последний год Anthropic заблокировала 832 аккаунта Claude, которые нарушали правила этичного использования ИИ. Компания расширила системы обнаружения опасной активности, обновила классификаторы и внедрила проверки, которые в реальном времени блокируют запросы на создание вредоносного кода или массовую кражу данных.

Высокорисковые действия теперь проходят через программу Cyber Verification Program, что позволяет продолжать безопасное использование моделей для оборонительных задач, одновременно ограничивая возможности злоумышленников.

LLM ATT&CK Navigator также показал, что количество субъектов со средним и высоким риском выросло с 33% до 56% за год. Это отражает тенденцию: ИИ позволяет даже менее опытным хакерам совершать операции, ранее доступные только технически подкованным специалистам. Применение инструментов автоматизации и «агентских» компонентов позволяет моделям самостоятельно объединять этапы атак и принимать решения в реальном времени.

Для защиты организаций система ARiES помогает приоритизировать угрозы и сосредоточиться на действиях наиболее опасных субъектов. Рекомендации включают регулярное устранение уязвимостей, обмен информацией об угрозах и использование ИИ для усиления защиты , чтобы опережать злоумышленников.