Ваша машина вам не принадлежит, просто ждет нужной погоды. Как бэкдор VillainNet угоняет авто при первых каплях дождя
NewsMakerДесять квинтиллионов комбинаций и один шанс разбиться.
Исследователи из Технологического института Джорджии описали уязвимость в архитектуре ИИ-систем , которые используют беспилотные автомобили. Уязвимость получила название VillainNet. Авторы утверждают, что вредоносное изменение может долго оставаться незаметным внутри модели и включаться только при заранее заданном условии. После срабатывания атака почти наверняка позволяет злоумышленнику влиять на решения, от которых зависит поведение машины на дороге.
История не про взлом по сети и не про подмену сигналов датчиков. Проблема связана с тем, как устроены суперсети, большие нейросетевые конструкции, которые умеют переключаться между множеством специализированных подсетей. Такая схема нужна, потому что автопилоту приходится решать разные задачи. Одна часть отвечает за распознавание разметки, другая учитывает погоду, третья оценивает дистанции, четвёртая помогает выбирать траекторию.
Команда под руководством аспиранта Дэвида Ойгенблика проверила сценарий, где злоумышленник портит не всю модель целиком, а один маленький фрагмент, одну подсеть. Остальная система продолжает работать штатно, поэтому подозрительных эффектов может не быть. Вредоносная логика ждёт момента, когда автопилот сам переключится на нужную подсеть.
В качестве примера авторы приводят триггер, завязанный на дорожные условия. Во время дождя меняется сцепление, и автопилот включает режим, рассчитанный на мокрый асфальт. Если именно этот режим заранее испорчен, включение становится сигналом для атаки. Дальше появляется возможность навязать опасные решения, например заставить машину вести себя непредсказуемо. В описанном сценарии атакующий может довести дело до остановки в неподходящем месте или до действий, которые повышают риск аварии.
Исследователи из Технологического института Джорджии описали уязвимость в архитектуре ИИ-систем , которые используют беспилотные автомобили. Уязвимость получила название VillainNet. Авторы утверждают, что вредоносное изменение может долго оставаться незаметным внутри модели и включаться только при заранее заданном условии. После срабатывания атака почти наверняка позволяет злоумышленнику влиять на решения, от которых зависит поведение машины на дороге.
История не про взлом по сети и не про подмену сигналов датчиков. Проблема связана с тем, как устроены суперсети, большие нейросетевые конструкции, которые умеют переключаться между множеством специализированных подсетей. Такая схема нужна, потому что автопилоту приходится решать разные задачи. Одна часть отвечает за распознавание разметки, другая учитывает погоду, третья оценивает дистанции, четвёртая помогает выбирать траекторию.
Команда под руководством аспиранта Дэвида Ойгенблика проверила сценарий, где злоумышленник портит не всю модель целиком, а один маленький фрагмент, одну подсеть. Остальная система продолжает работать штатно, поэтому подозрительных эффектов может не быть. Вредоносная логика ждёт момента, когда автопилот сам переключится на нужную подсеть.
В качестве примера авторы приводят триггер, завязанный на дорожные условия. Во время дождя меняется сцепление, и автопилот включает режим, рассчитанный на мокрый асфальт. Если именно этот режим заранее испорчен, включение становится сигналом для атаки. Дальше появляется возможность навязать опасные решения, например заставить машину вести себя непредсказуемо. В описанном сценарии атакующий может довести дело до остановки в неподходящем месте или до действий, которые повышают риск аварии.