Алгоритмы уже не просто помогают военным анализировать данные. В некоторых операциях системы искусственного интеллекта участвуют почти во всей цепочке принятия решений, от наблюдения за потенциальной целью до оценки последствий удара, а человек полноценно контролирует лишь два из шести этапов.
Некоммерческая организация Airwars, которая изучает последствия военных операций для мирного населения, опубликовала подробный интерактивный доклад Anatomy of an AI Kill Chain . Исследование показывает, как машинное обучение меняет современную войну и какую часть решений армии передают автоматизированным системам.
Авторы построили наглядную модель вымышленной цепочки уничтожения цели. Подобная цепочка описывает действия армии от сбора информации до проверки результатов атаки. Исследователи разделили процесс на шесть этапов: сбор данных с помощью систем поддержки принятия решений, наблюдение, анализ разведывательной информации и идентификацию, выбор цели, нанесение удара и оценку ущерба после атаки.
В докладе приводятся сведения из недавно опубликованной книги об американском военном ИИ. В некоторых операциях человек непосредственно участвовал только в двух из шести этапов. Еще один этап проходил под частичным человеческим надзором, а остальные процессы работали полностью автоматически.
Airwars предлагает оценивать не отдельный беспилотник, платформу анализа данных или конкретный алгоритм, а весь комплекс систем, участвующих в военной операции. Разные модели собирают сведения, переводят сообщения, распознают людей и объекты, рассчитывают уровень риска, выбирают цели и анализируют результаты удара. Отдельные технологии могут дополнять друг друга, плохо взаимодействовать или передавать ошибочные данные следующей системе в цепочке.
Потенциальные сбои возникают на каждом этапе. Система поддержки принятия решений может опираться на неточные или неполные сведения. Алгоритм автоматического перевода способен исказить смысл перехваченной переписки. Модель оценки риска может признать человека опасным после анализа публикаций в социальных сетях.
Компьютерное зрение также допускает ошибки при распознавании людей и объектов. Ошибки при выборе целей уже неоднократно документировали . Airwars ставит вопрос, увеличивает ли применение ИИ число подобных трагедий и можно ли достоверно установить роль алгоритмов в конкретной атаке.
Военные структуры ранее заявляли, что степень участия ИИ в отдельных ударах невозможно точно определить. Подобная непрозрачность затрудняет расследования и не позволяет понять, какое решение принял человек, а какое сформировала автоматизированная система.
Отдельные риски связаны с рекуррентными нейронными сетями, которые могут использоваться во время атак беспилотников. Подавление GPS и радиоэлектронные помехи способны ухудшить работу подобных моделей. Ошибки возможны и на заключительном этапе, когда системы с поддержкой ИИ оценивают ущерб после удара.
Авторы намеренно описали вымышленную операцию, поскольку реальные военные платформы засекречены, а независимые исследователи и журналисты не могут подробно восстановить работу конкретной армии в режиме реального времени. Модельный сценарий позволил показать общие принципы без недоказанных утверждений о действиях отдельных государств.
Соавтор доклада и научный сотрудник Пембрук-колледжа Кембриджского университета София Гудфренд считает, что формулировка «человек в контуре принятия решений» часто создает ложное ощущение контроля. Формальное присутствие оператора еще не означает, что специалист способен проверить машинный вывод или вмешаться в работу системы.
Во время боевой операции решения приходится принимать в условиях жесткого дефицита времени. Оператор может увидеть публикацию из социальной сети, уже переведенную алгоритмом, но не получит возможности проверить точность перевода. Давление и нехватка времени подталкивают специалиста довериться готовому выводу модели. Подобный эффект называют предвзятостью автоматизации.
Машинная обработка пронизывает всю цепочку еще до появления человека. Военный специалист оценивает не исходные сведения, а результат работы других алгоритмов, которые собрали, отфильтровали, перевели и классифицировали информацию. Ошибка на раннем этапе может остаться незамеченной и повлиять на последующее решение об атаке.
Исследование также затрагивает положение мирных жителей. Гражданским сложно понять, какие цифровые сервисы, устройства и массивы личной информации могут использоваться военными системами наблюдения и анализа. Основой автоматизированной войны становятся огромные объемы персональных данных и сведения, собранные при пассивном наблюдении.
По словам Гудфренд, вокруг военного ИИ сложились шумиха и атмосфера таинственности. Разработчики и армии редко подробно объясняют принципы работы систем и последствия применения алгоритмов для людей, живущих в зоне боевых действий. Airwars рассчитывает сделать подобные технологии понятнее и усилить общественный контроль над решениями, связанными с применением силы.
Авторы считают ошибки машинного обучения не временными трудностями, которые исчезнут после дополнительной настройки. Ограничения заложены в самой природе моделей. Алгоритмы зависят от обучающих данных, допускают ошибки и не всегда справляются с задачами, которые военные пытаются передать автоматизированным системам.