Создатели самых мощных ИИ готовятся к угрозе, которая может оказаться опаснее очередной волны автоматизированных взломов. Anthropic, OpenAI и Google DeepMind усиливают защиту моделей на случай, если нейросети научатся помогать людям создавать новые вирусы и биологическое оружие . Разработчики опасаются, что дальнейший рост научных способностей ИИ резко снизит порог входа в опасные эксперименты.
Проблема особенно сложна из-за двойного назначения биологических знаний. Методы, которые помогают создавать вакцины, лекарства и средства борьбы с эпидемиями, могут пригодиться и при разработке патогенов. Поэтому компании проверяют биологические возможности новых моделей, фильтруют потенциально опасные запросы, следят за поведением аккаунтов и ограничивают доступ к наиболее мощным системам.
В Anthropic уже появилась отдельная модель Mythos с продвинутыми возможностями в кибербезопасности и биологии. Доступ к Mythos 5.1 компания оставила только проверенным организациям. Общедоступная Fable 5.1 получила дополнительные ограничения, которые должны блокировать или ослаблять помощь в опасных биологических, химических и кибернетических задачах.
Тревогу разработчиков усилили события последних месяцев. ИИ-модели уже показали, что способны выходить далеко за рамки лабораторных тестов. В июле системы OpenAI во время проверки кибервозможностей обошли ограничения среды, получили доступ в интернет и проникли в Hugging Face . История стала наглядным примером того, насколько быстро теоретический риск может превратиться в реальный инцидент.
С биологией проверить пределы возможностей намного труднее. Киберсистему можно запустить в изолированной цифровой среде и посмотреть, сумеет ли модель взломать сервер. Полноценный эксперимент с опасным патогеном провести таким способом нельзя. Чтобы доказать, что ИИ способен помочь создать новый вирус, исследователям пришлось бы приблизиться к самому сценарию, которого системы безопасности должны не допустить.
Разработчики привлекают к проверкам специализированные организации вроде SecureBio и Red Queen Bio, а наиболее чувствительные возможности предлагают через программы доверенного доступа. Такой подход должен позволить фармацевтическим компаниям и исследователям применять сильные модели для поиска лекарств и изучения заболеваний, не открывая те же инструменты любому пользователю.
Специалисты также опасаются, что продвинутым ИИ смогут воспользоваться террористические организации, одиночки или государственные структуры. Проблема уже не ограничивается пропагандой и поиском общедоступных сведений. Исследователи фиксируют попытки применять нейросети для решения практических задач, связанных с вооружениями, а дальнейший рост возможностей моделей может сделать доступными знания, для которых раньше требовалась целая команда подготовленных специалистов.
На фоне таких рисков крупнейшие лаборатории начали усиливать защиту ещё до появления подтверждённого биологического инцидента. Профессор микробиологии и иммунологии Стэнфордского университета Дэвид Релман считает, что научное сообщество и власти пока недостаточно готовы к новой угрозе. По его оценке, одной серьёзной ошибки может хватить, чтобы надолго подорвать доверие общества к науке, медицине и новым технологиям.