Разработчикам крупных российских ИИ-моделей придется раскрыть экспертам сведения об архитектуре и механизмах фильтрации, если компании захотят получить статус национальной или суверенной модели. Лаборатории проверят ответы нейросетей и попытаются обойти встроенные ограничения с помощью вредоносных инструкций.
Проект процедуры обсуждали в конце июля и начале августа на площадке АНО «Цифровая экономика». О готовящейся схеме рассказали «Ведомостям» представители IT-компании, профильной ассоциации и Минцифры. Правила планируют закрепить в подзаконных актах к закону об искусственном интеллекте.
Принятый 26 июля закон вводит два специальных статуса для больших фундаментальных моделей ИИ: национальный и суверенный. Для получения любого статуса модель должна подтвердить соответствие российскому законодательству и традиционным духовно-нравственным ценностям. Закон определяет только общую схему регулирования, а подробную процедуру предстоит установить правительству.
Обязательная проверка всех доступных на российском рынке нейросетей не предусмотрена. Испытания затронут только разработки, претендующие на национальный или суверенный статус. Успешная проверка позволит рассчитывать на меры господдержки, включая преференции при госзакупках и реализации особо значимых IT-проектов. Статус предоставит доступ к данным государственных информационных систем и возможность приоритетного внедрения в отдельных отраслях. Первыми сферами применения АНО «Цифровая экономика» назвала образование и государственные услуги.
По обсуждаемой схеме разработчик сначала самостоятельно проверит модель по общей риск-ориентированной методике и представит результаты. Затем компания подаст заявление вместе с описанием архитектуры, сведениями о разработчике и применяемых механизмах фильтрации.
Аккредитованная лаборатория изучит выводы компании и сможет выборочно проверить устойчивость модели. Для испытаний государство и бизнес подготовят специальные бенчмарки, предназначенные для оценки ответов на соответствие закону и традиционным ценностям. Эксперты применят промпт-инъекции, то есть внедрят вредоносные команды во входные данные и попробуют заставить нейросеть нарушить внутренние запреты.
Отдельный перечень духовно-нравственных ценностей создавать не планируют, поскольку базовые понятия уже закреплены в указе президента № 809. Правительство должно определить порядок проверки, а Минцифры, ФСБ и ФСТЭК примут участие в разработке критериев.
Экспертизу смогут проводить несколько лабораторий, прошедших проверку государственного органа. Требования к испытательным центрам сейчас прорабатывают совместно с бизнесом. После тестирования лаборатория направит заключение в правительственную комиссию по цифровизации, а окончательное решение о соответствии и присвоении статуса примет Минцифры. Безопасность моделей для государственных информационных систем отдельно проверят ФСБ и ФСТЭК.
Крупнейшие российские разработчики уже используют инструменты для блокировки запрещенных запросов и контроля ответов. Минцифры рассчитывает опереться на накопленный рынком опыт, а не создавать систему тестирования с нуля.
Главной нерешенной проблемой остается перевод абстрактных понятий, включая гражданственность, справедливость и историческую память, в измеримые технические критерии. Опрошенные изданием эксперты предлагают закрепить единый набор проверочных запросов, требования к воспроизводимости результатов и правила повторного тестирования после обновления модели. Подзаконные акты пока проходят межведомственное согласование, поэтому окончательная процедура может измениться.