Anthropic создаёт самый мощный ИИ в мире — и первой требует его остановить
NewsMakerАлгоритмы могут начать улучшать себя сами. И лучше бы нам нажать на тормоз — пока не поздно.
Anthropic предложила создать международный механизм для замедления или временной остановки разработки самых мощных ИИ-систем. Компания не хочет ставить на паузу только собственные проекты: в таком случае конкуренты просто продолжат гонку. Нужна общая договорённость между крупными разработчиками из нескольких стран, прежде всего из США и Китая.
Anthropic выпускает семейство моделей Claude и часто публично говорит о рисках ИИ. В новом докладе компания пишет, что обществу может понадобиться время, чтобы исследования управляемости, правила безопасности и государственный надзор успевали за ростом возможностей передовых систем. Без общей схемы бизнес и власти будут принимать решения под давлением конкуренции и геополитики.
Главная тревога связана с ускорением самой разработки. ИИ уже помогает писать код, проводить тесты, искать ошибки, разбирать результаты и улучшать следующие поколения моделей. Anthropic называет этот процесс петлёй ускорения : человек пока остаётся в цепочке, но на каждом этапе делает всё меньше ручной работы.
В докладе отдельно описан риск рекурсивного самоулучшения. Так называют ситуацию, когда ИИ почти самостоятельно проектирует и дорабатывает более сильные версии себя. Anthropic подчёркивает, что этот момент ещё не наступил и не является неизбежным, но может приблизиться раньше, чем правительства и научные организации подготовят понятные правила.
Чтобы пауза работала, одного публичного заявления мало. Anthropic сравнивает задачу с контролем над ядерными вооружениями, но считает ИИ труднее для проверки: ракетную шахту сложно спрятать, а обучение большой модели можно скрыть намного проще. Поэтому соглашению понадобятся проверяемые условия: какие системы попадают под ограничения, кто прекращает работу, как отслеживать соблюдение правил и что делать при тайном нарушении.
Идея почти наверняка встретит сопротивление в Вашингтоне и Кремниевой долине. Американские чиновники и технологические компании давно предупреждают, что замедление может дать Китаю стратегическое преимущество. Даже если часть экспертов согласится с рисками, синхронная остановка между конкурентами останется крайне сложной задачей.
У Anthropic уже есть критики в отрасли и среди чиновников. Противники считают, что компания слишком часто говорит о крайних сценариях и может использовать тему безопасности в конкурентной борьбе . При этом Белый дом признаёт мощь отдельных разработок Anthropic: модель Mythos не открывали широкой публике из-за возможностей в кибербезопасности и используют только в ограниченном круге проверенных организаций.
Политический фон тоже меняется. Президент США Дональд Трамп, например, на этой неделе подписал указ о добровольной предварительной проверке самых мощных американских ИИ-моделей перед выпуском. Федеральные ведомства смогут получать до 30 дней на оценку, в первую очередь с точки зрения киберрисков и угроз для критической инфраструктуры.
Трамп также заявил, что обсуждал с Китаем возможное сотрудничество по безопасности ИИ во время недавнего визита в Пекин. Это не означает готовности к глобальной паузе, но показывает, что тема уже вышла за пределы корпоративных докладов. Самые мощные модели всё чаще рассматривают как технологию, которая может повлиять на безопасность государств.
Anthropic собирается в ближайшие месяцы обсудить возможный механизм с чиновниками, учёными, общественными организациями и другими ИИ-компаниями. Главный вопрос остаётся практическим: как дать отрасли возможность притормозить, если каждый участник опасается, что остальные продолжат разработку.
Anthropic предложила создать международный механизм для замедления или временной остановки разработки самых мощных ИИ-систем. Компания не хочет ставить на паузу только собственные проекты: в таком случае конкуренты просто продолжат гонку. Нужна общая договорённость между крупными разработчиками из нескольких стран, прежде всего из США и Китая.
Anthropic выпускает семейство моделей Claude и часто публично говорит о рисках ИИ. В новом докладе компания пишет, что обществу может понадобиться время, чтобы исследования управляемости, правила безопасности и государственный надзор успевали за ростом возможностей передовых систем. Без общей схемы бизнес и власти будут принимать решения под давлением конкуренции и геополитики.
Главная тревога связана с ускорением самой разработки. ИИ уже помогает писать код, проводить тесты, искать ошибки, разбирать результаты и улучшать следующие поколения моделей. Anthropic называет этот процесс петлёй ускорения : человек пока остаётся в цепочке, но на каждом этапе делает всё меньше ручной работы.
В докладе отдельно описан риск рекурсивного самоулучшения. Так называют ситуацию, когда ИИ почти самостоятельно проектирует и дорабатывает более сильные версии себя. Anthropic подчёркивает, что этот момент ещё не наступил и не является неизбежным, но может приблизиться раньше, чем правительства и научные организации подготовят понятные правила.
Чтобы пауза работала, одного публичного заявления мало. Anthropic сравнивает задачу с контролем над ядерными вооружениями, но считает ИИ труднее для проверки: ракетную шахту сложно спрятать, а обучение большой модели можно скрыть намного проще. Поэтому соглашению понадобятся проверяемые условия: какие системы попадают под ограничения, кто прекращает работу, как отслеживать соблюдение правил и что делать при тайном нарушении.
Идея почти наверняка встретит сопротивление в Вашингтоне и Кремниевой долине. Американские чиновники и технологические компании давно предупреждают, что замедление может дать Китаю стратегическое преимущество. Даже если часть экспертов согласится с рисками, синхронная остановка между конкурентами останется крайне сложной задачей.
У Anthropic уже есть критики в отрасли и среди чиновников. Противники считают, что компания слишком часто говорит о крайних сценариях и может использовать тему безопасности в конкурентной борьбе . При этом Белый дом признаёт мощь отдельных разработок Anthropic: модель Mythos не открывали широкой публике из-за возможностей в кибербезопасности и используют только в ограниченном круге проверенных организаций.
Политический фон тоже меняется. Президент США Дональд Трамп, например, на этой неделе подписал указ о добровольной предварительной проверке самых мощных американских ИИ-моделей перед выпуском. Федеральные ведомства смогут получать до 30 дней на оценку, в первую очередь с точки зрения киберрисков и угроз для критической инфраструктуры.
Трамп также заявил, что обсуждал с Китаем возможное сотрудничество по безопасности ИИ во время недавнего визита в Пекин. Это не означает готовности к глобальной паузе, но показывает, что тема уже вышла за пределы корпоративных докладов. Самые мощные модели всё чаще рассматривают как технологию, которая может повлиять на безопасность государств.
Anthropic собирается в ближайшие месяцы обсудить возможный механизм с чиновниками, учёными, общественными организациями и другими ИИ-компаниями. Главный вопрос остаётся практическим: как дать отрасли возможность притормозить, если каждый участник опасается, что остальные продолжат разработку.