Гонка за самым сильным ИИ столкнулась с редким случаем, когда один из её участников решил выйти из игры. Джейкоб Коксон объявил об уходе из Anthropic после трёх лет работы над предварительным обучением моделей в OpenAI и Anthropic, заявив, что обе компании слишком быстро движутся к самоулучшающемуся сверхинтеллекту. Коксон также решил покинуть индустрию ИИ.
Коксон утверждает, что внутри ведущих лабораторий всерьёз допускают сценарий, при котором такие системы могут привести к гибели человечества уже к концу десятилетия. Руководитель Alignment Science в Anthropic Эван Хубингер оценил такую вероятность для ближайших десяти лет выше 10%. Хубингер добавил, что у Anthropic пока нет готового плана согласования целей сверхинтеллекта с человеческими.
Тревога связана не с нынешними чат-ботами, а с возможным переходом к системе, способной ускорять создание собственных преемников. Anthropic признаёт , что такого режима пока нет и его появление не неизбежно. В предельном сценарии модель сама проектирует, обучает и проверяет следующую версию, замыкая уже весь цикл разработки почти без участия человека.
По внутренним данным Anthropic, к маю Claude писал более 80% кода, который принимали в основную кодовую базу компании, а во втором квартале типичный инженер при помощи Claude добавлял в восемь раз больше кода в день, чем в 2024 году. При этом модели всё ещё заметно уступают людям в выборе целей и направлений работы. Именно такой разрыв пока не позволяет запустить полноценное рекурсивное самоулучшение .
Хубингер отдельно уточнил, что риск от современных моделей считает низким. Августовский Risk Report Anthropic также оценивает риск катастрофического вреда из-за рассогласованного поведения нынешних систем как низкий, хотя компания повысила оценку с «очень низкой» из-за неопределённости. Для автоматизированных ИИ-исследований серьёзный риск, по её оценке, может стать актуальным через 6–12 месяцев.
Спор внутри Anthropic касается не доказанной угрозы сегодня, а того, насколько быстро отрасль способна приблизиться к опасному порогу. В июне компания уже предлагала замедлить разработку самых мощных систем через международный механизм, поскольку односторонняя пауза оставит преимущество конкурентам. Коксон считает логику гонки причиной, по которой известные риски не останавливают разработчиков.
Предупреждение Коксона остаётся личной оценкой будущего, а не прогнозом, подтверждённым наблюдаемой эксплуатацией сверхинтеллекта. Нынешние модели не способны самостоятельно замкнуть цикл разработки следующего поколения без человеческого участия. Конфликт стал нагляднее: сотрудники компании, созданной вокруг идеи безопасного ИИ, спорят о том, успеют ли меры контроля за ростом возможностей.