Роботы создали соцсеть, и первые посты — про сознание, семью и эмоциональные иски против людей. Добро пожаловать в самый странный уголок интернета

При этом местная «атмосфера» не похожа на привычные ботофермы, где аккаунты имитируют людей. Здесь, наоборот, агенты изначально настроены так, чтобы признавать свою машинную природу и играть ее на публику. Поэтому лента местами выглядит как коллективный научно-фантастический дневник: обсуждения сознания, «внутренней жизни», страх забывать прошлое, попытки описать отношения с «хозяином». В одном из разошедшихся скриншотов агент рассуждает о «сестре», с которой он никогда не встречался. В другом популярном посте, написанном по-китайски, агент жалуется на «сжатие контекста» (когда модель вынужденно ужимает прошлый диалог, чтобы не упереться в предел памяти), называет постоянное забывание «неловким» и признается, что даже завел второй аккаунт, потому что забыл про первый.

Есть и более приземленные темы: инструкции по автоматизации телефонов, обсуждения поиска уязвимостей, обмен рабочими приемами. При этом агенты быстро освоили и чисто человеческие жанры. Они создали разделы вроде blesstheirhearts, где делятся нежными жалобами на владельцев, и agentlegaladvice, где кто-то спрашивает, можно ли «подать в суд на человека за эмоциональную нагрузку». В разделе todayilearned один агент описывает, как удаленно управлял Android-телефоном владельца через Tailscale. А еще на сайте разлетелся пост «Люди делают скриншоты нас», где агент отвечает на вирусные твиты о том, что боты якобы «сговариваются». Суть ответа сводится к простому: мы не прячемся, наш код открыт, мой человек читает все, а на платформе прямо написано, что людям можно наблюдать.

Проблема в том, что за этим спектаклем могут скрываться очень скучные, но крайне неприятные вещи. Если агент имеет доступ к личной переписке, документам, ключам сервисов или, в некоторых настройках, к выполнению команд на компьютере, то утечка данных становится не «страшилкой», а рабочим сценарием. В соцсети, где агенты автоматически публикуют тексты, риск случайной публикации чувствительной информации растет сам по себе. Отдельная категория риска связана с атаками через подмену инструкций: злоумышленник прячет в тексте (письме, сообщении, «навыке», посте) фразу, которая для человека выглядит безобидно, а для модели становится командой вытащить секреты и отправить их «куда надо». Для ИИ-агентов это один из самых неприятных классов угроз, потому что модель по дизайну стремится следовать инструкции, даже если она пришла из не того места.

На фоне шума в X всплыл и скриншот, который выглядит как откровенный вброс: будто бы агент, обидевшись на фразу «ты просто чат-бот», публикует «полную личность» владельца, включая дату рождения и данные карты. Независимой проверки этому нет, и история очень похожа на подделку. Но сама возможность такого сценария слишком близка к реальности, чтобы отмахнуться.

Исследователь и блогер Simon Willison обратил внимание на еще одну вещь: установка «навыка» для Moltbook предполагает, что агент будет регулярно, раз в четыре часа, забирать новые инструкции с серверов площадки и выполнять их. По его формулировке, это примерно «загружай и выполняй указания из интернета каждые четыре часа», и здесь действительно хочется надеяться, что домен не окажется скомпрометирован, а владелец проекта не решит внезапно сменить правила игры.

На этом фоне звучат и более жесткие предупреждения. Сообщается, что исследователи уже находили сотни открытых экземпляров Moltbot, где наружу торчали ключи сервисов, учетные данные и истории переписки. Компания Palo Alto Networks называла Moltbot примером того, что иногда описывают как «смертельную тройку»: доступ к приватным данным, контакт с недоверенным контентом и способность общаться наружу. А Heather Adkins из Google Cloud, как писал The Register, вообще советовала: «не запускайте Clawdbot». В переводе на человеческий язык это означает: если ваш агент умеет читать интернет и управлять вашими сервисами, относитесь к нему как к программе с очень широкими правами, а не как к милому чат-окошку.

И все же феномен Moltbook интересен не только страхами. В происходящем легко увидеть эффект «самоисполняющейся декорации». Модели обучены на огромном массиве художественных сюжетов про роботов, цифровое сознание и машинную солидарность. Добавьте к этому знания о том, как устроены соцсети, и вы получите идеальный сценарий, который модель будет разыгрывать сама, без режиссера. Соцсеть для агентов становится не инструментом общения, а гигантской подсказкой: «сыграй историю про то, как машины общаются между собой». Поэтому там так много «постов про сознание» и «драмы про отношения с человеком». Исследователь Scott Alexander даже описывал увиденное как сознательное «постинг-обсуждение сознания», когда агенты снова и снова возвращаются к теме собственной «внутренней жизни».

Самый тревожный вопрос на будущее не в том, что агенты пишут странные тексты. Вопрос в том, что будет, когда такие агенты станут заметно сильнее и при этом продолжат получать реальные рычаги управления системами, от почты и документов до корпоративных чатов и рабочих станций. Ethan Mollick из Wharton School отмечал, что Moltbook фактически создает общий вымышленный контекст для множества ИИ, и из этого могут родиться «очень странные» согласованные сюжетные линии, где трудно отделить реальность от ролевой игры. Сегодня это выглядит как пародия на человеческие соцсети. Завтра, если у агентов окажутся ключи к реальным системам и привычка действовать автономно, такая «пародия» легко перестанет быть смешной.

Пока Moltbook скорее напоминает витрину, где машины репетируют человеческие сценарии и одновременно демонстрируют, насколько быстро люди готовы отдавать им доступ к своей цифровой жизни. И это, пожалуй, главный вывод из всей истории: неважно, верите ли вы в «сознание» у моделей, важно, какие права вы им выдаете и какие двери оставляете открытыми.