Платон бы оценил. Нейросети сидят в пещере и гадают по теням, как устроен мир

Но как вообще сравнивать то, что происходит внутри настолько разных систем? Внутренние представления нейросети в итоге сводятся к длинным наборам чисел, которые показывают, какие "нейроны" и насколько активны. Исследователи обычно смотрят на отдельный слой, записывают его активность как вектор в многомерном пространстве и сравнивают направления таких векторов. Внутри одной модели всё относительно понятно: близкие по смыслу вещи часто оказываются рядом и в математическом смысле. Условный "dog" будет ближе к "pet" или "bark", чем к "molasses". Этот принцип иногда объясняют фразой лингвиста Джона Руперта Ферта: значение слова видно по тому, с какими соседями оно чаще появляется.

Сложнее, когда нужно сопоставить два разных "пространства", где оси и масштабы не совпадают. Поэтому сравнение делают обходным путём, по сути измеряя "похожесть похожестей". Берут набор понятий, прогоняют через две модели и смотрят, насколько похожи формы получившихся "облаков" представлений: что к чему ближе, какие группы получаются, какие отношения сохраняются. Исследователь из Нью-Йоркского университета Илья Сухолуцкий описывает это как сравнение того, насколько одинаково модели выстраивают связи внутри набора.

Одна из важных зацепок в пользу гипотезы появилась в эксперименте Минёна Ху, тогда аспиранта в группе Айсолы (сейчас он работает в OpenAI ). Он сравнил несколько зрительных моделей и несколько языковых разного размера на наборе данных из Википедии, где у изображений есть подписи. Картинки отправлялись в vision-модели, подписи — в language-модели, а затем сравнивались структуры представлений. По наблюдениям Ху, чем сильнее становились модели, тем больше росло сходство между тем, как они "видят" один и тот же набор объектов и описаний.

Критики, впрочем, уверены, что это ещё не доказательство "единого" внутреннего языка реальности. Исследователь из Чикагского университета Кристофер Вулфрам напоминает, что результат легко зависит от выбора данных и методики: поменяйте датасет или слой, и картина может стать другой. А Алексей Ефрос из Калифорнийского университета в Беркли, который хорошо знает авторов работы, считает, что различия между моделями часто важнее сходств. Он обращает внимание на то, что в примере с Википедией изображение и подпись специально рассказывают почти одно и то же, а в реальной жизни много того, что плохо переводится между модальностями. Иначе говоря, не зря люди идут в художественный музей, а не ограничиваются чтением каталога.

При этом даже "неидеальная" взаимная похожесть может быть полезной. Уже появились методы, которые позволяют переводить внутренние представления предложений из одной языковой модели в другую, а если зрительные и языковые представления хотя бы частично взаимозаменяемы, это может упростить обучение мультимодальных систем . С другой стороны, исследователь из Университета Британской Колумбии Джефф Клюн скептически относится к надежде на одну простую теорию: по его словам, поведение систем с триллионами параметров вряд ли получится свести к аккуратной формуле, ответы будут сложными.

Именно в этом сейчас и интрига. Одни исследователи пытаются поймать "универсалии" и доказать, что сильные модели неизбежно сходятся к общему способу описывать мир. Другие уверены, что самые интересные открытия спрятаны в местах, где модели расходятся и где их нельзя заставить мыслить одинаково. А для практики спор важен уже сейчас, потому что от него зависит, как мы будем строить следующие поколения ИИ, которые одинаково уверенно понимают и слова, и картинки, и всё то, что между ними.