Новая модель OpenAI Astra сумела решить или продвинуть решение десяти давних математических задач, причём поиск всех ответов потребовал токенов всего примерно на $2000. Сначала публикацию восприняли как очередной пример того, насколько быстро ИИ приближается к полноценной научной работе. Однако после внимательного разбора почти 250-страничной статьи математики обнаружили проблему: два самых громких доказательства опирались на идеи из более ранних исследований, а первоначальное заявление OpenAI создавало впечатление, будто заметного продвижения в этих задачах не было минимум десять лет.
OpenAI получила десять решений во время разработки и тестирования Astra, своей следующей крупной языковой модели. Каждая работа посвящена отдельной открытой математической задаче, которая долгое время интересовала специалистов. В одних случаях Astra смогла получить окончательный ответ, в других улучшила лучшие известные оценки или продвинулась дальше предыдущих исследований. Компания опубликовала результаты на прошлой неделе и отдельно подчеркнула необычно низкую стоимость вычислений.
После публикации математики начали проверять доказательства примерно так же, как проверяли бы работу коллеги. В течение нескольких дней специалисты читали рукопись, разбирали аргументы по шагам и сопоставляли использованные приёмы с научной литературой. Именно на этом этапе к двум наиболее интересным работам появились вопросы.
Первый спор связан с задачей об упаковке шаров. В привычном трёхмерном пространстве смысл понятен без сложной математики: нужно уложить одинаковые шары максимально плотно, чтобы между ними осталось как можно меньше свободного места. Исследователей интересует гораздо более сложный вариант той же задачи для пространств с 1000 измерений и даже больше. Представить их визуально невозможно, однако математически можно вычислять, насколько плотно в подобных пространствах способны располагаться многомерные шары.
Astra улучшила лучшую известную оценку максимально возможной плотности такой упаковки. Модель фактически сузила предел, за который никакая конфигурация шаров выйти уже не может. Для задачи, над которой математики работают много лет, улучшение подобной границы само по себе имеет научную ценность.
Однако один из главных приёмов в доказательстве Astra оказался знаком специалистам. Аналогичный аргумент уже использовался в научной работе 2016 года. Соавтор той работы 2016 года после изучения публикации OpenAI заявил, что компания недостаточно ясно указала происхождение идеи, и назвал произошедшее фактическим присвоением его исследования. Претензия касается не правильности конечного доказательства, а того, кому принадлежит важный шаг, позволивший получить результат.
Второй спор затронул теорию групп . Группами математики называют наборы объектов, над которыми можно выполнять определённую операцию по строгим правилам. Через подобные конструкции описывают симметрии и множество других математических структур.
Много лет специалистов занимал вопрос, являются ли все группы софическими. Подробное определение требует серьёзной подготовки, но основную идею можно объяснить проще: софическую группу можно с любой необходимой точностью воспроизводить при помощи более простых конечных математических конструкций. Математики знали множество групп с таким свойством, однако долго не могли понять, существует ли хотя бы одна группа без него.
Astra нашла такую группу. Полученный контрпример означает, что софичность присуща не всем группам, и тем самым даёт ответ на давний вопрос. Сначала доказательство вызвало сильную реакцию среди специалистов именно потому, что проблема долго оставалась открытой.
Затем математики разобрали работу так, как разбирали бы новую теорему, написанную человеком. Выяснилось, что важнейший шаг Astra соединяет идеи из двух исследований 2016 и 2019 годов. Модель не нашла готовый ответ в одной статье и не скопировала уже существующее доказательство. Astra взяла несколько известных математических инструментов, совместила их и получила с их помощью новый результат.
Один из авторов обеих более ранних работ разобрал доказательство на MathOverflow и назвал использованный приём одновременно творческим и довольно простым. Именно способность соединять уже известные элементы оказалась главным достоинством решения. Модели не понадобилась совершенно новая фундаментальная идея. Astra заметила комбинацию, которую раньше не довели до нужного результата люди.
Для математики подобный способ работы вполне нормален. Новые теоремы редко появляются из полного интеллектуального вакуума. Исследователи постоянно используют чужие методы , развивают предыдущие результаты и соединяют идеи из разных статей. Проблема начинается, когда происхождение важного элемента доказательства оказывается неясным или прежние работы создают совсем другую картину развития задачи, чем заявляет автор новой публикации.
Именно поэтому математиков особенно вывело из себя первоначальное сообщение OpenAI. Компания заявляла, что задачи, которыми занималась Astra, оставались открытыми и не получали продвижения по основному результату как минимум десять лет. Для двух разобранных доказательств формулировка оказалась слишком громкой: существенные идеи появились в научной литературе в 2016 и 2019 годах.
Позднее OpenAI изменила описание своих работ. Компания больше не утверждает, что по всем выбранным задачам отсутствовал прогресс минимум десять лет. Сотрудники, готовившие саму научную статью, по оценке одного из математиков, старались корректно указывать предыдущие исследования, однако публичное сообщение компании создало гораздо более эффектную и менее точную картину.
OpenAI заявила Scientific American, что берёт на себя ответственность за правильность представленных доказательств и намерена соблюдать те же требования, которые применяют к исследованиям математиков. Компания также собиралась внести небольшие исправления в статью, назвав подобные изменения обычной частью академической работы.
Итак, Astra уже способна соединять результаты из разных математических работ и на их основе доказывать новые утверждения. Теперь к таким публикациям приходится применять вторую проверку: выяснять не только верна ли математика, но и откуда взялся каждый важный элемент доказательства.