Карта Вселенной на 5,6 трлн пикселей оказалась гораздо полезнее гигантской панорамы неба. Одиннадцатый релиз DESI Legacy Imaging Surveys превратился в машиночитаемый каталог, где почти четыре миллиарда небесных объектов можно искать, фильтровать и анализировать программными средствами. Астрономам больше не обязательно рассматривать карту вручную: нужные записи можно получать запросами к базе, обрабатывать через Python и разбирать в Jupyter Notebook.
В августе астрономы представили карту , содержащую 5,6 трлн пикселей и почти четыре миллиарда звезд, галактик и других объектов. Панорама охватывает около 75% неба в видимом и ближнем инфракрасном диапазонах. Визуальный масштаб привлек основное внимание после публикации, но практическая ценность проекта постепенно смещается к другому уровню: огромный снимок работает как база данных, пригодная для автоматического поиска и сопоставления с наблюдениями новых телескопов.
В Astro Data Lab основная таблица DR11 содержит 3 931 930 158 строк. Для записей хранятся фотометрические измерения и другие параметры источников, полученные после обработки снимков. Сервис поддерживает запросы к каталогу, программный доступ через Python, работу в Jupyter Notebook и получение отдельных фрагментов изображений. Исследователь может выбрать небольшой участок неба или подходящую группу объектов, не скачивая многомиллиардный каталог целиком.
Подход особенно важен для астрономии, где объём наблюдений уже растёт быстрее возможностей ручного анализа. Изображения превращаются в структурированные наборы измерений, а вычисления всё чаще выполняются рядом с хранилищами данных. Вместо передачи огромных архивов на рабочий компьютер исследователь отправляет запрос или алгоритм к удалённой платформе и получает только нужный результат. DESI Legacy Imaging Surveys фактически показывает модель работы, которая понадобится следующим поколениям обзорных телескопов.
Обсерватория имени Веры Рубин уже собирает примерно 10 ТБ информации за ночь во время десятилетнего обзора Legacy Survey of Space and Time. Свежие изображения обрабатываются почти в реальном времени, а система способна выпускать миллионы уведомлений за ночь о переместившихся, вспыхнувших или изменивших яркость объектах. К завершению программы объём сырых изображений должен приблизиться к 30 ПБ, а итоговая каталоговая база будет измеряться десятками миллиардов объектов и триллионами отдельных измерений.
Перебирать подобный поток глазами невозможно. Автоматические системы должны отличать обычные изменения яркости от редких событий, находить необычные галактики, сверхновые, астероиды и другие кандидаты для последующих наблюдений. Разработчики Legacy Surveys рассматривают гигантский каталог как материал для обучения ИИ , которому предстоит работать с петабайтами астрономической информации. Большая площадь покрытия одновременно позволяет сравнивать новые наблюдения с уже существующей картиной неба и замечать объекты, появившиеся или изменившиеся позже.
Похожая проблема ждёт космический телескоп Nancy Grace Roman. За основную пятилетнюю программу аппарат должен накопить около 20 ПБ обработанных данных. NASA уже готовит инфраструктуру, рассчитанную не на массовое скачивание архивов, а на анализ непосредственно в облачной среде. Запущенная для исследователей платформа Roman Research Nexus предоставляет вычислительные инструменты, Jupyter Notebook и тестовые наборы данных, чтобы астрономы заранее готовили методы обработки будущего потока наблюдений.
Масштаб Roman хорошо показывает, почему поисковые каталоги становятся не менее важными, чем сами телескопы. По оценке NASA, за один месяц аппарат сможет произвести примерно вдвое больше данных, чем Hubble накопил за 30 лет. Полезный результат зависит уже не только от чувствительности камеры или размера зеркала, но и от способности быстро найти несколько интересных объектов среди миллиардов записей.
DESI Legacy Imaging Surveys занимает промежуточное положение между прежней астрономией больших снимков и будущей астрономией огромных баз данных. Каталог DR11 уже позволяет отрабатывать запросы, алгоритмы классификации и методы машинного анализа на почти четырёх миллиардах объектов. Когда новые обсерватории начнут регулярно приносить терабайты информации за ночь, ценность подобного атласа будет заключаться не столько в возможности увидеть большую часть неба на одном экране, сколько в возможности быстро спросить у гигантской базы, что именно изменилось, где искать редкое явление и какие объекты заслуживают дальнейшего изучения.