Разобрать клетку на петабайты. Микроскоп MOSAIC объединил десяток лазерных режимов, чтобы шпионить за молекулами
NewsMakerРазработка ученых из Беркли позволяет посекундно видеть заживление ран и рост эмбрионов.
В небольшой комнате без окон на кампусе Калифорнийского университета в Беркли круглосуточно работают 2 одинаковых микроскопа. Со стороны это обычная лабораторная рутина, но на деле машины собирают данные для задачи, к которой биология пока плохо готова: научиться смотреть на живую клетку не отдельными снимками, а огромными трёхмерными фильмами, где каждое движение, деление и перестройка ткани превращаются в поток данных для ИИ .
Новая система называется MOSAIC, полное название - Multimodal Optical Scope with Adaptive Imaging Correction. По-русски это можно передать как мультимодальный оптический микроскоп с адаптивной коррекцией изображения. Разработку описали в Nature Methods. В одной установке объединили около 10 режимов микроскопии: от обычного фазового контраста до решёточной световой микроскопии и других методов съёмки живых образцов с высоким разрешением. Переключаться между ними можно без сборки новой установки, фактически нажатием кнопки.
MOSAIC уже повторили более чем в 10 лабораториях по всему миру. Этому помогли препринты и подробные инструкции по сборке, которые команда распространяла последние 6 лет. В Беркли такие установки стали частью более крупной программы: исследователи хотят создать Cell Observatory, «Клеточную обсерваторию», где живые биологические процессы можно будет наблюдать на разных масштабах, от отдельных молекул до целых эмбрионов.
Главное отличие MOSAIC не в красивой картинке, а в длительном наблюдении за живой системой. Микроскоп может следить за образцом секунды, часы или дни. В поле зрения попадают молекулы, клетки, ткани и развивающиеся организмы. Биологи получают возможность видеть, как клетки движутся внутри ткани, как меняются внутренние структуры, как белки и другие молекулы перемещаются по клетке и как разные процессы связаны друг с другом во времени.
Проблема быстро упирается в объём данных. Исследователи говорят уже не о терабайтах, а о петабайтах . Для масштаба: 1 петабайт можно сравнить примерно с 500 млрд страниц текста. Обычный человек не способен просмотреть и осмысленно разобрать такие массивы видео. Поэтому команда Advanced Bioimaging Center в Беркли работает над большой визуально-языковой моделью, LVLM, которая сможет анализировать трёхмерные биологические фильмы и отвечать на вопросы исследователей обычным языком.
Профессор Эрик Бетциг, лауреат Нобелевской премии по химии 2014 года за развитие флуоресцентной микроскопии сверхвысокого разрешения, считает, что клетку нельзя понять через набор отдельных деталей. В одной клетке могут работать десятки миллионов белковых молекул тысяч разных типов, и важны не только сами компоненты, но и их естественные взаимодействия. MOSAIC позволяет одновременно следить за большим числом участников процесса, не вынимая живую систему из её нормального контекста.
Бетциг описывает такие данные как пятимерные. 3 измерения дают объёмную форму объекта, четвёртым становится время, а пятое связано с цветом. Цвет появляется благодаря флуоресцентным меткам: ими помечают органеллы, мембраны, цитоскелет и другие структуры, чтобы видеть, как они движутся, меняют форму, делятся и взаимодействуют. Но человек не умеет думать петабайтами и не воспринимает биологию сразу в 5 измерениях. Поэтому ИИ здесь нужен не как украшение, а как инструмент, который поможет находить закономерности в данных, слишком сложных для ручного просмотра.
Разработкой MOSAIC руководил Сригокул, или Гокул, Упадхьяюла, профессор кафедры молекулярной и клеточной биологии в Беркли. Раньше он уже работал с Бетцигом над методами съёмки живых систем с высоким разрешением, включая адаптивную оптическую решёточную световую микроскопию и расширительную решёточную световую микроскопию. Оба подхода теперь входят в возможности MOSAIC.
По словам команды, биология входит в этап, где даже очень опытный специалист может понимать вопрос, но не иметь инструментов для обработки, анализа и количественного описания того, что видно на экране. Исследователям нужна система, которая умеет работать не с отдельной фотографией, а с трёхмерным фильмом живого организма. По сути, команда хочет получить научного помощника, который понимает движение клеток, тканей и молекул и позволяет спрашивать о них обычными словами.
Один из показательных опытов связан с эмбрионом рыбки данио-рерио. Учёные сняли, как у него заново отрастает хвостовой плавник после ампутации. Сам фильм охватывает 12 часов, но подготовка, обработка и визуализация заняли месяцы. На видео видны процессы, которые обычно трудно поймать в живой ткани: клетки рядом с раной выделяют микровезикулы, тонкие структуры под кожей смещаются во время восстановления, 2 ремонтные клетки сливаются, а эритроцит на короткое время застревает при перестройке новых кровеносных сосудов.
Такие фильмы одновременно очень полезны и почти непосильны для ручного анализа. Исследователь может прийти к данным с одной гипотезой, а затем заметить десятки других событий, которые раньше просто не удавалось увидеть. Поэтому ИИ должен не только собирать и обрабатывать огромные записи, но и помогать находить конкретные процессы: например, сколько макрофагов пришло в ткань при инфекции, когда клетка начинает покидать орган или какие признаки указывают на поведение, похожее на метастазирование при раке.
MOSAIC построен на нескольких технологических слоях. Первый - флуоресцентные молекулы, которые позволяют помечать нужные структуры и активности внутри живых клеток. Второй - быстрая и бережная световая микроскопия: образец освещают тонким листом света, чтобы получить объёмную картину и при этом не повредить клетки лишней дозой излучения. Третий - инфраструктура для быстрой передачи и обработки гигантских массивов данных. Четвёртый - вычислительные методы, включая ИИ, которые должны превращать 3D-видео в понятные биологические выводы.
История этой линии исследований началась не с MOSAIC. Бетциг получил Нобелевскую премию за метод сверхразрешающей флуоресцентной микроскопии. В нём лазер активирует флуоресцентные метки, позволяет увидеть отдельные молекулы в клетке, а затем собрать множество таких наблюдений в изображение с очень высоким разрешением. Позже Бетциг разработал более быстрый и мягкий способ съёмки живых клеток - решёточную световую микроскопию, LLSM. В ней лазерная энергия распределяется по тонкому световому листу, образец освещается послойно, а флуоресцентные сигналы собираются в 3D-видео.
MOSAIC объединяет эти и другие режимы в одной машине. Внутри установки быстро перестраиваются линзы и другие оптические элементы, которые формируют световые пучки. Для повышения резкости используется адаптивная оптика. Один из элементов - деформируемое зеркало с 69 миниатюрными приводами. Оно вносит микроскопические поправки и компенсирует искажения, которые возникают из-за самой живой ткани.
Набор режимов у MOSAIC широкий. Система поддерживает современные варианты световой и сверхразрешающей микроскопии, многофотонную съёмку и методы без меток, когда объект изучают без флуоресцентного окрашивания. В разных конфигурациях установка может показывать внутриклеточную динамику в культурах клеток и живых многоклеточных организмах, картировать наномасштабные детали в увеличенных тканях миллиметрового размера и снимать архитектуру нейронов в мозге живых мышей.
Отдельная задача - сохранить образец живым и как можно меньше вмешиваться в его состояние. Слишком сильный свет повреждает клетки, поэтому исследователи стараются использовать минимальную дозу освещения. Из-за этого изображение становится шумным. Человек при просмотре фильма часто мысленно отбрасывает шум и следит за настоящими структурами. Для ИИ это намного сложнее: современные визуальные модели в основном не рассчитаны на рассуждение сразу по 3 пространственным измерениям, времени и молекулярной «цветовой» идентичности.
Команда также разрабатывает новые метки для ИИ-анализа. Иэн Суинберн из Беркли и Дэйв Матус, работающий с Бетцигом и Упадхьяюлой над Cell Observatory, помогают создавать реагенты, которые выделяют подмножества из тысяч компонентов клетки. Такая разметка нужна, чтобы будущая модель не просто видела красивый фильм, а распознавала типы объектов, связи между ними и изменения во времени.
В статье Nature Methods первыми авторами указаны Гаосян Лю и Сюнтао Жуань из Калифорнийского университета в Беркли, а также Тянь-Мин Фу и Дэниел Милки из исследовательского кампуса Джанелия Медицинского института Говарда Хьюза в Вирджинии. Старшими авторами стали Сригокул Упадхьяюла, Эрик Бетциг и Уэсли Легант из Университета Северной Каролины в Чапел-Хилле. Бетциг работает исследователем Медицинского института Говарда Хьюза, а Упадхьяюла связан с Biohub San Francisco.
Пока MOSAIC даёт биологам «золотую жилу» данных, но сам по себе не решает главную проблему. Петабайтные фильмы нужно не только снять, но и понять. Поэтому следующий шаг команды в Беркли - создать ИИ-модель, которая сможет искать события в живых тканях, связывать процессы на разных масштабах и превращать огромные записи в вопросы, ответы и проверяемые гипотезы.
В небольшой комнате без окон на кампусе Калифорнийского университета в Беркли круглосуточно работают 2 одинаковых микроскопа. Со стороны это обычная лабораторная рутина, но на деле машины собирают данные для задачи, к которой биология пока плохо готова: научиться смотреть на живую клетку не отдельными снимками, а огромными трёхмерными фильмами, где каждое движение, деление и перестройка ткани превращаются в поток данных для ИИ .
Новая система называется MOSAIC, полное название - Multimodal Optical Scope with Adaptive Imaging Correction. По-русски это можно передать как мультимодальный оптический микроскоп с адаптивной коррекцией изображения. Разработку описали в Nature Methods. В одной установке объединили около 10 режимов микроскопии: от обычного фазового контраста до решёточной световой микроскопии и других методов съёмки живых образцов с высоким разрешением. Переключаться между ними можно без сборки новой установки, фактически нажатием кнопки.
MOSAIC уже повторили более чем в 10 лабораториях по всему миру. Этому помогли препринты и подробные инструкции по сборке, которые команда распространяла последние 6 лет. В Беркли такие установки стали частью более крупной программы: исследователи хотят создать Cell Observatory, «Клеточную обсерваторию», где живые биологические процессы можно будет наблюдать на разных масштабах, от отдельных молекул до целых эмбрионов.
Главное отличие MOSAIC не в красивой картинке, а в длительном наблюдении за живой системой. Микроскоп может следить за образцом секунды, часы или дни. В поле зрения попадают молекулы, клетки, ткани и развивающиеся организмы. Биологи получают возможность видеть, как клетки движутся внутри ткани, как меняются внутренние структуры, как белки и другие молекулы перемещаются по клетке и как разные процессы связаны друг с другом во времени.
Проблема быстро упирается в объём данных. Исследователи говорят уже не о терабайтах, а о петабайтах . Для масштаба: 1 петабайт можно сравнить примерно с 500 млрд страниц текста. Обычный человек не способен просмотреть и осмысленно разобрать такие массивы видео. Поэтому команда Advanced Bioimaging Center в Беркли работает над большой визуально-языковой моделью, LVLM, которая сможет анализировать трёхмерные биологические фильмы и отвечать на вопросы исследователей обычным языком.
Профессор Эрик Бетциг, лауреат Нобелевской премии по химии 2014 года за развитие флуоресцентной микроскопии сверхвысокого разрешения, считает, что клетку нельзя понять через набор отдельных деталей. В одной клетке могут работать десятки миллионов белковых молекул тысяч разных типов, и важны не только сами компоненты, но и их естественные взаимодействия. MOSAIC позволяет одновременно следить за большим числом участников процесса, не вынимая живую систему из её нормального контекста.
Бетциг описывает такие данные как пятимерные. 3 измерения дают объёмную форму объекта, четвёртым становится время, а пятое связано с цветом. Цвет появляется благодаря флуоресцентным меткам: ими помечают органеллы, мембраны, цитоскелет и другие структуры, чтобы видеть, как они движутся, меняют форму, делятся и взаимодействуют. Но человек не умеет думать петабайтами и не воспринимает биологию сразу в 5 измерениях. Поэтому ИИ здесь нужен не как украшение, а как инструмент, который поможет находить закономерности в данных, слишком сложных для ручного просмотра.
Разработкой MOSAIC руководил Сригокул, или Гокул, Упадхьяюла, профессор кафедры молекулярной и клеточной биологии в Беркли. Раньше он уже работал с Бетцигом над методами съёмки живых систем с высоким разрешением, включая адаптивную оптическую решёточную световую микроскопию и расширительную решёточную световую микроскопию. Оба подхода теперь входят в возможности MOSAIC.
По словам команды, биология входит в этап, где даже очень опытный специалист может понимать вопрос, но не иметь инструментов для обработки, анализа и количественного описания того, что видно на экране. Исследователям нужна система, которая умеет работать не с отдельной фотографией, а с трёхмерным фильмом живого организма. По сути, команда хочет получить научного помощника, который понимает движение клеток, тканей и молекул и позволяет спрашивать о них обычными словами.
Один из показательных опытов связан с эмбрионом рыбки данио-рерио. Учёные сняли, как у него заново отрастает хвостовой плавник после ампутации. Сам фильм охватывает 12 часов, но подготовка, обработка и визуализация заняли месяцы. На видео видны процессы, которые обычно трудно поймать в живой ткани: клетки рядом с раной выделяют микровезикулы, тонкие структуры под кожей смещаются во время восстановления, 2 ремонтные клетки сливаются, а эритроцит на короткое время застревает при перестройке новых кровеносных сосудов.
Такие фильмы одновременно очень полезны и почти непосильны для ручного анализа. Исследователь может прийти к данным с одной гипотезой, а затем заметить десятки других событий, которые раньше просто не удавалось увидеть. Поэтому ИИ должен не только собирать и обрабатывать огромные записи, но и помогать находить конкретные процессы: например, сколько макрофагов пришло в ткань при инфекции, когда клетка начинает покидать орган или какие признаки указывают на поведение, похожее на метастазирование при раке.
MOSAIC построен на нескольких технологических слоях. Первый - флуоресцентные молекулы, которые позволяют помечать нужные структуры и активности внутри живых клеток. Второй - быстрая и бережная световая микроскопия: образец освещают тонким листом света, чтобы получить объёмную картину и при этом не повредить клетки лишней дозой излучения. Третий - инфраструктура для быстрой передачи и обработки гигантских массивов данных. Четвёртый - вычислительные методы, включая ИИ, которые должны превращать 3D-видео в понятные биологические выводы.
История этой линии исследований началась не с MOSAIC. Бетциг получил Нобелевскую премию за метод сверхразрешающей флуоресцентной микроскопии. В нём лазер активирует флуоресцентные метки, позволяет увидеть отдельные молекулы в клетке, а затем собрать множество таких наблюдений в изображение с очень высоким разрешением. Позже Бетциг разработал более быстрый и мягкий способ съёмки живых клеток - решёточную световую микроскопию, LLSM. В ней лазерная энергия распределяется по тонкому световому листу, образец освещается послойно, а флуоресцентные сигналы собираются в 3D-видео.
MOSAIC объединяет эти и другие режимы в одной машине. Внутри установки быстро перестраиваются линзы и другие оптические элементы, которые формируют световые пучки. Для повышения резкости используется адаптивная оптика. Один из элементов - деформируемое зеркало с 69 миниатюрными приводами. Оно вносит микроскопические поправки и компенсирует искажения, которые возникают из-за самой живой ткани.
Набор режимов у MOSAIC широкий. Система поддерживает современные варианты световой и сверхразрешающей микроскопии, многофотонную съёмку и методы без меток, когда объект изучают без флуоресцентного окрашивания. В разных конфигурациях установка может показывать внутриклеточную динамику в культурах клеток и живых многоклеточных организмах, картировать наномасштабные детали в увеличенных тканях миллиметрового размера и снимать архитектуру нейронов в мозге живых мышей.
Отдельная задача - сохранить образец живым и как можно меньше вмешиваться в его состояние. Слишком сильный свет повреждает клетки, поэтому исследователи стараются использовать минимальную дозу освещения. Из-за этого изображение становится шумным. Человек при просмотре фильма часто мысленно отбрасывает шум и следит за настоящими структурами. Для ИИ это намного сложнее: современные визуальные модели в основном не рассчитаны на рассуждение сразу по 3 пространственным измерениям, времени и молекулярной «цветовой» идентичности.
Команда также разрабатывает новые метки для ИИ-анализа. Иэн Суинберн из Беркли и Дэйв Матус, работающий с Бетцигом и Упадхьяюлой над Cell Observatory, помогают создавать реагенты, которые выделяют подмножества из тысяч компонентов клетки. Такая разметка нужна, чтобы будущая модель не просто видела красивый фильм, а распознавала типы объектов, связи между ними и изменения во времени.
В статье Nature Methods первыми авторами указаны Гаосян Лю и Сюнтао Жуань из Калифорнийского университета в Беркли, а также Тянь-Мин Фу и Дэниел Милки из исследовательского кампуса Джанелия Медицинского института Говарда Хьюза в Вирджинии. Старшими авторами стали Сригокул Упадхьяюла, Эрик Бетциг и Уэсли Легант из Университета Северной Каролины в Чапел-Хилле. Бетциг работает исследователем Медицинского института Говарда Хьюза, а Упадхьяюла связан с Biohub San Francisco.
Пока MOSAIC даёт биологам «золотую жилу» данных, но сам по себе не решает главную проблему. Петабайтные фильмы нужно не только снять, но и понять. Поэтому следующий шаг команды в Беркли - создать ИИ-модель, которая сможет искать события в живых тканях, связывать процессы на разных масштабах и превращать огромные записи в вопросы, ответы и проверяемые гипотезы.