«Мандалорец»: новые технологии

Несколько десятилетий для подобных сцен использовали хромакей. Проблема в том, что на блестящих и металлизированных поверхностях, например, доспехах, получаются синие или зеленые отблески.

На съемках сериала «Мандалорец» эти проблемы были решены с помощью новых технологий, которые позволили создать зрелищные миры «Звездных войн» в относительно маленьком павильоне.

«Нашей задачей было создать практически реальную среду, — рассказывает со-продюсер шоу и со-оператор Грейг Фрейзер. — Среду, которая позволила бы не только выстроить композицию кадра для последующей работы, но и снять все сцены в реальном времени. Чтобы актеры были соответствующим образом освещены, вписывались в среду и все это — сразу в момент съемки».

Сегодня это можно сделать с технологией, которая является наследницей рир-проекции: динамический, фотореалистичный фон, который выведен на огромный светодиодный экран на стене и потолке. Этот фон представляет собой любую экзотическую локацию, заранее сгенерированную в 3D и синхронизированную в реальном времени с данными по расположению камеры.

Если такой контент был создан заблаговременно, то размещенные на переднем плане актеры, части декорации и реквизит создают окончательную картину. На «Мандалорце» такой светодиодный павильон назывался the Volume. В данном случае это можно перевести, как «Пространство». Технически этот термин означает любое трехмерное пространство, в котором разворачивается захват движения.

«Мне понравилось работать с подобными технологиями еще на „Книге джунглей“ (2016) и „Короле льве“ (2019), где мы сняли виртуальной камерой весь фильм, — говорит шоураннер сериала Джон Фавро. — У меня уже был опыт с частичным видеоэкраном на пилотном эпизоде сериала „Орвилл“ (2017). У нас собралась отличная команда из компаний: ILM, Magnopus, Epic Games, Profile Studios и Lux Machina. Мне показалось, что у нас есть отличный шанс добиться нужной цели».

«Технологию the Volume довольно сложно понять, если вы не стоите там на фоне экрана с проекцией и не двигаете камеру сами, — считает Фрейзер. — Это не рир-проекция, это не транслайт (фото-задник на пленке, подсвеченный с обратной стороны), потому что это фотореалистичное трехмерное изображение, которое выдает реалистичный параллакс (изменение расположения объектов заднего плана относительно друг друга) для съемочной камеры. Оно не анимировано заранее, оно генерируется в реальном времени с помощью игрового движка».

«Этой технологии не существовало, если бы мы не доработали то, что начали на других проектах, — продолжает Фавро. — Тогда мы использовали игровой движок, захват движения и виртуальные декорации, которые рендерили после основной работы. Так что, визуализация изображения в реальном времени — это следующий шаг».

В случае «Мандалорца» the Volume представляло собой полукруглый светодиодный экран высотой шесть метров, полукругом на 270º и визуальным диаметром 22 метра. Стена состояла из 1326 светодиодных экранов с пикселем 2,84 мм. С потолка свисал еще один светодиодный экран, который представлял собой осветительный прибор. Его заменяют небом на этапе постпродакшна.

На оставшихся 90 град. пространства — позади камеры — стоят две плоские стены 5,4 на 6 метров еще из 132 светодиодных экранов. Эти панели можно убирать с дороги или передвигать вместе с камерой.

«The Volume позволяет снимать в любой среде под одной крышей, — говорит VFX-супервайзер ILM Ричард Блафф. — Мы можем снимать пустыни из лавы на Наварро утром и песчаную пустыню Татуина вечером. Конечно, есть некие технические нюансы переключения пространств, но мы иногда действительно снимали в разных локациях утром и вечером».

«Большую часть сцен мы завершали прямо в камере на съемках, — продолжает Джон Фавро. — А работа над теми, что требовали постпродакшна, была сильно облегчена и сокращена, потому что мы принимали все творческие решения на основе того, что видели перед собой».

При работе с традиционной рир— или фронт-проекцией, чтобы вся сцена выглядела убедительно, камера должна либо быть статичной, либо двигаться по заранее определенному пути. И ракурс камеры должен совпадать с ракурсом проектора для достижения правильной перспективы и параллакса.

«Мандалорец» не первый продукт, на котором использованы светодиодные экраны для съемки фона. Но главное, что отличает его от других примеров — это возможность двигать камеру, получая достоверное изображение в любой точке съемки.

Сегодня статичная камера — это устаревший элемент. Такой стиль съемки категорически не подходит фантастическому сериалу. Поэтому команде пришлось найти способ связать движение камеры с генерацией фона в реальном времени. Работа велась в сотрудничестве с художником-постановщиком шоу Эндрю Джонсом и визуальным консультантом (и художественным руководителем ILM) Дагом Чаном.

Где было возможно, команда выезжала на реальную локацию и производила ее фотограмметрию для создания 3D фото-сканов. Эти данные потом стали основой для виртуальных трехмерных декораций, которые дополнительно отредактировали для воссоздания эстетики мира «Звездных войн». Если реальной локации не существовало, ее создавали силами VFX-команды ILM.

Потом все элементы загружались на игровую платформу Unreal Engine, которая и обеспечила живым изображением локации. И это изображение могло в реальном времени подстраиваться под расположение и ракурс камеры. Третий шот первого эпизода сериала продемонстрировал эту технологию во всей красе, воссоздав ракурс и параллакс объектов при движении камеры. Это стало возможным благодаря интеграции работы игрового движка с технологией захвата движения.

В этом кадре Мандо находится на ледяной планете Малдо Крайс, он что-то рассматривает на своем мониторе, а камера смотрит на него снизу. Потом он стоит на довольно длинном пути, который вытягивается до горизонта. Небо хмурое и идет легкий снег. Когда Мандо начинает идти, камера поднимается. Все это снято в the Volume: часть тропинки была сделана в реале, но весь остальной мир — это изображение на экране. Параллакс объектов при движении камеры совпадал идеально.

Такая система требует невероятных вычислительных ресурсов для рендера изображения в реальном времени в высоком разрешении на все 180 град. экрана и потолка. Это и сегодня еще практически невозможно. Поэтому был сделан компромисс: система знала, что видит объектив. И рендерила в реальном времени картинку высокого разрешения только для этой его части. Все остальное пространство демонстрировалось в низком разрешении. Но этого было достаточно для создания интерактивного освещения на объекте перед камерой.

Движение камеры было отслежено с помощью инфракрасных камер захвата движения студии Profile. Камеры располагались на верхнем крае экрана, а маркеры — на камере. Так позиция камеры передается в игровой движок, который и «подгоняет» параллакс изображения перед ней.

Данные передаются в систему StageCraft, разработанную ILM. Система записывает все сведения, расставляет изображения и передает их Unreal Engine. После чего изображение рендерится и выводится на экран, за что отвечает команда студии Lux Machina.

Из-за длительного процесса задержка составляет 10-12 кадров (примерно полсекунды) от получения данных о позиции камеры до вывода изображения на экран. Если камера двигается быстрее, чем идет это обновление, то граница между изображениями разного качества будет видна. Чтобы этого избежать, поле высококачественного изображения берется на 40% больше, чем требуется камере в каждый момент времени.

Когда объектив слишком широкий и система не может отрендерить это поле в высоком разрешении, картинка берется только как интерактивный свет, а экран дает хромакей за актерами. И на этапе постпродакшна изображение высокой четкости заменяет этот фон по традиционной схеме. Но эти изображения уже готовы и они совпадают с отснятым материалом.

К счастью, Джон Фавро хотел, чтобы визуальная эстетика «Мандалорца» совпадала с эстетикой оригинальных «Звездных войн». А значит, здесь отсутствовало агрессивное движение камеры. Она скорее плавно панорамировала и медленно изменяла ракурс. Что позволяло скрыть отставание системы.

Сериал снимали на ARRI ALEXA LF, с новым полнокадровым анаморфным объективом Panavision Ultra Vista 1.65x. Такой подход позволил использовать весь кадр формата 1.44:1 для создания нативного кадра в соотношении 2.37:1, который слегка кропнули до формата 2.39:1.

«Мы выбрали LF по нескольким причинам, — объясняет Фрейзер. — У „Звездных войн“ длинная история с анаморфными объективами. И соотношение сторон было важным. Мы тестировали сферический объектив и кроп до 2.40, но почему-то оно не работало. По ощущениям картинка была очень современной — не те „Звездные войны“, на которых мы выросли. Плюс большая по размеру матрица изменяет глубину резкости.

Диафрагма T2.3 на Ultra Vistas похожа на T0.8 на пленке Super 35. А с меньшей глубиной резкости было проще выводить в нерезкость светодиодный экран. Так мы избежали проблем с муаром и избавились от другой проблемы — двумерный экран показывает трехмерные объекты на расстоянии только шести метров от актера, а не 300 метров».

На съемках сериала использовали объективы Ultra Vistas с фокусным расстоянием 50 мм, 65 мм, 75 мм, 100 мм, 135 мм, 150 мм и 180 мм. Их светосила колебалась от T2 до T2.8 и Фрейзер прикрывал их до T2.5-T3.5

«Наша цель сделать картинку кинематографичной определяла выбор техники», — говорит Баз Айдоин, оператор-постановщик, сменивший Фрейзера. Это включало даже фильтр LUT, эмулирующий цветопередачу пленки Kodak 500T 5230, которую очень любит Фрейзер.

«Я использовал эту пленку на „Ограблении казино“ (2012) и на „Охотнике на лис“ (2014), — делится Фрейзер. — Мне нравятся кремовые тени и немного мадженты в светлых областях. Для фильма „Изгой-один: Звездные войны. Истории“ (2016) ILM разработали LUT, который эмулировал этот эффект, и с тех пор мы используем его все время».

«Мир за пределами кадра очень важен, — продолжает Фрейзер. — Когда снимаешь объект в блестящих доспехах, все, что расположено позади камеры, в них отражается. Именно это отражение „продает“ иллюзию, что персонаж находится в той или иной среде. Даже если бы мы снимали с одной стороны, арт-департаменту все равно пришлось бы построить декорацию на 360 градусов, чтобы получить интерактивный свет и отражения».

Но у системы есть и ограничения. Хотя светодиодные экраны довольно яркие и могут светить очень интенсивно, они не могут воспроизводить солнечный свет.

Задний двор киностудии представлял собой открытое поле рядом с Manhattan Beach Studios, где арт-департамент построил отдельные декорации. Кстати, и в студии несколько павильонов было отдано под традиционные декорации.

А вот сумрачное небо the Volume отрабатывает отлично. На локации делалась фотограмметрия декораций в разное время суток. Это позволяло режиссеру и оператору, при работе в помещении, выбирать расположение солнца и состояние неба для каждой сцены.

«Мы можем создавать на экранах среду, в которой две минуты до заката солнца застыли на 10 часов, — говорит Айдоин. — Если нам нужно поменять положение камеры, мы разворачиваем небо, пейзаж на экранах и снимаем дальше».

Фрейзер и Айдоин подготовили множество установок для неба и времени суток, которые можно просто выбрать как готовый осветительный набор с определенным положением солнца в пространстве. Так можно создать идеальное освещение для любой сцены. После чего команда ILM брала эти установки и черновой вариант локаций, заранее выстроенных в Maya, и строила цифровые объекты (ассеты) высокого разрешения с опорой на фотограмметрию, интегрируя туда солнце.

«Потом я выбирал те установки, которые лучшим образом подходят к каждой сцене, — продолжает Фрейзер. — После этого и работы ILM я уже не могу изменить положение солнца — освещение и тени в этом изображении уже „залочены“. Но я могу повернуть всю картинку, чтобы расположить солнце в нужном месте».

Помимо этого the Volume может «отыгрывать» интерактивный свет и создавать спецосвещение для шлема Мандо. Например, длинную полосу света для создания контрового освещения «для красоты». А еще эти экраны могут мгновенно превратиться в хромакей любого цвета. И не просто дать экран хромакея, а точным образом окантовать нужный объект, почти полностью исключив нежелательную цветовую засветку других объектов в кадре.

Да, работа с этой технологией переворачивает весь процесс с ног на голову. В данном случае все цифровые объекты должны быть готовы до съемки, а не на этапе постпродакшна. Между утверждением локации, расположение на них солнца и съемкой проходило шесть недель. В это время команда ILM превращала черновые CG-объекты в ассеты высокого разрешения.

«Мы изучали возможности и ограничения системы в процессе работы, — отмечает Фрейзер. — Постоянно заставляли ее делать что-то новое. И она продолжала развиваться. Мы могли сказать: „А вот было бы круто, если бы…“ И парни за пультами управления говорили: „А наверное, мы можем…“ И на следующий день у нас было то, что мы представляли вчера. Это было невероятно!»