Nowoczesna technologia w The Mandalorian | Star Wars

Poznaj szczegóły innowacyjnej technologii opracowanej przez Jona Favreau i ILM specjalnie na potrzeby serialu The Mandalorian, która zmienia oblicze efektów wizualnych w kamerze i przyszłość filmowania.

Kiedy Mandalorianin zaczyna się na przemarzniętej lodowej planecie, tytułowy łowca nagród zbliża się do swojej kolejnej nagrody, niemal można poczuć podmuchy wiatru wyjącego na bezlitosnym terenie. Efekt dosięgający trzewi, jest płynnym połączeniem sprawdzonych efektów praktycznych i kostiumów w połączeniu z innowacyjną nową techniką, która zapewnia efekty wizualne już na etapie pierwszego planu procesu produkcyjnego.

Za kulisami planu filmowego Mandalorianina odpowiedzialni za historię i bezprecedensowi inżynierowie efektów wizualnych, tworzący pierwszy aktorski serial telewizyjny ze świata Gwiezdnych Wojen, współpracowali nad złamaniem kodu tego, co zmieniło reguły gry: systemu StageCraft - cudu techniki, który pozwala zanurzyć obsadę i ekipę produkcyjna w środowisku CG w czasie rzeczywistym za pomocą ogromnego, okrągłego ekranu LED.

- „Eksperymentowaliśmy z tymi technologiami przy moich wcześniejszych projektach i wreszcie udało nam się zgromadzić grupę z różnymi perspektywami, aby synergizować postępy w filmie i zaawansowanie gry oraz przetestować granice renderowania w czasie rzeczywistym” - opowiada showrunner Jon Favreau.

- „Jon Favreau dokonał przełomu, którego George [Lucas] zawsze szukał, kiedy po raz pierwszy badał pomysł aktorskiego serialu telewizyjnego.” - dodaje Richard Bluff, kierownik ds. Efektów wizualnych w uznanej serii. Wraz z systemem znanym jako StageCraft, innowatorzy z Industrial Light & Magic, Lucasfilm i ich współpracujący partnerzy w ramach projektu osiągnęli niesamowitą magię w prowadzeniu opowieści z Gwiezdnych Wojen, która dosłownie przenosi widzów do odległej galaktyki, umieszczając Mandalorianina w dużej mierze w komputerowo wygenerowanym, fotorealistycznym środowisku, która otacza fizyczne dekoracje planu i prawdziwych aktorów, tworząc płynne efekty.

Zadziwiające jest obserwowanie, jak rozwija się efekt końcowy, gdy zespół artystów i inżynierów znanych jako Brain Bar działa kontrolując misję zaledwie kilka metrów od Volume, zakrzywionego kokonu świecących ekranów LED gotowych do transportu niemal dosłownie osób i tego, co w  nim stoi, gdziekolwiek sobie wymarzysz.  - „To dokładnie ten sam rodzaj technologii, co duże ekrany LED widoczne na Times Square” - mówi Bluff. - „Chcieliśmy zrobić zdjęcia na małej scenie z małymi fizycznymi dekoracjami, które można było dość szybko wsuwać i wysuwać, a następnie rozciągać te fizyczne dekoracje na owijającej się ścianie LED”. Przenosząc efekty wizualne na początek procesu filmowania, StageCraft wzbogaca występ aktorów oraz doświadczenie reżyserów i operatorów wykorzystujących nową metodologię do bardziej precyzyjnego opowiadania historii w całkowicie sfabrykowanej galaktyce.

Minęło około sześć miesięcy, zanim rozpoczęło się kręcenie filmu. Jon Favreau, producent wykonawczy Dave Filoni i DP Greig Fraser połączyli siły z ILM, Epic Games (twórcą silnika Unreal Engine) oraz partnerami technologicznymi w produkcji Golem Creations, Fuse, Lux Machina, Profile Studios, NVIDIA i ARRI, aby umożliwić powstanie tego innowacyjnego osiągnięcia. Chociaż ILM jest pionierem narzędzi do wirtualnej produkcji i z powodzeniem współpracowało z technologią LED przy poprzednich filmach z serii Gwiezdne wojny, StageCraft wciąż był w powijakach, by platforma wirtualnej rzeczywistości, która pomogła twórcom historii w przygotowaniu fabrykatów scen. Wspierani przez wsparcie prezesa Lucasfilm, Kathleen Kennedy i wolę Favreau, który zawsze naciskał na zespół współpracujący, aby wypróbować nowe rzeczy i zjednoczyć ze sobą genialne umysły zdolne do jego stworzenia, ekipa zrobiła następny krok w kierunku większych światów, tworząc prototyp Volume.

Favreau, świeżo po takich projektach jak Księga Dżungli i Król Lew, pasjonuje się stosowaniem nowych technologii w celu wzbogacenia opowiadania historii, chciał je również wykorzystać, gdy rozpoczął pracę nad Mandalorianinem. Ograniczenia związane z harmonogramem programu telewizyjnego - i serii Gwiezdne Wojny, które musiały zaspokoić skaczących po całej planecie fanów-obserwatorów, i jednocześnie sprawić, by wydawało się to całkowicie autentyczne i dostępne - oznaczało, że wszystko, co wymyślił zespół, musiało wyglądać realistycznie i być w stanie zostać nakręconym na scenie dźwiękowej w Los Angeles bez tradycyjnych wyzwań związanych z fotografowaniem w terenie. - „Jedną z rzeczy, które chcieliśmy zrobić, to odejść od zielonych ekranów i sprawić, by skala serialu telewizyjnego działała w Gwiezdnych Wojnach.” - mówi Bluff. - „Wiedzieliśmy, że potrzebujemy innowacji technologicznej, aby przesunąć granice i zapewnić rozwiązania dla produkcji. Dzięki współpracy z Jonem Favreau, Greigiem Fraserem, ILM, Epic Games i innymi, wpadliśmy na pomysł wykorzystania technologii ścian wideo.”

„Chwila, gdy wszyscy zdali sobie sprawę, że to zadziała”.

Bluff, jak wiele fanów, odkrył Gwiezdne Wojny jako dziecko zafascynowane odległą galaktyką i historiami, które się tam rozgrywały. - „Jako dziecko zakochałem się w Gwiezdnych Wojnach. Ciągle oglądałem filmy i leżałem przed telewizorem rysując postacie. Desperacko chciałem dostać się do dowolnego kreatywnego środowiska, zwłaszcza świata filmowego, poprzez rysowanie.” Kiedy Park Jurajski otworzył nowy grunt dzięki realistycznej animacji komputerowej, Bluff zobaczył możliwość swojego wejścia w ten świat. - „Zrozumiałem, że wkrótce drzwi branży zostaną dosłownie wysadzone z i że zacznie się wyścig do nauki tej technologii, ponieważ jest ona w powijakach. Więc - jak to się mówi:  skorzystałem z okazji obiema rękami! ”

- „Wydarzył się ten właśnie pionierski duch z początków ILM i narodzin grafiki komputerowej oraz narodzin komputerów Pixar, który naprawdę mnie wciągnął” - dodaje Kim Libreri, dyrektor techniczny Epic Games, który ściśle współpracował z Bluffem i jego załogą. - „Szczerze mówiąc, dziedzictwo ILM i George'a miało duży wpływ na to, że wybrałem tę ścieżkę kariery”. Pewnej nocy, gdy studiował na studiach w Wielkiej Brytanii, Libreri marzył o realistycznej grze wideo, która polegałaby na lataniu śmigaczem nad Hoth podczas bitwy z AT-AT z gry inspirowanej Imperium Kontratakuje. - „To było całkowicie prawdziwe. Byłem w filmie, ale to była gra. Pomyślałem, że pewnego dnia gra wideo będzie wyglądać tak samo dobrze jak film. To doprowadziło mnie do całej kariery ”.

Bluff podjął pracę w ILM jako część zespołu artystów tła przy Zemście Sithów; Libreri zaczął także pracować jako kierownik ds. Efektów wizualnych w ILM zanim poszedł dalej. Oboje są zachwyceni pracą nad nowymi historiami z Gwiezdnych wojen. - „Gdy wracam do Gwiezdnych wojen w roli, w której rozwijam technologię, mam nadzieję, że zainspiruje dzieci, które będą w tym samym wieku, w którym ja [odkryłem Gwiezdne Wojny]” - mówi Bluff.

Prawie dwie dekady po swojej pierwszej pracy za kulisami budowania galaktyki Bluff przypomina wczesne testy StageCraft wiosną 2018 roku kiedy ekipa pracująca nad Mandalorianinem miała zaledwie tygodnie, aby wymyślić prototyp ekranowy. - „Mogliśmy zacząć aktywnie rozwijać technologię pod koniec marca 2018 roku. Pomysł polegał na tym, że 10 czerwca tego samego roku przeprowadzimy test na scenie z dużo mniejszym ekranem LED Volume z naszym aparatem fotograficznym, prototyp kostiumu i wiele różnych środowisk LED do testowania technologii. ”

- „Miałem taką teorię, że tekstury i oświetlenie z definicji musiały być niewątpliwie prawdziwe” - mówi Bluff. Niektóre próby wykorzystania proceduralnych i komputerowych krajobrazów zakończyły się niepowodzeniem. - „Było wiele środowisk testowych, które faktycznie nie działały, co było korzystną częścią tego procesu. Najczęściej były to środowiska zbudowane w oparciu o podejście „wszystko od zera”.

Kiedy w Volume umieścili obrazy w wysokiej rozdzielczości przedstawiające prawdziwe pustynie i zaśnieżone krajobrazy, przywołujące Tatooine i Hoth, efekt był namacalny, ale jednocześnie jakoś odległy. Akcja dzieje się tak daleko od tła krajobrazu, żeby zachowywała się bardziej jak tradycyjne matowe tło. - „Gdy kamera porusza się na10 stóp, góra nie będzie się ruszać. Tak naprawdę udowodniło to tylko jedną rzecz, a mianowicie, jeśli potrafimy umieścić na ekranie zdjęcia z prawdziwymi obrazami, uwierzymy, że postać znajduje się w tym otoczeniu w określonej sytuacji oświetleniowej.”

W przedostatnim dniu testów zespół ILM opracował trójwymiarowe środowisko wewnętrzne przy użyciu tysięcy nakładających się obrazów z prawdziwej lokalizacji na Angel Island w San Francisco. Paralaksa musiała zostać wbudowana, więc kiedy tło zmieniło się na ekranie, następowało pozycjonowanie kierunkowe. Wreszcie aktor ubrany w kostium Mandalorianina został umieszczony na środku zakrzywionego Volume. - „To był ten moment. Eureka!”- mówi Bluff. - „To nie była szeroko otwarta przestrzeń, było to znacznie mniejsze środowisko i wszyscy na planie wierzyli, że to jest to prawdziwe."

- „Plan na Angel Island był właściwie kolekcją pokoi z drzwiami pomiędzy nimi, a my mieliśmy kamerę opadającą do tyłu, na ekranie zaś wszystko sprawiało wrażenie, że poruszamy się do tyłu podróżując z pokoju do pokoju” - opowiada Bluff. - „Mieliśmy Mandalorianina w centrum schodzącego po rampie, a on tak naprawdę był całkowicie zintegrowany ze sceną, ponieważ oświetlenie ze środowiska CG poruszało się wraz z nim, a kamera śledziła obraz wstecz. Nikt nie mógł powiedzieć, że nie było go w tym pokoju. I w tym momencie wszyscy zdali sobie sprawę, że to zadziała. ”

- „Wszyscy się bali, że będzie tam jakieś migotanie i różnego rodzaju problemy techniczne” - dodaje Libreri. - „A ludzie dosłownie oszaleli na punkcie tego, jak dobrze to wygląda. To było po prostu oszałamiające. Wszyscy siedzieli na scenie i mówili: O mój boże, myślę, że to jest przyszłość. Myślę, że wszyscy razem, jako zespół, opracowaliśmy szablon tworzenia efektów wizualnych bezpośrednio w kamerze. Na naszych oczach narodził się nowy sposób pracy”.

„Wszyscy stali na pustyni”

Kilka miesięcy później plan Mandalorianina z Los Angeles był tętniącą życiem nową gałęzią działalności. W epicentrum znajdował się Volume, zakrzywiona 20-stopowa ściana wideo LED o wysokości 270 stóp, złożony z 1326 pojedynczych ekranów LED zwieńczonych sufitem LED. W przestrzeni o średnicy 75 stóp znajdowały się różne fizyczne rekwizyty i częściowo zbudowane plany, stworzone przez projektanta produkcji Andrew Jonesa i jego zespół, które mogły zostać zamienione w celu dopasowania do ekranów i szybkiego przekształcenia innowacyjnej areny w różne planety i lokalizacje wewnętrzne.

Geniusz StageCraft polega na tym, że łączy siły twórcze pierwszego aktorskiego serialu z serii Gwiezdnych wojen i pozwala im współpracować w czasie rzeczywistym. Zielone i niebieskie ekrany, które kiedyś były standardem kręcenia prawdziwych aktorów i rekwizytów, zanim cyfrowo zamieniały tło dla środowisk generowanych komputerowo, spowodowałyby koszmar dla zespołu efektów postprodukcyjnych z centralną postacią taką jak Mandalorianin, którego lśniący beskarowa zbroja oddawałaby wszystkie barwy z oświetlenia, które należałoby wyciąć z ostatecznej ramy. W ten sposób StageCraft jest dobrodziejstwem zarówno dla obsady, ekipy i fanów. - „Zielone ekrany powodowały zmieszanie zarówno aktorów, jak i ekipy, ograniczając spontaniczność i kreatywność.” - podkreśla Bluff.

Poza oszczędnością czasu i kosztów eliminacji etapu wymiany zielonych ekranów, StageCraft pozwala na lepsze oświetlenie na planie, z otoczeniem odbijanym w zbroi Mando bez żmudnych prac związanych z postprodukcją. Magia StageCraft skutecznie pozwala twórcom produkować efekty wizualne w wysokiej rozdzielczości w czasie rzeczywistym dzięki technologii opartej na silniku gry. - „Wszystko, co teraz robimy, robilibyśmy w postprodukcji i zawsze wyglądałoby dokładnie tak samo.” - kontynuuje Bluff. - „To był cel. Nigdy nie chcieliśmy narażać na szwank jakości programu. Wręcz przeciwnie, chcieliśmy poprawić jego jakość, ponieważ naszym wyzwaniem był główny bohater z całkowicie odblaskowym strojem.

- „To podejście było dla nas przełomem, nie tylko poprzez wyeliminowanie zielonych ekranów, ale także zapewnienie wszystkim na planie rozszerzenia zestawu efektów wizualnych, które zwykle tworzy się tygodnie po zakończeniu sesji zdjęciowej. Zamiast tego mieliśmy je od razu tego samego dnia, ludzie mogli z nim wchodzić w interakcje i dosłownie się w nich zanurzać - aktorzy, operatorzy kamer, reżyser zdjęć. Wszyscy stali gdzieś na pustyni, w lesie lub w jakimś hangarze. Nie trzeba było zadawać pytań: dokąd teraz idę? Co to za lokalizacja? Jak głęboko to sięga? Jak wysoki jest sufit?"

- „Dzięki dodaniu technologii śledzenia kamery, gdziekolwiek poruszał się fizyczny aparat podczas fotografowania aktorów, byliśmy w stanie przesunąć tło w czasie rzeczywistym, tak jakby kamera patrzyła przez magiczne lustro w świat [generowany komputerowo] który zbudowaliśmy." - mówi Bluff.

- „To tak, jakbyśmy umieścili te elementy w grze wideo.” - dodaje Libreri, chociaż fotorealistyczne obrazy nadal wykraczają poza zakres obecnej technologii gier. - „Fakt, że możemy odwiedzać te lokalizacje, wydaje mi się, że mają lepszą treść, lepszą wydajność. To jak powrót do czasów, gdy George [Lucas] był w Tunezji” lub kiedy najnowsze filmy Gwiezdnych wojen zabrały ekipę Skywalker. Odrdzenie do piasków Jordanii. - „Odzyskujesz to uczucie.” - mówi Libreri. -„Poczucie jak z klasycznych Gwiezdnych Wojen… i będzie miała ona rezonans jeszcze przez wiele lat.”

„Nauczany przez George'a”
Takie przełomowe innowacje są często zwieńczeniem lat małych, ciężko wygranych zwycięstw, które napędzają technologię filmową wyprzedzając ją cal po calu. Favreau i inni twórcy filmowi na przykład już eksperymentowali z tą technologią, dzięki czemu filmy takie jak Księga Dżungli Favreau'a i inne, takie jak Grawitacja Alfonso Cuaróna, były możliwe, gdy Lucasfilm po raz pierwszy użył ekranów LED do oświetlenia w filmie Łotr 1. W tym czasie jakość obrazów oznaczała, że ​​większość ekranów wciąż musiała zostać zastąpiona efektami o wyższej rozdzielczości w postprodukcji wykonanych na potrzeby samodzielnego filmu z serii Gwiezdnych Wojen. 

- „Oparliśmy się na tym, co zostało zrobione dla Łotra 1, obaj korzystaliśmy z okrągłego ekranu LED, ale w tym czasie ograniczaliśmy się do odtwarzania wstępnie renderowanych środowisk z perspektywy pojedynczej kamery.” - mówi dalej Bluff. - „Ich zamiarem było skupienie się na przechwytywaniu interaktywnego oświetlenia z ekranów, wiedząc, że odtwarzane treści zostaną zastąpione w postprodukcji dla wersji o wysokiej wierności, która utrzyma dokładnie takie samo oświetlenie”.

Jon Favreau przedstawił własne przełomowe osiągnięcia VR opracowane zarówno w Księdze dżungli, jak i przy Królu Lwie, ale chciał przenieść efekt na jeszcze wyższy poziom. - „Potrzeba ogromnej odwagi i wizji, aby uwierzyć, że możemy to osiągnąć.” - mówi Bluff. - „Wiele razy ludzie zaangażowani w opracowywanie technologii zastanawiali się, czy w ogóle będzie to możliwe.” - przyznaje. Ale Favreau nigdy się nie zawahał. - „Jon pomógł nam przetrwać i udowodnić, że ta technologia jest dostępna”

Jako wieloletni zarządca opowieści osadzonych w serii Gwiezdnych Wojen, pracujący jako prawa ręka samego Lucasa, kiedy po raz pierwszy zatrudniony został do kierowania animowanym serialem Wojny klonów - „Dave [Filoni] przynosi związek z oryginalną wizją George'a” - mówi Bluff . - „Dave jest niesamowicie kreatywny i sam jest wspaniałym twórcą opowieści, ale fakt, że uczył go sam George, sprawia, że ​​wszyscy są wobec tego wszystkiego uczciwi. Masz wrażenie, że masz dosłownie otwarte drzwi do tego, co George próbował zrobić w oryginalnych filmach. On nas prowadzi. Inspiruje nas. Rozśmiesza nas każdego dnia na planie. On jest cudownym, naprawdę cudownym człowiekiem i wszyscy uwielbiają z nim współpracować. ”

Libreri po raz pierwszy zaangażował się w dyskusje, gdy Filoni badał możliwości silnika Unreal Engine i podobne platformy do jednego z odcinków animowanych historii. - „Rozmawialiśmy o pomyśle, że program telewizyjny, taki jak Wojny Klonów i niektóre epizodyczne animowane treści, mogą być realizowane za pomocą tego silnika.” - mówi Libreri. Śledzenie fizycznych kamer w środowisku wirtualnym było czymś, co Favreau pomógł rozwinąć w swojej pracy nad Księgą Dżingli, a ostatnio także w Królu Lwie.  - „Kiedy zaczynasz patrzeć na te wszystkie różne projekty, Jon zawsze o tym rozmawiał i zawsze naciskał na to, co będzie miało być kolejnym postępem.” Przez lata „nikt nie miał na to odpowiedzi” - dodaje Bluff. - „Wszyscy więc spotkali się i rozmawiali o swoich doświadczeniach i tym, co Jon chciał zrobić, czy to był Greig Fraser, DP, czy to Kim Libreri z Epic, ja z ILM, czy oczywiście sami twórcy filmowi , czyli Jon i Dave. Dzięki tym rozmowom wpadliśmy na pomysł, w jaki sposób chcieliśmy spróbować nakręcić Mandalorianina. ”

Dla Bluffa StageCraft jest ukoronowaniem dwóch dekad w branży. - „To było najbardziej oparte na współpracy doświadczenie, jakie kiedykolwiek miałem od 20 lat pracy tej branży”. - podkreśla.

The Brain Bar

 Z dnia na dzień renderowanie w czasie rzeczywistym i manipulowanie środowiskami wyświetlanymi na ekranie sprowadziło się do elitarnej załogi artystów odpowiedzialnych za efekty wizualne i inżynierów ILM odtąd znanych jako „Brain Bar”.

- „Przypomina to w zasadzie kontrolę ruchu lotniczego.” - mówi dalej Bluff, choć skupieni w odległości zaledwie kilku metrów od Volume, przypominają stoicką salę kontroli misji NASA. - „To oni obsługują ogromne ekrany. Przywołują wszystkie środowiska, które chcesz zobaczyć, a które normalnie musiałbyś nakręcić. Są w stanie dosłownie przenosić góry. Mogą obracać świat. Mogą przenieść nas z jednego końca hangaru na drugi koniec hangaru. Mogą dodać do sceny dodatkowe oświetlenie, które oczywiście wydaje się mieć swój wpływ na aktorów znajdujących się na scenie, ale robią także wiele, wiele innych rzeczy, tak, aby kamera uwierzyła w magiczną sztuczkę. ”

Ponieważ ekipa obecnie ciężko pracuje nad drugim sezonem Mandalorianina, Bluff twierdzi, że lekcje wyciągnięte z pierwszych ośmiu rozdziałów przełomowej serii pozostawiły zespół z nowymi pomysłami na jeszcze lepszą integrację technologii. - „Nauczyliśmy się bardzo dużo od czasu produkcji pierwszego sezonu.” - mówi Bluff. - „Rozdział 6 był jednym z ostatnich odcinków, które nakręciliśmy. Hangar był prawdopodobnie najbardziej skomplikowanym środowiskiem, jakie stworzyliśmy, ponieważ było ogromne. W tym środowisku nie tylko mieliśmy Razor Cresta stworzonym w większości w środowisku wirtualnym, ale także ludzi spacerujących po tych środowiskach wirtualnych. Mieliśmy spadające iskry, unoszącą się parę, poruszające się żurawie. Można więc powiedzieć, że zanim dotarliśmy do końca realizacji programu, poczuliśmy się całkiem komfortowo z technologią i byliśmy podekscytowani, że mogliśmy dalej przekraczać granice tego, co było możliwe.” Problem wciąż zdawało się wchodzenie w szczegóły: - „Mogę powiedzieć, że w drugim sezonie przekroczyliśmy wszystko to, co dotychczas zrobiliśmy w pierwszym sezonie pod względem technologicznym.” - sugeruje Bluff. - „Niektóre z magicznych sztuczek, które byliśmy w stanie wykonać przy użyciu technologii ścian wideo, sprawiły że ekipa do teraz pozostaje z otwartymi ustami.”.

Nic nie byłoby możliwe bez wizji George'a Lucasa i inspirujących osiągnięć Industrial Light & Magic i innych czarodziejów efektów wizualnych, którzy od czasów zatrzymania ruchu i malowania tła nadal dążyli do uzyskania bardziej realistycznych i autentycznych efektów.

- „Jesteśmy bardzo dumni z bycia częścią Mandalorianina i jesteśmy bardzo wdzięczni Kathy [Kennedy], Lucasfilm i Jonowi Favreau.” - mówi Libreri. „Popchnął nas wszystkich. Popchnął wszystkich, aby zrobili coś, czego nigdy wcześniej nie robiono. A kiedy spojrzymy wstecz za 20 lat, zobaczymy jak bardzo jest to przełomowy moment. Jest to tak samo przełomowy moment jak w przypadku filmu The Adventures of Andre and Wally B, kiedy grupa Pixar nakręciła swój pierwszy komputerowo animowany film krótkometrażowy ”.

- „Nie sądzę, by ta technologia działała tak dobrze bez specjalnego miejsca, które Gwiezdne Wojny mają w sercu każdego” - dodaje na koniec Bluff. - „Widać to w pracy, którą wykonali i miłości, jaką jej twórcy mieli dla wszystkiego, co zrobiliśmy. Każdy wniósł do tego projektu coś, co rzadko można znaleźć nigdzie indziej, a wszystko to zwraca wciąż uwagę na George'a Lucasa i wspaniałe filmów, które nakręcił kilkadziesiąt lat temu.”

Źródło: StarWars.com

Tłumaczenie: Lupus

O wykorzystaniu i możliwości najnowszej technologi zastosowanej w Mandalorianinie opowiada także piąty odcinek Disney Gallery: The Mandalorian.