W jaki sposób Ubisoft Toronto przenosi się w przyszłość performance capture

W 2012 roku oddział Ubisoft Toronto na potrzeby swojej pierwszej gry, Splinter Cell: Blacklist, otworzył studio o powierzchni 740 metrów kwadratowych do przechwytywania występów aktorów (performance-capture). Siedem lat i wiele gier później zakończyła się budowa nowego, supernowoczesnego studia performance-capture o powierzchni 1114 metrów kwadratowych. Aby dowiedzieć się więcej o tej nowej przestrzeni i w jaki sposób przyczyni się ona do tworzenia bliższych rzeczywistości i bardziej dopracowanych gier, porozmawialiśmy z Tonym Lomanaco, dyrektorem ds. performance capture.

Credit: Lauren Green

Czy zajmuje się dyrektor ds. performance capture?

Tony Lomonaco: Jako dyrektor ds. performance capture nadzoruję wszystkie obszary, którymi zajmuje się nasz departament. Obsługujemy produkcje firmy Ubisoft w pełnym zakresie – dobór obsady, fotogrametria (skanowanie twarzy, ubrań i rekwizytów postaci), dubbing, badania i rozwój, opracowywanie nowych narzędzi, budżetowanie oraz, oczywiście, nagrywanie aktorów (performance capture) i przetwarzanie wszystkich danych zebranych podczas naszych nagrań twarzy i ciała. Blisko współpracujemy również z zespołem przerywników filmowych (cinematic), który pomaga nam ożywiać nasze historie. Pracuję w firmie Ubisoft od ośmiu lat, kiedy to uruchomiliśmy naszą pierwszą scenę, a nasz zespół był wtedy niewielki. W tamtych czasach zajmowaliśmy się wyłącznie prowadzeniem sesji przechwytywania ruchu (motion capture – mocap) oraz nagrywaniem aktorów (performance capture – pcap). Nie przejmowaliśmy się obsadą, danymi, skanowaniem ani dubbingiem. Teraz zarządzamy wszystkimi tymi usługami dla naszych zespołów produkcyjnych, a nasza ekipa urosła do ponad 35 osób!

__Czemu firma Ubisoft Toronto poczuła potrzebę wybudowania nowego studia do performance capture? __

TL: Wszyscy w Ubisoft Toronto są bardzo podekscytowani wejściem w kolejną fazę ewolucji naszych prac nad performance capture. Przeszliśmy daleką drogę od czasu otwarcia naszej pierwszej sceny w 2012 roku, gdzie kręciliśmy pierwszą grę naszego studia, Splinter Cell: Blacklist. Technologia pod wieloma względami poszła naprzód, coraz więcej potrzeba nam też scen kręconych przy użyciu pcap.

Nasza inwestycja w większą scenę do performance capture oznacza, że możemy wynieść jakość naszej pracy na zupełnie nowy poziom, dzięki czemu będziemy jeszcze bardziej elastyczni i innowacyjni, a to z kolei pociągnie za sobą tworzenie jeszcze lepszych i jeszcze bardziej wciągających gier dla naszych graczy.

Przebudowaliśmy nasze studio, dzięki czemu możemy nagrywać w dowolnej prędkości wymaganej przez dane medium, niezależnie od tego czy chodzi tu o film, telewizję, czy gry. Nasze poprzednie wyposażenie ograniczało nas do 29,97 klatek na sekundę. Nasz zespół stworzył własne kamery referencyjne 4K, używając do tego modularnych, przemysłowych uchwytów po to, aby wszystko pasowało do najróżniejszego wyposażenia podtrzymującego, takiego jak wysięgniki czy wózki transportowe. Wszystko jest teraz całkowicie bezprzewodowe, dzięki czemu nasi operatorzy i operatorzy mikrofonów mają dużo większą swobodę.

Podziękowania: Lauren Green

__Ubisoft Toronto już ma mniejsze studio do pcapu; jakie są korzyści z posiadania większej przestrzeni? Na jakie rzeczy, których nie dało się zrealizować na mniejszej scenie, pozwala większe studio? __

TL: Nasz sufit jest teraz dwa razy wyżej niż na oryginalnej scenie, dzięki czemu możemy kręcić bardziej skomplikowane numery kaskaderskie. Gdy tylko skończyliśmy budowę, od razu przystąpiliśmy do akcji – podczas pierwszego dnia zdjęć na nowej scenie nakręciliśmy zjazd na linie z wysokości 9 metrów!

Dzięki większemu studiu mamy więcej możliwości i okazji do nagrywania bardziej skomplikowanych scen, teraz ograniczają nas wyłącznie nasze marzenia. Większa powierzchnia pozwala również na umieszczanie w jej wnętrzu pełnych wirtualnych scenografii – zamiast dzielenia sceny na dwie części i robienia dwóch różnych ujęć, teraz możemy wszystko nagrać podczas jednego ujęcia. Używamy również technologii takich jak AR czy VR w celu stworzenia bardziej wiarygodnego środowiska i lepszej wizualizacji sceny dla naszych aktorów i reżyserów.

Większa scena oznacza również jeszcze większy sprzęt, jak choćby żuraw o wysokości 7,5 metra – dzięki temu możemy realizować naszą wizję kreatywną w znacznie większej skali. Przykładem takiego zastosowania jest wykonanie szerokiego przejścia przez londyński charakterystyczny Piccadilly Circus w Watch Dogs: Legion, do czego używamy naszej wirtualnej kamery.

Dla niewyszkolonego oka studio pcap wygląda jak wielka, pusta przestrzeń. Co mieści się w takim budynku jak studio performance-capture? Czym dobre studio pcap różni się od złego studia pcap?

TL: Poza samym budynkiem istnieje masa rzeczy, które dzieją się za kulisami, i których nikt nie widzi. Każdy aspekt tego, co nagrywamy, jest zsynchronizowany czasowo, co stanowi kluczowy element performance capture z wielu powodów – głównie ze względu na nasz proces montażowy. Nasze działania w postprodukcji opierają się na precyzyjnej synchronizacji danych – nagrań twarzy, dźwięków, mocapu, wideo – które potem przesyłane są do naszych montażystów, a ci następnie montują nasz film. Po uzyskaniu akceptacji naszego reżysera filmów zamawiamy dane na podstawie oznaczeń czasowych z przygotowanego materiału. W każdym tygodniu generujemy olbrzymie ilości danych, dlatego też korzystamy z własnych skryptów i oprogramowania, które automatyzują znaczną część naszej pracy przy postprocessingu.

Ale najważniejszą rzeczą, bez której nie sposób zbudować najlepszego studia performance-capture jest genialny zespół. Nie ma mowy, żeby poskładać coś tak niesamowitego bez współudziału najbardziej na całym świecie utalentowanego, pełnego pasji i innowacyjnego zespołu. Wielkie podziękowania dla Brada Oleksy’ego, naszego menedżera ds. pcap oraz dla całej ekipy. To dzięki ciężkiej pracy tych ludzi możemy robić to, co robimy i robimy to aż tak dobrze.

A co z samym budynkiem?

TL: Większość scen do performance-capture tworzy się w odnowionych wnętrzach i tak właśnie wyglądało to w przypadku naszego oryginalnego studia. Ale nasze nowe studio zbudowaliśmy zupełnie od zera, od razu z myślą o performance capture. To właściwie budynek wewnątrz budynku, w którym wewnętrzne ściany i podłoga odizolowane są od ścian zewnętrznych i fundamentów, dzięki czemu jest całkowicie odcięty od zewnętrznego świata.

Wewnętrzny budynek spoczywa na 5-centymetrowych kostkach wykonanych ze specjalnego rodzaju gumy i rozmieszczonych co 120 centymetrów. Dzięki temu pomiędzy fundamentami i podłogą pomieszczeń wewnątrz powstaje poduszka powietrzna, co sprawia, że nasze studio jest również prawdziwą sceną muzyczną ze światowej klasy akustyką.

Credit: Lauren Green

Czy jest jakaś różnica pomiędzy performance capture i motion capture? Jakie zaskakujące dla graczy rzeczy nagrywa się w performance-capture?

TL: Niektórzy ludzie używają terminów mocap i pcap do opisywania tego samego, ale oba procesy zdecydowanie się różnią. Ogólnie terminem mocap określa się nagrania wyłącznie ciała aktora, a performance capture to dużo więcej – to nagrywanie ruchów ciała, wyrazów twarzy oraz głosu.

Słowa „mocap” używano bardzo długo, aż do chwili, w której dziedzina ta wyewoluowała do rangi sztuki. W firmie Ubisoft nagrywamy nie tylko ruch – nagrywamy cały występ aktora. Performance capture, czyli pcap, to teraz termin powszechnie używany w całej branży. Wciąż posługujemy się obydwoma terminami, ale mają one różne znaczenie.

W jaki sposób performance capture wyewoluowało w ostatnich latach dzięki postępom technologicznym?

TL: Technologia zawsze leżała u podstaw mocapu i pcapu, a teraz jest jeszcze ważniejsza niż kiedykolwiek wcześniej. Nasze studio performance-capture generuje coraz większe ilości danych – co tydzień wytwarzamy ponad terabajt danych dotyczących mocapu, kamer referencyjnych, kamer na głowie oraz danych dźwiękowych – dlatego też musimy znaleźć sposoby na lepsze filtrowanie tych danych i skuteczniejsze przekazywanie ich naszym artystom. Na przykład w niektórych przypadkach wykorzystujemy machine learning, aby jeszcze szybciej przetwarzać i dostarczać dane naszym animatorom, a oni dzięki temu mogą dopieszczać animacje, które później pojawiają się w naszych grach.

Podczas pracy na planie używamy naszych engine’ów gier do wizualizacji występów w naszych wirtualnych środowiskach – dzięki temu podejściu w dokładniejszy sposób budujemy właściwy kontakt i interakcje pomiędzy występami aktorów i elementami tego środowiska.

__Jakie będą Twoim zdaniem kolejne kroki w ewolucji technologii performance capture? __

TL: Całkiem nieźle nagrywamy już ruch, ale mnie najbardziej ciekawią postępy technologiczne w dziedzinie nagrywania subtelnej mimiki twarzy, dzięki czemu stworzymy jeszcze wiarygodniejszych cyfrowych ludzi. Aktualnie używamy kamer montowanych na głowach (tak zwanych HMC) do nagrywania mimiki twarzy, ale w przyszłości kapitalnie byłoby zobaczyć technologię, która całkowicie wyeliminuje konieczność korzystania z HMC. Dzięki temu nasi aktorzy nie musieliby nosić na sobie sprzętu HMC, a to wyniosłoby ich występy na zupełnie nowy poziom.