Jak zmiany dźwięku nowej generacji w silniku Snowdrop umożliwiają ‘Ray-Tracing Audio’ w czasie rzeczywistym

Choć studio Ubisoft Massive możecie znać jako twórców The Division 2, a także nadchodzących Gwiezdnych Wojen oraz gier z cyklu Avatar, odpowiada ono też za stworzenie silnika Snowdrop. Jako jeden z najbardziej wszechstronnych silników produkcji Ubisoft, Snowdrop pomógł przy opracowaniu takich gier jak The Division 2, Mario + Rabbids Kingdom Battle, Starlink: Battle for Atlas oraz South Park: The Fractured But Whole, nie wspominając o dwóch kolejnych projektach, nad którymi właśnie pracuje Massive.

Aby sprawdzić, jak silnik ewoluuje i zmienia się wraz z nadejściem konsol nowej generacji, umówiliśmy się na spotkanie z architektem Snowdrop Audio, Robertem Bantinem, którego prezentacja, “Snowdrop Audio: najnowsze osiągnięcia technologii” na Konferencji Deweloperów Ubisoft rzuca nieco więcej światła na przyszłość dźwięku w grach.

Pracując nad dźwiękiem w silniku Snowdrop masz masę ekscytujących zadań, ale wytłumacz nam najpierw w prostych słowach, czym jest ten silnik gry? Jakie korzyści płyną z posiadania własnego silnika?

RB: Najłatwiej to opisać mówiąc, że dobry silnik gry jest jak zestaw klocków Lego. Klocki Lego są tak zaprojektowane, aby idealnie do siebie pasowały. Wystarczy dać komuś zestaw klocków, a on może zbudować z nich przeróżne konstrukcje. Posiadanie własnego silnika oznacza, że nie tylko dajemy naszym deweloperom gotowe klocki do tworzenia gier, ale możemy też projektować własne, które później trafiają do ekosystemu Snowdrop, gdzie wszyscy mogą z nich korzystać.

Własne silniki są często tworzone z myślą o konkretnej grze, przez co bardziej przypominają jej modyfikowalną wersję. Snowdrop został zaprojektowany na przekór tej tendencji – aby zapewnić mu prawdziwą wszechstronność. Gracze nigdy by się nie domyślili, że silnik, który posłużył do stworzenia The Division 2 został też wykorzystany prze produkcji takich gier jak The Settlers, Starlink: Battle for Atlas, czy Mario vs Rabbids Kingdom Battle. Estetykę gry można zmieniać dzięki zasobom, to dość proste, ale elementy takie jak ruch, walka, czy nawigacja mogą być integralną częścią silnika, by można je było stosować w różnych grach. Dzięki temu nie musimy za każdym razem odbudowywać wszystkiego od podstaw – to byłoby po prostu marnowanie naszych zasobów.

Jak konsole nowej generacji wpłynęły na zdolność silnika Snowdrop do produkcji i przetwarzania dźwięku?

RB: Projektanci zawsze muszą pracować w ramach określonego budżetu. Jak dużej mocy przetwarzania możemy użyć? Ile będziemy mieli dostępnej pamięci? Ogólne zwiększenie tych wartości zwykle pozwala nam zrobić więcej, ale bodaj największa zmiana dokonała się dzięki dyskom SSD, które wykorzystują konsole PlayStation 5 oraz Xbox Series X|S. Na konsolach poprzedniej generacji, gdy wchodziło się w grze na nowy obszar, najpierw następowało wczytywanie zasobów do pamięci, a część tego czasu była poświęcana na ulokowanie w pamięci systemowej sygnałów i efektów dźwiękowych, aby były one jak najszybciej dostępne – chodzi o dźwięki, które trzeba odtwarzać na bieżąco, takie jak odgłosy uderzeń, wystrzałów itd. Jedynymi elementami, które mogliśmy w miarę bezpiecznie odtwarzać z płyty były te dźwięki, które nie potrzebowały niskiej latencji, jak utwory muzyczne i dźwięki otoczenia.

Gdy ma się jednak do dyspozycji dysk SSD, jak w przypadku nowych konsol, człowiek szybko dostrzega, że nie musi już wczytywać większości rzeczy do pamięci systemowej, bo dyski te same w sobie są bardzo szybkie. Wystarczy ustawić odtwarzanie najważniejszych elementów z dysku SSD, gdy tylko będą potrzebne. Oczywiście, część dźwięków, które muszą być odtwarzane natychmiastowo, jak odgłosy wystrzałów czy kroków, nadal mogą być w całości wczytywane do pamięci systemowej, w zależności od tego, jak często są potrzebne, ale większości dźwięków nie trzeba już w pełni do niej wczytywać.

Można o tym pomyśleć jak o Netfliksie: zamiast pobierać cały film przed obejrzeniem, streamujesz go, cały czas wczytując do pamięci tylko niewielki fragment. W naszym przypadku główna różnica polega na tym, że nasze dźwięki stanowią integralny element całej warstwy dźwiękowej i teraz po prostu nie musimy już wczytywać ich fragmentów.

Pojęcie “ray-tracingu” zwykle odnosi się do tego, w jaki sposób światło rozprasza się i odbija od różnych powierzchni w grze, ale w twoje pracy przewija się pojęcie “ray-tracing audio”. Co to dokładnie oznacza? I jak wpływa na wrażenia gracza?

RB: Cóż, kiedyś stosowaliśmy to określenie w przypadku generowania realistycznego echa w zamkniętych przestrzeniach. W The Division 2 są tysiące takich miejsc. Myślę, że standardowo jest ich 2200, ale w razie potrzeby ich liczbę można zwiększyć do 5000. Cały akustyczny ray-tracing został wykonany w procesie czasu nierzeczywistego z poziomu głównego narzędzia deweloperskiego silnika Snowdrop, a następnie wpisano do gry. Pomieszczenia zostały opatrzone danymi impulsu echa, a jedynym elementem czasu rzeczywistego jest wykorzystywana przez nasz silnik funkcja pogłosu, podpinana pod echa lokalnego oraz sąsiadujących pomieszczeń dla emitowanych w nich dźwięków nie generujących echa.

Ostatnio jednak uzyskaliśmy dostęp do danych ray-tracingu generowanego w czasie rzeczywistym przez najnowsze karty graficzne. Czerpana z tego korzyść niekoniecznie dotyczy echa, ale na pewno pomaga przy testowaniu zakłóceń dźwiękowych, czy rozchodzenia się dźwięków wydawanych przez drzwi i okna, a przy tym jest całkowicie darmowa, bo potrzebne nam dane już są przetworzone przez renderowanie graficzne. To oznacza, że możemy to wszystko zrobić w ogóle nie obciążając procesora.

Tutaj warto wspomnieć, że silnik Snowdrop jest też wyposażony w technologie typowo dźwiękowe, takie jak system “Slapback”. W tej chwili działa on w taki sposób, że zrzuca na procesor fizyczne obliczanie ścieżki rozchodzenia się i odbijania dźwięków generowanych przez gracza, co pozwala nam odpowiednio sterować dźwiękami otoczenia, ponieważ te same czynności mogą w różnych miejscach brzmieć zupełnie inaczej.

Ale to wszystko nie sprowadza się tylko do “wartości produkcyjnej”. Istnieją ważne powody, dla których chcemy, aby niepowtarzalne graficznie miejsca, miały też swą wyjątkową oprawę dźwiękową.

Wszyscy mamy w takich sytuacjach skojarzenia z kinem, więc wyobraźmy sobie na przykład, że nasi bohaterowie muszą pokonać wielką rozpadlinę. Ujęcia takiego miejsca są często fragmentaryczne, nigdy nie widzimy go w całości, ale i bez tego wiemy, że rozpadlina jest głęboka, ponieważ podpowiada nam to echo głosów naszych bohaterów. W tym przypadku dźwięk odpowiada otoczeniu, a nawet opisuje je widzowi, sygnalizując, że mamy tu do czynienia z niebezpieczną sytuacją. Łatwo sobie wyobrazić, jakby to wyglądało na odsłoniętym urwisku lub w gęstej dżungli.

Różnica w przypadku nas, osób tworzących gry, jest taka, że to gracz decyduje o ruchu kamery, musimy więc wykonać masę dodatkowej pracy, aby pospinać to, co widać na ekranie, z tym, co słychać w głośnikach. Jeśli te źródła przestają się wzajemnie dopełniać, nasz mozg podpowiada nam, że otrzymywane informacje nie są przydatne i przestajemy zwracać uwagę na mniej dominujące bodźce. W tym momencie dźwięk przestaje stymulować naszą wyobraźnię.

Czy aby w pełni docenić efekt waszej pracy trzeba mieć słuchawki lub korzystać z systemu dźwięku przestrzennego?

RB: Wrażenia dźwiękowe z pewnością mogą poprawić solidne słuchawki lub system głośników surround, ale jeśli tylko nie korzystamy z wbudowanych głośników monitora, to dźwięk w większości przypadków powinien być przetwarzany na przyzwoitym poziomie. Tym, co ostatnio rzeczywiście nam pomogło, jest dekodowanie dźwięku 3D w przypadku słuchawek (HRTF), co zarówno Microsoft jak i Sony oferują nam obecnie w standardowych wersjach swoich konsol. Pozwala to graczom uzyskać naprawdę głęboki poziom dźwięku 3D w bardzo przystępnej cenie, a przy tym technologia ta jest również bardzo bliska temu, czym my się zajmujemy.

Dlaczego tak zależało ci, aby podzielić się tą prezentacją z innymi deweloperami Ubisoft na konferencji?

RB: Teraz, gdy w Ubisofcie są różne zespoły korzystające z silnika Snowdrop, wewnętrzna wymiana informacji jest dla nas szczególnie ważna, podobnie jak pokazanie innym ekipom naszych dźwiękowców, że cały czas aktywnie pracujemy nad nowymi funkcjami, które mogą przydać im się w rozwijaniu ich własnych projektów. Temu służą takie konferencje!

Co najbardziej cię ekscytuje, gdy myślisz o przyszłym zastosowaniu rozwiązań dźwiękowych?

RB: Gdy popatrzy się na konstrukcję nowych konsol, widać, że w każdej z nich mocno postawiono na poprawę dźwięku.

W przypadku konsoli Xbox Series X, jest to dalsze rozwijanie systemu Microsoft’s Spatial Audio API (który obsługuje na przykład Dolby Atmos), wprowadzonego na konsoli Xbox One już pod jej obecność na rynku, tyle że teraz pod maską skrywa się o wiele większa moc. A technologia ta zastosowana teraz z konsolach Xbox Series X|S działa dokładnie tak samo jak w systemie Windows 10, otrzymujemy zatem bardzo pokaźne źródło danych przy minimalnych nakładach.

Natomiast w przypadku PlayStation 5, Sony niemalże skopiowało ścieżkę przetwarzania dźwięku, jaką zaprojektowaliśmy na potrzeby The Division 2, tyle że dla własnego silnika o nazwie Tempest Engine. To oznacza, że możemy przerzucić znaczną część dźwięków przetwarzanych przez procesor właśnie na ten silnik, a procesor może w tym czasie zająć się innymi rzeczami. Na początku zauważyłem, że jeden ze środkowych bloków procesowych nie był wykorzystywany przez Tempest – a powinna być tam przetwarzana funkcja pogłosu – co trochę mnie zdziwiło. Ale gdy zobaczyłem, że dostępne są dane ray-tracingu, wszystko nagle nabrało sensu. Sony nie zmusza cię do wykorzystywania danych ray-tracingu – nadal możesz przetwarzać dźwięk przy wykorzystaniu procesora, i teraz każdy deweloper może sam zdecydować, które podejście jest dla niego korzystniejsze.

Na wszystkich platformach nowej generacji dostępne są szersze opcje dźwiękowe i tylko od nas zależy, jak je wykorzystamy. Marzyłem o tym od dawna.

Jeśli chcesz dowiedzieć się więcej o tym, co działo się na konferencji Ubisoftu, zajrzyj na naszą stronę Wewnątrz Ubisoft i odwiedź stronę Kariera, aby sprawdzić na jakie stanowiska Ubisoft prowadzi aktualnie nabór.