Cómo las mejoras en sonido de próxima generación en Snowdrop podrían conducir a "Ray-Tracing audio" en tiempo real

Aunque puede que conozcáis Ubisoft Massive como el estudio que hay tras The Division 2 y los próximos juegos de Star Wars y Avatar, también son los creadores del motor Snowdrop. Snowdrop, como uno de los motores internos más versátiles de Ubisoft, ayudó a crear juegos como The Division 2, Mario + Rabbids Kingdom Battle, Starlink: Battle for Atlas y South Park: Retaguardia en peligro, además de los dos próximos títulos de Massive que hemos mencionado antes.

Para saber más sobre cómo el motor está evolucionando y cambiando con una nueva generación de consolas, hablamos con el arquitecto de sonido de Snowdrop, Robert Bantin, cuya presentación, "Sonido de Snowdrop: Últimos avances tecnológicos" en la UDC trató sobre cómo en el futuro el sonido podría tener un mayor impacto en los juegos.

Estáis haciendo un trabajo muy emocionante con el sonido dentro del motor Snowdrop, pero para que todo el mundo nos entienda, ¿qué es exactamente un motor de juego? ¿Cuáles son los beneficios de tener un motor propio?

RB: El mejor símil que se me ocurre es que un buen motor de juego es como un conjunto de Lego. Lego está diseñado de tal manera que todo encaja a la perfección. Si le das a alguien un conjunto de Lego, puede combinar las piezas de muchísimas formas. Tener nuestro propio motor significa que no solo podemos darles a los desarrolladores esas piezas de Lego para que construyan nuestros juegos con ellas, sino que también pueden fabricar sus propias piezas de Lego que después se unen al ecosistema de Snowdrop para que todos podamos usarlas.

Hay muchas empresas que crean un motor propio para hacer un tipo de juego específico, de manera que no es más que una versión personalizable de ese juego concreto. Pero Snowdrop fue construido para ir contra esa tendencia y para ser realmente versátil. Los jugadores nunca habrían imaginado que el mismo motor que se usó para The Division 2 también se utilizó en The Settlers, Starlink: Battle for Atlas o Mario vs Rabbids Kingdom Battle. La estética de un juego puede cambiarse con facilidad, pero hay partes como el desplazamiento, el combate o la navegación que pueden ser elementos subyacentes persistentes dentro de un motor y pueden transferirse de un juego a otro. De esta forma no tenemos que reconstruir todo cada vez, lo que sería un mal uso de nuestros recursos.

¿Cómo han cambiado las consolas de nueva generación la forma en la que Snowdrop produce y procesa el sonido?

RB: Los diseñadores siempre tienen que trabajar ciñéndose a ciertos límites. ¿Cuánta capacidad de procesamiento podemos usar? ¿Cuánta memoria tendremos disponible? Está claro que el incremento en esos factores nos permite hacer mucho más, pero puede que el mayor cambio se deba a las unidades de estado sólido que utilizan PlayStation 5 y Xbox Series X|S. Con la anterior generación de consolas, al entrar en una nueva zona teníamos que cargar recursos en la memoria preventivamente, y parte de ese tiempo se dedicaba a cargar las señales sonoras y los efectos de sonido en la memoria del sistema para poder acceder a ellos rápidamente; sonidos que hay que reproducir al instante como impactos, disparos y similares. Lo único que podíamos transmitir sin problemas desde el disco eran sonidos que no requerían una latencia baja, como pistas de música y sonido ambiente.

Cuando tienes un SSD como los de estas consolas, empiezas a darte cuenta de que ya no necesitas cargar la mayoría de las cosas en la memoria del sistema, porque las propias unidades son muy rápidas. Así que básicamente puedes transmitir un montón de sonidos desde el SSD según lo necesites. Por supuesto, es posible que algunos sonidos a los que se accede constantemente, como disparos o pisadas, se sigan cargando completamente en la memoria del sistema debido a la frecuencia con la que se producen, pero hay muchos otros sonidos que no hace falta cargar completamente.

Es parecido a Netflix: en vez de tener que descargar una película entera antes de verla, puedes transmitir la película almacenando solo una pequeña parte en la memoria. La principal diferencia es que en nuestro caso, nuestros recursos sonoros forman parte de un todo y ahora no será necesario cargar la mayoría de esas partes.

El "Ray-Tracing" (trazado de rayos) suele referirse a cómo la luz se refleja y rebota en las superficies del entorno de un juego, pero en relación a tu trabajo, en el pasado he oído que se utilizaba el término "Ray-Tracing audio". ¿Qué significa eso exactamente? ¿Cómo afecta a la experiencia de los jugadores?

RB: En el pasado hemos usado Ray-Tracing para generar una reverberación físicamente precisa en interiores. Hay miles de ejemplos de ello en The Division 2. Creo que produjimos aproximadamente 2200, pero con la capacidad de aumentar a 5000 si era necesario. Todo el Ray-Tracing acústico se realizaba mediante un proceso no en tiempo real dentro de la herramienta de desarrollo principal de Snowdrop y se integró en los datos de juego que llegaron a los jugadores. Así que esas salas estaban marcadas con sus datos de reverberación de impulsos, y la única parte en tiempo real era nuestro motor de reverberación personalizado, que aplicaba los datos de reverberación locales y de las salas colindantes a los sonidos sin reverberación que se reproducían en esas salas.

Pero recientemente hemos conseguido acceso a los datos en tiempo real del Ray-Tracing generado por las GPU de estas nuevas tarjetas gráficas. La fidelidad no está del todo bien en términos de reverberación, pero para las pruebas de obstrucción de sonido o la propagación por puertas/ventanas casi no supone ningún esfuerzo, porque la información que necesitamos ya ha sido calculada por el renderizador de gráficos. Esto significa que ahora seguramente podamos hacer la mayoría del trabajo sin que eso suponga una carga para la CPU.

Y luego está la tecnología específica de sonido de Snowdrop, como el sistema "Slapback". Actualmente funciona usando los cálculos de física del Ray-Casting de la CPU para trazar dónde puede desplazarse y rebotar el sonido del jugador, y esto nos permite tener sonidos que rebotan en el entorno para que las mismas acciones suenen de manera muy distinta en función de dónde estés.

Pero esto no se hace únicamente por su "valor de producción". Hay motivos legítimos por los que queremos que los espacios que son únicos visualmente también lo sean acústicamente.

En los tiempos que corren, muchos de nosotros tenemos la mente puesta en el cine. Digamos que nuestros héroes necesitan balancearse para cruzar un gran abismo. A menudo, por la forma en que se ruedan esas escenas, aunque nunca llegues a ver la escala completa del entorno, sí que puedes hacerte una idea de que es una caída increíblemente grande por el eco de sus voces. El sonido sirve para informar al espectador del entorno y hacerle saber que es una situación increíblemente peligrosa. Es fácil imaginar el aspecto que puede tener esta situación en un desfiladero o en una selva.

La diferencia para nosotros es que en los videojuegos es el jugador quien controla la cámara, así que tenemos que hacer un trabajo adicional para que lo que se escucha encaje con lo que se ve. Si se produce una desconexión entre los estímulos sensoriales, tu cerebro percibe que no es información útil y dejas de prestar atención al menos dominante. Entonces puede que no seamos capaces de usar el sonido para insinuar imágenes.

¿Es necesario un sistema de sonido envolvente o unos auriculares para poder apreciar esto?

RB: Hay ciertos niveles de mejora que se alcanzan con unos auriculares decentes o con un sistema de sonido envolvente al completo, pero mientras no uses los altavoces integrados del monitor del ordenador, la mayoría del procesamiento de sonido se transmitirá hasta cierto punto. Lo que más ha ayudado recientemente es la codificación de sonido 3D para auriculares (HRTF), que es algo que Microsoft y Sony ahora ofrecen lista para usar. Esto permite al jugador conseguir una inmersión de sonido 3D espectacular a un precio muy asequible, y para nosotros esta tecnología encaja perfectamente con lo que estamos haciendo.

¿Cuál era tu objetivo al compartir esta presentación con los otros desarrolladores de Ubisoft en la UDC?

RB: Ahora que hay varios equipos usando Snowdrop en Ubisoft, para nosotros es importante seguir compartiendo recursos internamente y enseñarles a otros equipos de sonido que seguimos actualizando las cosas con nuevas funciones que pueden usar para mejorar directamente sus propios proyectos. ¡Para eso está la UDC!

¿Qué consideras que es lo más emocionante sobre las capacidades en materia de diseño de sonido para el futuro?

RB: Si miras cómo se han diseñado las nuevas consolas, cada una ha buscado mejores capacidades de sonido a su manera.

En Xbox Series X, ha sido continuando con la API de audio espacial de Microsoft (que es compatible con Dolby Atmos, por ejemplo) que ya añadieron a Xbox One en el pasado, solo que ahora tiene muchísima más potencia. Y la tecnología de sonido de Xbox Series X|S funciona exactamente igual en Windows 10, así que cubrimos muchísimo terreno con una cantidad de esfuerzo relativamente pequeña.

Con PlayStation 5, Sony casi ha duplicado la capacidad de procesamiento de sonido que diseñamos para The Division 2, solo que en un hardware dedicado llamado Tempest Engine. Esto significa que probablemente pasemos una gran parte del procesamiento de sonido basado en la CPU a ese sistema, lo que obviamente libera la CPU para hacer otras cosas. Inicialmente, me percaté de que uno de los bloques de procesamiento centrales no funcionaba mediante Tempest, la parte del Ray-Casting, y eso me desconcertó. Pero cuando vi que los datos de Ray-Tracing estaban disponibles, vi que todo tenía sentido. Sony no te obliga a usar los datos de Ray-Tracing, sigues pudiendo usar física calculada mediante Ray-Casting hecha a medida en la CPU, pero ahora cada desarrollador puede decidir cómo quiere abordar esa parte en cada caso.

En todas las plataformas de nueva generación, el sonido tiene más opciones y depende de nosotros cómo usarlo. Eso es con lo que sueño la mayoría de las noches.

Para saber más sobre lo que está ocurriendo en la UDC, consulta nuestra página de Dentro de Ubisoft y visita la página de Empleo para ver las ofertas de trabajo en Ubisoft.