Ubisoft Toronto abraza el futuro de la captura de interpretación

En 2012, Ubisoft Toronto abrió un estudio de captura de interpretación de 750 metros cuadrados para desarrollar su primer videojuego, Splinter Cell: Blacklist. Siete años —y varios juegos— después, el estudio ha completado la construcción de un nuevo y moderno estudio de captura de interpretación de 1100 metros cuadrados. Para saber más sobre este nuevo espacio y cómo ayudará a los desarrolladores a crear juegos más cinematográficos, hemos hablado con Tony Lomonaco, director de captura de interpretación.

Crédito: Lauren Green

¿Qué labores realiza un director de captura de interpretación?

Tony Lomonaco: Como director de captura de interpretación, superviso todas las áreas que engloba nuestro departamento. Prestamos servicio a las producciones de Ubisoft, incluidos casting, fotogrametría (escaneado de rostros, ropa y accesorios), voces, I+D, desarrollo de herramientas y, por supuesto, captura de interpretación y procesamiento de todos los datos corporales y faciales que grabamos. También trabajamos codo con codo con el equipo de cinemática para dar vida a nuestras historias. Hace ocho años, cuando inauguramos el escenario original, el equipo era bastante reducido. En aquel entonces solo nos ocupábamos de la captura de movimiento (mocap) y la captura de interpretación (pcap). No nos ocupábamos de los castings, los datos, los escáneres ni las voces. Ahora gestionamos todos estos servicios para los equipos de producción y somos más de 35 personas en el equipo.

¿Por qué Ubisoft Toronto ha sentido la necesidad de construir un nuevo estudio de captura de interpretación?

TL: En Ubisoft Toronto estamos entusiasmados por pasar a la siguiente fase de la evolución de nuestro trabajo de captura de interpretación. Hemos recorrido un largo camino desde 2012, cuando inauguramos el escenario original en el que grabamos nuestro primer videojuego, Splinter Cell: Blacklist. Durante este tiempo ha habido muchos avances tecnológicos y una demanda creciente de capturas de interpretación.

Invertir en un escenario de captura de interpretación más grande significa que podremos llevar la calidad de nuestro trabajo a un nuevo nivel, lo que nos permitirá ser más flexibles e innovadores para crear juegos aún mejores y más inmersivos para nuestros jugadores.

La configuración previa nos limitaba a 29,97 frames por segundo, mientras que la nueva nos permite hacer capturas en cualquier frecuencia de frames estándar y satisfacer cualquier necesidad de producción, ya sean películas, televisión o videojuegos. El equipo ha creado cámaras de referencia de 4K personalizadas usando rieles modulares para cámaras estándar adaptables a distintos equipos de soporte, como drones y dollies. Además, ahora todo es inalámbrico, para otorgar mayor libertad a los operadores de cámara y de micrófono.

Crédito: Lauren Green

__Ubisoft Toronto ya contaba con un estudio de captura de interpretación más pequeño. ¿Qué ventajas tiene disponer de más espacio? ¿Qué tipo de cosas podréis hacer con un estudio de mayores dimensiones? __

TL: El techo es el doble de alto que el del escenario original, lo que nos permite grabar acrobacias más complejas. En cuanto estuvo listo, nos trasladamos de inmediato. ¡El primer día de grabación hicimos un rápel de 9 metros de altura!

Un escenario de mayor tamaño nos ofrece más opciones y oportunidades para capturar escenas más complejas y soñar a lo grande. El mayor volumen nos permite acomodar conjuntos virtuales completos: en vez de dividir el escenario en dos y realizar dos tomas diferentes, ahora podemos realizar la captura completa en una sola toma. También utilizamos tecnologías como la realidad virtual y la realidad aumentada para crear experiencias más inmersivas y ofrecer una visualización mejor a intérpretes y directores.

También podemos utilizar un equipo de mayor tamaño, como una grúa telescópica de 7,5 m que nos permite capturar nuestra visión creativa a mayor escala usando la cámara virtual. Así hicimos los barridos de cámara por el emblemático Picadilly Circus de Londres en Watch Dogs: Legion.

Para el ojo inexperto, un estudio de captura de interpretación no es más que un espacio enorme y vacío. ¿Qué hay que tener en cuenta a la hora de construir un estudio de captura de interpretación? ¿Qué hace que sea bueno o malo?

TL: Aparte de la construcción en sí, hay muchos factores importantes que nadie ve. Todos los elementos capturados se sincronizan con un código de tiempo; esto es muy importante en la captura de interpretación, sobre todo por nuestro proceso de edición. Nuestra línea de posproducción dispone de datos sincronizados de forma precisa —faciales, sonoros, captura de movimiento y vídeo— que envía a los editores de vídeo para que recorten y editen la cinemática. Una vez validados por el director de cinemática, usamos el código temporal de la edición para ordenar los datos. Cada semana generamos tantísimos datos que disponemos de software y guiones personalizados que automatizan gran parte de los procesos de posproducción.

Pero si quieres construir el mejor estudio de captura de interpretación, lo que realmente necesitas es un equipo estelar. Es imposible conseguir algo bueno si no cuentas con el equipo más talentoso, más apasionado y más innovador del mundo. Quiero destacar el trabajo de nuestro director de captura, Brad Oleksy, y del equipo. Gracias a ellos podemos hacer lo que hacemos y hacerlo tan bien.

¿Y qué me dices del edificio en sí?

TL: Por lo general, los escenarios de captura de interpretación se renuevan conservando la estructura original, como es el caso de nuestro escenario previo. Sin embargo, nuestro nuevo estudio ha sido diseñado y construido desde cero, teniendo en mente la captura de interpretación. Se trata de un edificio dentro de otro, donde las paredes interiores y el suelo están separados de las paredes exteriores y los cimientos, de modo que está totalmente aislado del mundo exterior.

El edificio interior descansa sobre cubos de 5 cm fabricados con un compuesto de caucho especializado y dispuestos a intervalos de 120 cm. Esto crea una cámara de aire entre la base y el suelo del espacio interior que lo convierte también en un estudio de sonido con una acústica de primera.

Crédito: Lauren Green

¿Hay alguna diferencia entre la captura de interpretación y la captura de movimiento? ¿Qué tipo de capturas de movimiento podrían sorprender a los jugadores?

TL: Algunas personas utilizan los términos "captura de movimiento" y "captura de interpretación" indistintamente, pero son cosas distintas. Por lo general, "captura de movimiento" solo hace referencia a la captura de movimiento del cuerpo del intérprete, mientras que "captura de interpretación" hace referencia a la captura de movimiento del cuerpo y la interpretación sonora y facial.

El término que siempre se ha utilizado es "captura de movimiento", que ha evolucionado como una forma de arte. En Ubisoft no solo capturamos el movimiento, sino toda la interpretación. Hoy en día, "captura de interpretación" es un término habitual en la industria. Aunque seguimos utilizando ambos términos, tienen significados muy distintos.

¿Cómo ha evolucionado la captura de interpretación con los avances tecnológicos recientes?

TL: La tecnología siempre ha ocupado un lugar primordial en la captura de movimiento y la captura de interpretación, y hoy en día es más importante que nunca. Nuestro estudio de captura de interpretación cada vez genera más datos —aproximadamente un terabyte por semana de captura de movimiento, cámaras de referencia, cámaras montadas en la cabeza y datos sonoros—, por lo que debemos encontrar formas de cribar esos datos y transmitírselos a los artistas de un modo más eficiente. Por ejemplo, en ciertos casos podemos aprovechar la capacidad del aprendizaje automático para procesar y enviar datos a nuestros animadores aún más deprisa, con el fin de que puedan ajustar las animaciones de nuestros juegos.

En el set utilizamos los motores de juego para visualizar las interpretaciones dentro de nuestro entorno visual. Este enfoque garantiza de forma más precisa el contacto y la interacción entre la interpretación y los elementos de dicho entorno.

__¿Cuáles crees que serán los próximos pasos en la evolución de la tecnología de captura de interpretación? __

TL: Ya capturamos muy bien el movimiento, pero tengo muchas ganas de ver cómo evolucionará la tecnología para capturar más detalles de la interpretación facial y crear humanos digitales más creíbles. Actualmente utilizamos cámaras montadas en la cabeza (HMC, por sus siglas en inglés) para la captura de interpretación facial, pero es posible que en el futuro surja una tecnología que elimine por completo la necesidad de utilizarlas. De este modo, los actores podrían prescindir del hardware de las HMC y llevar sus interpretaciones al siguiente nivel.