Ubisoft Toronto et l'avenir de la capture de performance

En 2012, Ubisoft Toronto ouvre un studio de capture de performance de plus de 2 000 m² pour aider au développement de Splinter Cell: Blacklist, sa toute première création. Sept ans (et de nombreux autres jeux) plus tard, le studio récidive en créant un espace de 3 500 m² entièrement dédié à cette technologie. Pour en savoir plus sur ce nouveau studio, et sur la façon dont les développeurs s'attachent à créer des expériences cinématographiques de tout premier ordre, nous sommes allés à la rencontre de Tony Lomanaco, directeur de capture de performance.

Crédit photo : Lauren Green

Quelles sont les responsabilités d'un directeur de capture de performance ?

Tony Lomonaco : En tant que directeur de capture de performance, je chapeaute toutes les missions que mon département se voit confier. On travaille sur les productions Ubisoft à différents niveaux : casting, photogrammétrie (scan des visages, des vêtements et des objets), doublage, R&D et développement d'outils, budgétisation, et bien sûr, capture de performance et traitement de toutes les données faciales et corporelles de nos séances de tournage. On coopère également avec l'équipe des Cinématiques pour donner vie à nos histoires. Je suis chez Ubisoft depuis l'ouverture de notre premier studio de capture, il y a huit ans. À cette époque, l'équipe était encore réduite et on ne s'occupait que de la capture de mouvements (mocap) et de la capture de performance (pcap). On ne s'occupait pas des castings, ni des données, ni même du scan ou du doublage. Aujourd'hui, on gère l'intégralité de ces services pour nos équipes de production et mon équipe est composée de plus de 35 personnes !

__Pourquoi l'équipe d'Ubisoft Toronto a-t-elle tenu à créer un nouveau studio de capture de performance ? __

TL : On est vraiment impatients d'entrer dans la prochaine phase de l'évolution de la capture de performance. Les choses ont beaucoup changé depuis 2012, date à laquelle le studio a développé Splinter Cell: Blacklist, son tout premier jeu. La technologie a énormément progressé et les besoins en capture de performance ont littéralement explosé.

Cet investissement dans un complexe de capture de performance plus grand et plus performant va nous permettre d'améliorer la qualité de nos jeux, d'être plus flexibles, de soutenir la création par l'innovation et de développer des jeux toujours plus immersifs pour notre communauté de joueurs.

On a amélioré nos installations et on peut désormais capturer les images à n'importe quelle fréquence pour répondre à n'importe quel besoin (cinéma, télé ou jeux), là où notre ancien système nous limitait à 29,97 images par seconde. Notre équipe a conçu des caméras 4K personnalisées à l'aide de rails modulaires standard pour s'adapter à tous types d'équipement de support, comme les grues ou les chariots. Tout est désormais sans fil, ce qui va offrir une liberté presque totale à nos caméramans et à nos preneurs de son.

Crédit photo : Lauren Green

__Ubisoft Toronto disposait déjà d'un studio de capture de performance plus petit. Quels sont les avantages d'un espace plus grand ? Quelles nouvelles perspectives cela vous ouvre-t-il ? __

TL : La hauteur sous plafond est deux fois plus importante qu'auparavant, ce qui nous permet de tourner des cascades plus complexes. C'est d'ailleurs l'une des premières choses qu'on a faites, une fois le complexe terminé : on ne s'est pas posé de questions et on a filmé une descente en rappel de presque 10 mètres de haut !

Ce nouvel espace nous offre un nouvel horizon, il nous permet de capturer des scènes encore plus complexes qu'auparavant, de voir encore plus grand. On a désormais la possibilité de faire tenir des plateaux virtuels complets : plutôt que d'avoir à diviser le décor en deux et à tourner la scène en deux fois, on peut tout faire en une seule prise. On peut également faire appel à des technologies comme la réalité virtuelle ou la réalité augmentée pour créer des expériences plus immersives et offrir à nos équipes de production une meilleure vue d'ensemble.

Sans compter qu'avec un espace plus important, on peut aussi faire entrer un équipement plus imposant, comme une grue de près de 8 mètres, et ainsi capturer notre vision à plus grande échelle. C'est ce qui nous a permis, entre autres, d'utiliser notre caméra virtuelle pour faire une prise de vue d'ensemble sur Piccadilly Circus dans Watch Dogs: Legion.

Pour le profane, un studio de capture de performance ressemble à un grand hangar vide. Quelles sont les installations indispensables à la création d'une bonne structure de capture ?

TL : Il y a des tonnes de choses qui se passent en coulisses, au-delà du simple paramètre infrastructurel. Pour commencer, tout ce qu'on capture est marqué d'un time code, un code temporel. C'est un élément crucial en capture de performance, notamment pour nos processus d'editing. Notre schéma de travail en post-production s'appuie sur des données synchronisées de manière précise (visage, audio, capture de mouvements, vidéo) que l'on envoie à notre équipe de montage vidéo, chargée à son tour de créer une version de notre cinématique. Une fois validée par le directeur cinématique, on utilise les codes temporels du montage pour agencer correctement les données. On génère vraiment beaucoup de données chaque semaine, et on utilise donc des scripts personnalisés et des logiciels pour automatiser une bonne partie de la post-production.

Mais l'élément le plus important, ce qui compte par-dessus tout quand on veut monter un bon studio de capture, c'est le choix des membres de l'équipe. Si vous n'avez pas des gens talentueux, créatifs et surtout passionnés par ce qu'ils font, votre projet est voué à l'échec. J'en profite d'ailleurs pour remercier Brad Olesky, le manager de la capture, et toute l'équipe. C'est grâce à eux si on arrive à obtenir un tel niveau de qualité sur nos productions.

Et en ce qui concerne le bâtiment ?

TL : La plupart des studios de capture sont créés à partir d'espaces rénovés. C'était d'ailleurs le cas avec notre premier plateau. Mais notre nouveau studio a été conçu de toutes pièces pour répondre à nos besoins de capture de performance. En fait, c'est un bâtiment à l'intérieur d'un autre bâtiment. Les murs et le sol sont isolés des parois extérieures et des fondations ; il est vraiment coupé du monde extérieur !

Le bâtiment intérieur repose sur des cubes de 5 cm faits d'une gomme spéciale, qui sont tous espacés d'un peu plus d'un mètre, ce qui permet d'avoir de l'air entre les fondations du bâtiment extérieur et le sol du bâtiment intérieur. Grâce à ça, on profite d'une acoustique de très grande qualité.

Crédit photo : Lauren Green

Y a-t-il une différence entre capture de mouvements et capture de performance ? Qu'est-ce qui fait la spécificité de la capture de performance ?

TL : Certaines personnes confondent parfois capture de mouvements et capture de performance, alors que la différence entre les deux technologies est plutôt marquée. La capture de mouvements se contente de suivre les mouvements d'un comédien, tandis que la capture de performance a vocation à capter les mouvements du corps, ceux du visage, mais aussi la voix du comédien.

L'industrie a toujours utilisé l'appellation "capture de mouvements", et c'est quelque chose qui relève véritablement de la prouesse artistique. Chez Ubisoft, on va plus loin que ça et on s'attache à capturer une performance complète. Le terme "capture de performance", ou "pcap" (pour performance capture), est sur toutes les lèvres de nos jours. On a conservé les deux termes, mais ils n'impliquent clairement pas les mêmes choses.

Comment la capture de performance a-t-elle évolué ces dernières années, avec les différentes avancées technologiques ?

TL : La technologie a toujours été au cœur de la capture et elle occupe aujourd'hui une place cruciale. Comme notre studio génère de plus en plus de données (plus d'un téraoctet par semaine de capture en tous genres, de caméras de référence, de caméras embarquées et de données audio), on doit trouver le moyen de mieux les traiter et de les faire parvenir en bon ordre à nos graphistes. Dans certains cas, on fait désormais appel aux technologies d'apprentissage automatique pour gérer les données et les envoyer plus rapidement à nos animateurs, ce qui leur laisse plus de temps pour peaufiner les animations que vous retrouvez dans nos jeux.

Quand on filme, on utilise nos moteurs de jeu pour visualiser les performances au sein même de nos environnements virtuels. C'est une approche qui permet d'obtenir un meilleur niveau de contact et d'interaction entre la performance et les éléments de l'environnement.

__Selon vous, quelle sera la prochaine étape de l'évolution de cette technologie ? __

TL : Aujourd'hui, on sait capturer les mouvements sans aucun problème, mais je suis vraiment curieux de voir comment la technologie va nous permettre de progresser dans la capture des expressions du visage ou celle des cheveux, pour créer des avatars virtuels encore plus réalistes. On utilise actuellement des caméras embarquées (HMC pour "head-mounted camera") pour capturer les expressions du visage. Mais à l'avenir, ce serait intéressant d'avoir une technologie qui nous permettrait de nous affranchir de ce type d'équipement. Ça éviterait aux comédiens d'avoir à se balader avec une caméra sur la tête, ça leur donnerait plus de liberté et ça améliorerait sûrement encore davantage la qualité de leur jeu.