didascalie.net

Comment un hyper-acteur dirige des avatars dans un théâtre d'ombre virtuel (Présentation de l'article)

Courte introduction de présentation (en anglais) (1:26)

La perspective du Computer Theater et la figure de l'hyper-acteur

Cet article concerne les enjeux de qualité de mouvement rencontrés pendant la création du spectacle théâtrale L'Ombre en 2019. En partant de la perspective du Computer Theater telle que proposée par Pinhanez, nous présentons la figure de l'hyper-acteur - un acteur jouant d'instruments musicaux et visuels pour augmenter l'expressivité de son jeu.
L'instrument visuel utilisé par l'hyper-acteur pour augmenter sa performance est une troupe de cinq avatars jouant des animations préenregistrées dans un théâtre d'ombre virtuel. Nous avons écrit et enregistré la mise en scène des cinq avatars qui se présente sous la forme d'une partition d'environ 150 tops qui lancent l'enchaînement des mouvements scéniques des avatars, et qui sont déclenchés pas à pas par l'hyper-acteur selon sa progression dans l'interprétation de l'histoire.

Enjeu de synchronisation - paradigme des animations saillantes et au repos

Un des principaux enjeux a été de synchroniser le jeu des 5 avatars avec le rythme de l'interprétation par l'hyper-acteur.
Nous utilisons un modèle linguistique pour organiser les mouvements en tant que saillants ou au repos, et nous décrivons deux méthodes pour mettre en scène les mouvements des avatars qui sont joués successivement par l'hyper-acteur.

Le niveau 1 décrit la ligne temporelle figée constituée d'un enchaînement de trois combinaisons d'animations saillantes et au repos. Le niveau 2 montre la ligne temporelle fluctuante de l'interprétation de l'hyper-acteur. Il est nécessaire de synchroniser les Cue 2 et 3 avec le démarrage des animations 2 et 3, ce qui est impossible avec la ligne temporelle figée du niveau 1 ci-dessus. Le niveau 3 décrit la première méthode qui revient à enregistrer des actions au repos de longue durée à la suite de chaque action saillante. L'action au repos doit durer suffisamment longtemps pour permettre d'attendre avant de déclencher au bon moment le top suivant déclenchant la prochaine action saillante. Le niveau 4 présente la seconde méthode qui utilise de courtes animations au repos en boucle au lieu de longues qui ne bouclent pas. Nous expliquons en quoi l'utilisation d'animation au repos de courte durée améliore la qualité du mouvement pendant les sessions d'enregistrement.

Programmation à la volée des boucles d'animation au repos

La seconde méthode utilise une mise en boucle des animations inspirée des techniques du jeu vidéo. Nous détaillons un moyen de programmation de boucles en temps réel en utilisant de courtes animations au repos qui ne bouclent pas.
La vidéo ci-dessous explique comment cela fonctionne. Nous montrons en première partie l'enchaînement sur elle-même d'une animation au repos d'environ 6'' sans effet de post-production. Nous constatons donc un saut d'image à chaque recommencement de l'animation, ce qui brise l'effet de présence de l'avatar. En seconde partie, nous montrons le lancement du top 10 qui joue l'animation au repos, puis qui enchaîne automatiquement en fin de course avec un mélange sur la même animation jouée à l'envers; qui enchaîne automatiquement à son tour sur la même animation à l'endroit au moment du retour au point de départ. Ces enchaînements automatiques peuvent durer aussi longtemps que souhaité. Quand l'hyper-acteur déclenche le top 20, le programme mélange l'animation au repos avec l'animation saillante suivante. Nous n'avons pas enchaîné avec une animation au repos lorsque animation saillante se termine, afin de rendre évident la nécessité de ce type d'enchaînement pour garder les avatars en action. Sans enchaînement avec une animation au repos, l'avatar se gèle, ce qui brise à nouveau son effet de présence.
Video:

Voici une vue du système de programmation des enchaînements entre animations dans le moteur de jeu vidéo Unreal Engine 4 :

Panorama sur l'environnement d'enregistrement et de programmation

L'enregistrement des nombreuses animations a été réalisé au sein de l'environnement AvatarStaging, présenté dans cet article (en anglais) pendant la conférence MOCO 2018.

De gauche à droite, nous montrons les 150 tops déclenchés par l'hyper-acteur pendant la reprsentation, puis un focus autour du top 321, et finalement le contenu de programmation à l'intérieur du top 321.

Origine du théâtre d'ombre virtuel (CAVOAV) et des ombres avatars

Le concept de théâtre d'ombre virtuel avec lequel L'Ombre a été réalisé est présenté dans cet article (en anglais) :
Gagneré G. , Ternova A., « A CAstelet in Virtual reality for shadOw AVatar (CAVOAV) », in Proceedings of Virtual Reality International Conference (VRIC), S. Richir Ed, 22-24 April, Laval, France, Publisher: Laval Virtual, ISBN 978-2-9566-2517-9, 2020, pp. 129-136

Par ailleurs, voici des diapositives powerpoint sur le concept de CAVOAV ainsi qu'une vidéo présentant l'article.

Résultats artistiques

L'Ombre a été présentée en Ukraine et en France plus d'une douzaine de fois avec un accueil chaleureux des spectateurs. Le fait que les publics aient suspendu leur incrédulité envers la mise en scène des avatars est le résultat que nous espérions. Cela valide notre hypothèse sur le paradigme des animations saillantes et au repos et sur la réussite de sa mise en place. Voici un extrait vidéo de 4 minutes de la représentation en français ainsi qu'une courte présentation avec des images.
Vidéo :