Le premier film, la scène du jardin de Roundhay, a été tourné il y a un peu plus de 130 ans. Pendant cette période, les humains que nous avons vus dans les films en prises de vue réelles étaient de vraies personnes, mais depuis l’avènement de l’infographie, les choses ont commencé à changer.

Les visages humains ont été la chose la plus difficile à reproduire de manière convaincante à l’aide d’images de synthèse ou même d’effets spéciaux pratiques. Le cerveau humain est extrêmement bien adapté pour reconnaître les visages, à tel point que nous voyons des visages qui ne sont même pas là. Tromper le public en lui faisant croire qu’un visage de synthèse est réel ne fonctionne presque jamais, et certains films qui s’en approchent tombent dans ce qu’on appelle la « vallée étrange ».

Qu’est-ce qu’un Deepfake, et dois-je m’en inquiéter ?

La vallée surnaturelle est un point dans le continuum du réalisme facial où nous commençons à être effrayés par les visages humains artificiels. Certains films, comme Polar Express, sont connus pour cela. Les progrès réalisés en matière de puissance de traitement et de méthodes de rendu, ainsi que les solutions d’apprentissage automatique comme les « deepfakes » faciaux, sont en train de changer la donne. Même les graphismes en temps réel sur les consoles de jeu modernes peuvent se rapprocher des visages photoréalistes.

La démo de Matrix Awakens Unreal Engine 5 le montre de façon étonnante. Elle fonctionne sur une humble console de salon, mais dans de nombreuses scènes, les reproductions d’acteurs réels et les personnages originaux en images de synthèse semblent réels. Un autre exemple fantastique est la série d’anthologie de Netflix « Love, Death + Robots ». Certains épisodes présentent des visages en images de synthèse qu’il est impossible de classer comme réels ou de synthèse.

L’âge d’or de la capture de performance

Pour sortir de la vallée de l’étrange, il ne suffit pas de créer un visage photoréaliste. Il faut aussi que le moment du visage et du corps du personnage soit le bon. Les cinéastes et les développeurs de jeux vidéo disposent désormais des outils nécessaires pour capturer avec précision les mouvements et les expressions faciales des acteurs, comme Andy Sirkis, qui se spécialise dans les performances capturées numériquement.

L’essentiel du travail de pionnier a été mis en évidence dans Avatar de James Cameron, qui tient toujours la route aujourd’hui. Mais il ne manque pas de grands travaux modernes de capture de mouvement à admirer. Thanos, de l’univers cinématographique Marvel, est un autre exemple notable et plus récent.

La force de la capture de performance est que l’interprète n’a pas à ressembler du tout au personnage de synthèse. Il n’est même pas nécessaire qu’ils soient de la même espèce ! Cela signifie également qu’un seul acteur ou un petit groupe d’acteurs peut jouer toute une série de personnages. Vous pouvez également avoir des acteurs et des cascadeurs qui fournissent des données de mouvement pour le même personnage.

Les voix synthétiques se perfectionnent

La création d’un acteur synthétique crédible ne se limite pas à une production visuelle photoréaliste. Les acteurs utilisent leur voix pour compléter leur jeu et cette voix est peut-être aussi importante que tout le reste. Lorsque vous voulez donner une voix à votre acteur synthétique, vous avez quelques options.

Vous pouvez utiliser un acteur vocal, ce qui est bien s’il s’agit d’un personnage original. Si vous recréez un personnage dont l’acteur original est encore en vie, vous pouvez simplement doubler sa performance vocale. Vous pouvez également utiliser un imitateur lorsque vous faites revenir un personnage qui est décédé ou qui a un sérieux conflit d’emploi du temps.

Dans Rogue One, lorsque nous avons rencontré un sosie ressuscité de Peter Cushing dans le rôle du Grand Moff Tarkin, Guy Henry a fourni à la fois la voix et la capture de la performance.

Pour aller plus loin : Deepfakes indétectables

Deepfakes audio : Peut-on savoir s’il s’agit de faux ?

L’exemple le plus intéressant vient de l’apparition de Luke Skywalker dans son jeune âge dans le Mandalorian (et plus tard dans le Livre de Boba Fett). Plutôt que de demander à Mark Hamill d’enregistrer des répliques pour la scène, qui faisait appel à un acteur de doublure avec un visage de synthèse, un logiciel d’IA a été utilisé.

L’application s’appelle Respeecher, et en lui fournissant des enregistrements de Mark Hamill à cette époque de sa carrière, il a été possible de créer une réplique synthétique de celui-ci. Il ne fait aucun doute que les deepfakes audio ont parcouru un long chemin en peu de temps, puisque la plupart des gens ne se sont même pas rendu compte qu’ils n’écoutaient pas réellement Hamill.

Les deepfakes en temps réel font leur apparition

Les deepfakes deviennent une véritable concurrence pour les visages traditionnels en images de synthèse. Le visage de Luke Skywalker dans le film Mandalorian n’était pas très beau, mais le YouTubeur Shamook a utilisé la technologie du deepfake pour l’améliorer et le faire passer du côté le plus acceptable de l’uncanny valley. Les YouTubers Corridor Crew, spécialisés dans les effets visuels, sont allés plus loin et ont refait toute la scène avec leur propre acteur, en utilisant la technologie deepfake au lieu d’un visage de synthèse.

Les résultats sont étonnants, mais même les ordinateurs haut de gamme prennent beaucoup de temps pour créer une vidéo deepfake de cette qualité. Cela n’a rien à voir avec les exigences des fermes de rendu des images de synthèse modernes, mais ce n’est pas non plus anodin. Cependant, la puissance des ordinateurs ne cesse de progresser et il est désormais possible de réaliser un certain niveau de deepfakery en temps réel.

À mesure que les puces informatiques spécialisées dans l’apprentissage automatique s’améliorent, il sera peut-être un jour beaucoup plus rapide, moins cher et plus réaliste de faire appel à la technologie de l’imitation profonde pour traiter les visages d’acteurs synthétiques.

L’IA peut créer des visages originaux

Cette personne n’existe pas

Tout le monde peut reconnaître Brad Pitt ou Patrick Stewart pour avoir vu leur visage au cinéma et à la télévision des centaines de fois. Ces acteurs utilisent leur vrai visage pour incarner des personnages et nous associons donc leur visage à ces personnages. Les choses sont différentes dans le monde de l’animation 2D et 3D ou des bandes dessinées. Les artistes créent des personnages qui ne ressemblent à aucune personne réelle. Du moins, pas volontairement !

Grâce aux logiciels d’IA, il est désormais possible de faire quelque chose de similaire avec des visages humains photoréalistes. Vous pouvez vous rendre sur le site This Person Does Not Exist et générer en quelques secondes le visage réaliste d’une personne qui n’existe pas. Face Generator va plus loin et vous permet de modifier les paramètres de votre personne imaginaire. Si ces visages vous semblent encore un peu faux, consultez StyleGAN, le logiciel de génération de visages par l’IA de NVIDIA, qui est disponible pour tous en tant que logiciel libre.

Les visages ainsi générés peuvent être combinés à des voix synthétiques et à la capture de performances pour obtenir un personnage qui ne ressemble à aucun acteur existant. À terme, nous n’aurons peut-être plus besoin d’un être humain pour assurer la performance. La promesse d’un avenir où des histoires entières pourront être racontées par un marionnettiste contrôlant une distribution synthétique.

La vérité est plus étrange que la fiction

Dans le film S1m0ne (2002), Al Pacino joue le rôle d’un réalisateur qui découvre un logiciel expérimental lui permettant de créer de toutes pièces une actrice synthétique de synthèse. Il la propulse au rang de star, mais le masque finit par tomber et le monde découvre qu’il s’est extasié devant une personne qui n’a jamais existé.

La trajectoire de la technologie dans le monde réel d’aujourd’hui fait d’une actrice comme Simone une possibilité réaliste à un moment donné, et non plus de la science-fiction. La seule différence est que Simone devait être gardée secrète ou le public se révoltait. Dans le monde réel, nous saurons tous que nos acteurs sont synthétiques, mais nous nous en moquerons.