Poses de personnages 3D à base de croquis et d'apprentissage profond

 

Mikhail Bessmeltsev

Université de Montréal

 

Domaine : technologies de l'information et des communications

Programme : établissement de nouveaux chercheurs universitaires

Concours 2019-2020

L'esquisse est l'un des moyens les plus naturels pour communiquer rapidement des idées visuelles. Les esquisses sont incroyablement expressives et accessibles, ce qui en fait un outil essentiel pour transmettre visuellement une idée.

L'interprétation algorithmique d'esquisses de scènes naturelles revêt un immense potentiel de transformer la modélisation 3D, l'animation de corps déformables, et généralement, la conception assistée par ordinateur. Malheureusement, les esquisses, qui sont pourtant faciles à comprendre par l'humain, sont notoirement difficiles à interpréter par l'ordinateur. Dans ce projet de recherche, nous désirons rapprocher l'interprétation algorithmique de la compréhension complète des dessins naturels en étudiant le problème de pose de personnages 3D via des "gesture drawings" (i.e., une esquisse grossière qui capture une pose humaine, mais sans tous les détails réalistes associés).

Les artistes utilisent des "gesture drawings" pour capturer rapidement l'essence de la pose, de l'action et de la forme d'un personnage ; ils sont souvent dessinés au cours de l'élaboration d'une animation - dans un processus appelé scénarimage, mais plus communément connu sous le terme anglais "storyboarding".

En animation par ordinateur, ces "gesture drawings" sont généralement utilisés comme références, tout en manipulant laborieusement les membres de personnages 3D pour créer un premier prototype de la future animation. Cette pose manuelle de personnages 3D nécessite non seulement beaucoup de temps, mais aussi des connaissances 3D expertes.

Nous proposons un système de pose directe d'un personnage 3D via un seul "gesture drawing" en format "bitmap". Un tel système permettrait de créer des prototypes d'une séquence complète d'animation à partir d'un "storyboard bitmap" approximatif. Cela permettrait aussi aux artistes et aux animateurs de gagner un temps considérable, simplifiant ainsi le processus d'animation moderne. Plus important encore, cela rendrait la création d'animations 3D plus accessible au grand public sans formation 3D spéciale.

Contrairement aux travaux antérieurs, le système que nous proposons ne fait pas d'hypothèses fortes sur l'esquisse ; le système pourra traiter des "gesture drawings" naturels en présence d'occultations et de distorsions. L'idée clé de notre projet est d'utiliser un réseau profond appliqué à des esquisses naturelles et synthétiques, complétées par des techniques spéciales d'augmentations.