Automatic Rush Generation with Application to Theatre Performances

English

Spécialité : Mathématiques et Informatique

18/12/2014 - 15:00 Mr Vineet Gandhi (Université de Grenoble) Grand Amphi de l'INRIA Rhône-Alpes, Montbonnot

Les captations professionnelles de pièces de théâtre utilisent un grand nombre de caméras afin de montrer l'ensemble du spectacle sous tous ses angles. C'est un processus complexe et coûteux, qui fait appel aux compétences d'un grand nombre de techniciens qualifiés pour assurer le cadrage puis le montage de toutes les prises de vues. Dans cette thèse, nous explorons une approche différente, consistant à calculer automatiquement en post-production des cadrages dynamiques à partir d'un petit nombre de prises de vues obtenues en caméra fixe, sans opérateurs. Pour atteindre cet objectif, nous proposons de nouveaux algorithmes de vision par ordinateur qui nous permettent de formaliser et reproduire les régles du cadrage cinématographique.

Dans cette thèse, nous proposons de nouvelles méthodes d'analyse vidéo pour calculer automatiquement le cadrage le plus approprié aux mouvements des acteurs qui évoluent sur scène. Nous simulons pour cela les mouvements d'une caméra "pan-tilt-zoom" extraite du cadre d'une prise de vue en caméra fixe. Une contribution importante de la thèse consiste à formaliser le problème du cadrage cinématographique comme un problème d'optimisation convexe.

Dans une première partie de la thèse, nous proposons des méthodes nouvelles pour détecter et reconnaitre les acteurs à l'aide d'une modélisation explicite de leurs apparences, qui inclue leurs caractères physiques ainsi que leurs costumes et chevelures. Nous présentons une approche pour apprendre ces modèles d'apparence à partir d'un petit nombre d'exemples, en maximisant leur vraisemblance. Nous montrons l'efficacité de ces méthodes sur des exemples de films de théâtre et de cinéma.

Dans une seconde partie de la thèse, nous montrons comment ces méthodes peuvent être utilisées pour effectuer le suivi des acteurs d'une pièce de théâtre, y compris sur de longues séquences de plusieurs minutes, par l'utilisation de méthodes efficaces de programmation dynamique, qui permettent de prendre en compte les entrées et sorties de scène des acteurs, ainsi que leurs occultations mutuelles.

Dans une troisième partie de la thèse, nous décrivons une méthode générale pour calculer dynamiquement le cadrage d'une caméra virtuelle incluant un nombre quelconque d'acteurs, tout en excluant les autre acteurs dans la mesure du possible. Notre méthode prend en compte un grand nombre de considérations esthétiques que nous avons extraites des ouvrages techniques consacrés à la cinématographie et au montage. Notre approche présente l'avantage de formaliser les règles de la cinématographie et du montage sous la forme d'un problème d'optimisation convexe, pour lequel nous pouvons proposer une solution efficace.

Tout au long de la thèse, nous illustrons et validons les approches proposées sur des exemples réels et complexes, que nous avons filmés au Théâtre de Lyon - Célestins. Les méthodes que nous proposons s'appliquent généralement au spectacle vivant (théâtre, musique, opéra) et permettent d'envisager de nouvelles applications de la vision par ordinateur dans le domaine de la production audio-visuelle.

Président:

Mr James Crowley (Professeur - Grenoble INP)

Directeurs:

  • Mr Rémi Ronfard (Chercheur - INRIA )

Raporteurs:

  • Mr Patrick Perez (Distinguished Scientist - Technicolor )
  • Mr Frédéric Jurie (Professeur - Université de Caen )

Examinateurs:

  • Mr Alexander Sorkine-Hornung (Senior Research Scientist - Disney Research-Zurich )
  • Mr Michaël Gleicher (Professeur - University of Wisconsin-Madison )