Développement d'un système robuste de reconnaissance d'activités humaines utilisant des films et leur texte descriptif

 

Aaron Courville

Université de Montréal

 

Domaine : technologies de l'information et des communications

Programme projet de recherche en équipe

Concours 2014-2015

La reconnaissance d'activités humaines à partir de vidéo est un problème fondamental de vision par ordinateur, trouvant application dans plusieurs technologies, incluant les interfaces humain/machine, les environnements intelligent, la surveillance vidéo et la recherche vidéo par le contenu. Le défi majeur derrière le développement d'un système de reconnaissance d'activités est qu'il doit pouvoir détecter une même activité dans un grand nombre de conditions variées, caractérisées par des variations de la position de la caméra, de l'illumination, de la scène et de l'apparence de la personne faisant l'action.

Pour relever ce défi, on fournit au système de reconnaissance une base de données de vidéos couvrant le plus grand nombre de ces variations possibles. Malheureusement, construire de telles bases de données nécessite un travail manuel laborieux. L'objectif de ce projet est d'améliorer l'état de l'art en reconnaissance d'activités humaines, en développant un système capable de tirer profit d'une collection volumineuse de films accompagnés de leur description textuelle extraite d'un service de vidéo description.

Cette collection permettra de générer davantage d'exemples pouvant être utilisés par le système de reconnaissance, et ce de façon automatique. Un modèle de reconnaissance spécifiquement adapté à ce contexte sera développé. En exploitant la relation entre la vidéo et la description textuelle de multiples scènes de ce film, ce système pourra mieux représenter les actions et événements pertinents qui s'y déroulent et être moins vulnérable aux variations non pertinentes.