Apprentissage distributé d'architectures profondes sur d'immenses ensembles de données

 

Michael Rabbat

Université McGill

 

Domaine : technologies de l'information et des communications

Programme projet de recherche en équipe

Concours 2011-2012

Les progrès dans la recherche sur les algorithmes d'apprentissage ont déjà apporté de nombreux bénéfices à la société, allant d'un meilleurs accès à l'information du web à la détection de transactions financières frauduleuses. Les algorithmes d'apprentissage permettent de donner de l'intelligence à l'ordinateur en exploitant les patrons et les régularités statistiques cachés dans des bases de données. Pour amener ces algorithmes au prochain niveau et faire des progrès sur les tâches classiques de l'intelligence artificielle comme la vision et la compréhension du langage, il faut pouvoir entraîner des modèles plus complexes avec beaucoup plus de degrés de libertés. Notre société est actuellement inondée par un déluge de données, avec plus de données qu'un seul processeur puisse traiter. Par exemple, à chaque minute, plus de 24 heures de vidéo seraient téléchargées sur le site YouTube.

Cette demande de subvention vise à tirer avantage de cette nouvelle manne pour entraîner des modèles beaucoup plus complexes (ajuster un grand nombre de degrés de liberté) qu'il n'était possible de le faire jusqu'à présent. Nous proposons de tirer avantage des immenses ressources de calcul distribué qui se mettent en place actuellement, depuis les processeurs multi-cœurs jusqu'au calcul distribué sur des réseaux comme celui de Calcul Canada. La proposition s'inspire de la manière dont les humains apprennent et échangent l'information, avec un réseau d'agents apprenants. Chaque agent entraîne une architecture profonde sur un sous-ensemble des données, et les agents communiquent entre eux pour tirer avantage de ce que les autres agents ont appris.