Naviguer dans une mer de données



Après le Big Bang, le big data?

Depuis trois ans, les individus, mais surtout les entreprises, génèrent un déluge de données numériques : tableaux financiers, factures, vidéos, photos,  courriels, budgets … Comment garder le cap dans cet océan d'information massive?

Le défi s'est présenté pour Fujitsu Conseil Québec et son système alors inefficace de classement des appels d'offre du gouvernement. Cette branche canadienne de l'entreprise mondiale japonaise de technologies de l'information et de la communication s'est donc allié l'expertise scientifique de Mathieu Dumoulin, étudiant à la maîtrise en informatique à l'Université Laval, pour trouver une solution novatrice à son problème.

L'étudiant-chercheur a démontré qu'il est possible de présenter de l'information personnalisée selon les besoins et les intérêts précis d'un utilisateur via un moteur de recherche adapté.

Grâce à la bourse BMP-Innovation FRQNT-CRSNG, l'étudiant-chercheur a exploré les technologies big data comme Hadoop pour automatiser le système et l'améliorer. Hadoop est l'un des systèmes de stockage et de traitement de données massives les plus performants actuellement. M. Dumoulin a vite démontré qu'il est possible de présenter de l'information personnalisée selon les besoins et les intérêts précis d'un utilisateur via un moteur de recherche adapté. Il a développé un programme qui ordonne et classifie automatiquement les résultats, tout en cachant ceux qui ne sont pas d'intérêt. Plus encore, son application développe un certain « jugement » grâce à un processus d'apprentissage basé sur une série d'exemples. C'est ce qu'on appelle le Machine Learning ou apprentissage automatique.

Grâce à cela, le nouveau système de classification de Fujitsu Conseil Québec filtre les résultats non pertinents à 99 % et garde 95 % des offres intéressantes. Le programme pourra sans doute être adapté à d'autres utilisations.