Méthodologie pour l'opérationnalisation de méthodes d'apprentissage par renforcement en contexte de gestion de réservoirs hydroélectriques soumis à des prévisions hydrologiques d'ensemble

 

Richard Arsenault

École de technologie supérieure (ÉTS)

 

Domaine : ressources naturelles

Programme : établissement de nouveaux chercheurs universitaires

Concours 2019-2020

La gestion des ressources hydriques, notamment en contexte de production hydroélectrique et de contrôle des inondations, est une opération complexe pouvant avoir d'importantes répercussions sur la sécurité du public, la production d'énergie et sur l'environnement. Les systèmes hydriques sont souvent complexes et leur gestion optimale dépend grandement d'information incertaine à propos des conditions météorologiques futures. Ce projet vise à développer une méthodologie permettant de transposer une approche d'apprentissage par renforcement (AR) nommée REINFORCE, actuellement développée pour évaluer la gestion hydrique en mode simulation, en contexte opérationnel. Le défi est de taille, puisque le contexte opérationnel diffère considérablement du contexte de simulation. Deux objectifs secondaires sont donc envisagés afin de mener à bien le projet.

En premier lieu, l'AR nécessite beaucoup de données hydrométéorologiques pour bien performer. La paramétrisation des paramètres des politiques de gestion de réservoirs nécessite des milliers d'années d'observations, qui ne sont évidemment pas disponibles. Ce premier sous-objectif vise à générer des données synthétiques représentatives de la base de données historique. Trois approches sont proposées, soient par des modèles hydrologiques alimentés par des générateurs de climat, ces mêmes modèles mais alimentés par des données post-traitées issues de modèles climatiques et la génération directe de débits à l'aide d'un modèle statistique.

Une fois les bases de données suffisamment étoffées, le deuxième objectif secondaire pourra être poursuivi. Une longue série de prévisions d'ensemble séquentielles sera générée sur la durée des données historiques sur un pas de temps de 3 jours. L'AR pourra déterminer la meilleure politique de gestion en intégrant des statistiques sur les prévisions d'ensemble, telles que les volumes d'eau prévus, les pointes maximales et la dispersion de l'ensemble. L'algorithme pourra intégrer cette information dans sa calibration et pourra donc fournir la meilleure décision à prendre (selon sa paramétrisation) pour une prévision opérationnelle.

La gestion de risque sera également traitée dans ce deuxième objectif secondaire. En effet, en conditionnant l'AR à prendre une décision unique pour la période, le gestionnaire perd la capacité à évaluer le risque lié à la prise de décision. Pour pallier ce problème, des prévisions secondaires seront intégrées aux prévisions d'ensemble opérationnelles de manière à permettre à l'AR de déterminer le risque et les bénéfices associés à l'un ou l'autre des scénarios prévisionnels.

L'atteinte de ces objectifs serait une première étape dans l'opérationnalisation des méthodes d'apprentissage par renforcement en gestion de réservoirs hydroélectriques. Les retombées potentielles pour le Québec sont considérables, incluant une amélioration de l'efficacité du parc hydroélectrique et une réduction du risque lié aux inondations des réservoirs. Scientifiquement, il s'agirait d'une première percée des méthodes d'AR en conditions opérationnelles et cela ouvrirait la voie à ce nouveau domaine d'études voué à prendre de l'ampleur dans les prochaines années.