Nouveaux modèles de réponse d'item semi-paramétriques

 

Carl Falk

Université McGill

 

Domaine : structures abstraites

Programme : établissement de nouveaux chercheurs universitaires

Concours 2018-2019

Dans le présent projet de recherche, nous proposons d'élaborer et de tester de nouveaux modèles statistiques aptes à satisfaire les demandes rigoureuses des situations de test opérationnel. De telles situations impliquent les réponses des participants à des items de test qui sont utilisés à l'échelle provinciale, nationale et internationale, et peuvent comprendre des évaluations scolaires, des examens d'autorisation d'exercer, des résultats en matière de santé, des tests psychologiques utilisés par les cliniciens, etc. Les résultats de tels tests sont souvent utilisés pour prendre des décisions aux enjeux importants concernant des personnes en particulier ou des initiatives stratégiques plus générales. Les modèles proposés sont utilisés pour estimer les propriétés des items de test et assigner des scores à des candidats et offrent plusieurs autres avantages possibles. Avant tout, les modèles proposés peuvent être utilisés pour vérifier les hypothèses de base des modèles traditionnels, et sont plus flexibles, ce qui leur permet d'assurer une meilleure correspondance aux données réelles et d'économiser de l'argent grâce à la conservation des items de test coûteux à élaborer. On soutient que ces modèles offrent de meilleures possibilités à long terme que d'autres modèles flexibles existants en raison de la procédure d'estimation, du potentiel de communication efficace du modèle aux intervenants et de la capacité des modèles à être utilisés dans des tests adaptatifs informatisés. Les modèles reposent sur une approche d'estimation déjà utilisée dans de nombreuses situations de test opérationnel, qui permet de déterminer formellement si un test est juste et impartial dans ses différentes versions (p. ex. français c. anglais) et dans différents groupes démographiques. Cette approche convient également aux méthodes de collecte de données dans lesquelles tous les candidats ne répondent pas à chacun des items, ce qui accroît la sécurité des tests et réduit les possibilités de tricher, dans la mesure où les personnes sont moins nombreuses à voir chaque item. Compte tenu du fait que les situations de test opérationnel requièrent souvent un rapide revirement pour respecter les délais, nous effectuerons des travaux supplémentaires dans le cadre de la présente proposition pour nous assurer que les modèles peuvent être estimés dans un délai raisonnable. Enfin, nous comparerons les modèles à une autre approche souple prometteuse afin de déterminer les avantages et les inconvénients de chacun et de prodiguer des recommandations concrètes sur les situations adaptées à l'utilisation des modèles. Dans le cadre de la présente proposition, nous testerons les modèles proposés et d'autres travaux sur des ensembles de données publiques à grande échelle et des données synthétiques. Le but ultime de la présente proposition consiste à soutenir un programme de recherche visant à améliorer les outils statistiques dont nous disposons pour effectuer des tests opérationnels et à améliorer la validité des décisions fondées sur des tests en offrant des modèles plus flexibles et pouvant être utilisés dans le processus de création des tests afin de produire des scores aux tests plus fiables.