Xavier Conort : "mon programme attribue des notes plus fiables que le professeur moyen"
Xavier Conort, 39 ans, ancien actuaire pour des compagnies d'assurances et aujourd'hui à la tête du cabinet de conseil en analyse de données Gear Analytics, a participé cette année à la compétition ASAP. Ce concours visait à récompenser le meilleur logiciel de notation automatique de dissertations, celui qui se rapprocherait le plus des notes données par un correcteur humain.
Longtemps en tête du classement, l'équipe de Xavier a fini en 4ème position sur les 159 équipes en lice. Il nous explique comment il a pu réaliser un programme aussi performant pour noter des copies d'élèves, sans rien connaître du monde de l'éducation.
Comment avez-vous conçu votre programme de notation automatique ?
J'ai utilisé différents algorithmes de machine learning, des algorithmes qui permettent à l'ordinateur d'apprendre par lui-même. Ils ont été développés dans les années 1990 et 2000 par de brillants statisticiens enseignant à Stanford ou Berkeley, qui ont décidé d'abandonner les maths pures et de laisser la machine analyser des données pour eux.
Nous avions à notre disposition un training set, un lot de rédactions avec les notes de correcteurs humains, pour calibrer la machine. Une matrice m'a permis d'en extraire le vocabulaire utilisé par les étudiants, et de mesurer la fréquence d'utilisation des mots. Les algorithmes permettent ensuite de mesurer l'impact de chaque mot sur la note. C'est ainsi que la machine apprend à reconnaître le vocabulaire utilisé par les bons élèves, et le vocabulaire — ou l'absence de vocabulaire — des moins bons élèves ou des élèves hors sujet, et elle attribue des notes en conséquence. C'est la même technique qu'utilisent les logiciels de reconnaissance de "spams".
Les rédactions étaient en anglais, cela a-t-il été un obstacle ?
Non, cela aurait pu être n'importe quelle langue, le principe est le même. Je n'ai pas lu les copies !
Quel est le secret de l'efficacité de votre programme, qui a fini dans le top 5 ?
Il faut combiner plusieurs algorithmes, qui abordent un même problème différemment, pour avoir des résultats consistants. C'est la théorie du livre The Wisdom of crowds ("la sagesse des foules") : on obtient une meilleure réponse à un problème donné en faisant la moyenne d'opinions de gens très différents, plutôt qu'en faisant appel à une seule personne, même très compétente.
Je l'ai donc appliquée à mon projet, en utilisant différents algorithmes plutôt qu'un seul : Support Vector Machine, Regularized regression, Random Forest, Gradient Boosting Machine, Genetic algorithm... Mais je l'ai aussi appliquée à mon équipe de compétition, en choisissant comme partenaire Marcin Pionnier, un Polonais, qui avait étudié l'informatique (moi les statistiques), et qui utilisait un autre logiciel. Notre seul point commun était d'avoir travaillé pour des compagnies d'assurances ! On progresse davantage en confrontant ses idées avec quelqu'un de très différent.
Pour vous, serait-il souhaitable de confier l'évaluation des examens à une machine ? Est-ce qu'il ne serait pas plus facile de tricher avec un correcteur informatisé qu'avec un humain ?
Le risque de triche existe en effet avec la machine. Mais l'étudiant peut aussi être pénalisé par l'humain. J'ai détecté grâce à mon algorithme un nombre significatif de rédactions mal notées (sur– ou sous-notées). Les deux systèmes de notation sont donc à mes yeux complémentaires. Les résultats obtenus dans cette compétition montrent que la machine attribue des notes plus fiables qu'un professeur américain moyen ! Ironiquement, je pense que ces algorithmes pourraient être plus utiles pour noter les professeurs que les élèves. Ils pourraient servir à identifier ceux qui notent de façon erratique, et ainsi éviter que des élèves ne se voient attribuer des notes totalement injustes.
Un professeur de mathématiques ou d'informatique pourrait-il facilement participer, comme vous, à des compétitions de data mining (analyse de données) ?
Avec de la motivation et de la ténacité, n'importe qui peut le faire, de n'importe où, sans aucune ressource. Avant septembre, je ne connaissais rien aux algorithmes que j'utilise aujourd'hui. Il existe un livre gratuit de 800 pages, The elements of statistical learning, rédigé par trois professeurs de Stanford, qui répertorie les techniques les plus utilisées en machine learning. Et pour programmer, j'utilise le logiciel gratuit R. Cela prend bien sûr du temps, et il faut un peu coder. Il vaut donc mieux avoir un cursus scientifique et être à l'aise avec un ordinateur.
Comptez-vous participer aux prochains volets du challenge ASAP, l'évaluation automatisée de réponses courtes et de graphiques mathématiques ?
La probabilité que j'y participe est très forte. Les compétitions en data mining sont addictives !
Propos recueillis par
Quentin Duverger
