60.000 dollars pour le meilleur logiciel à corriger les disserts

Le concours américain "ASAP" rapportera, à la fin du mois, 60.000 dollars à l'inventeur du meilleur logiciel de correction automatique de dissertations.

Dessin d'un robot professeur par Emory Allen (Flickr)

Image : Emory "ocularinvasion" Allen / Flickr

Le concours « Automated Student Assessment Prize (ASAP) » vise à récompenser le meilleur logiciel de correction automatique de dissertations. Pas moins de 103 équipes s’affrontent pour les trois premiers prix du concours, qui totalisent 100.000 dollars, dont 60.000 dollars (45.000 euros) pour le meilleur. La compétition prend fin à la fin du mois, le 30 avril.

Si les dissertations sont pour les organisateurs « une forme d’expression importante de la réussite scolaire », le coût des longues corrections à la main oblige souvent les écoles américaines à les remplacer par des QCM. La correction automatisée des dissertations, à la fois rapide et peu coûteuse, permettrait selon eux de redonner une place de choix à cette épreuve.

Plus il y a de virgules, meilleure est la note

Les programmes en lice ont pu s’entraîner sur une sélection de plus de 1.000 dissertations de 150 à 550 mots, dont les notes, attribuées par des humains, étaient connues. Après trois mois de perfectionnement les programmes doivent maintenant faire leurs preuves sur une nouvelle série de disserts, en aveugle, en s’approchant au maximum de la note moyenne donnée à la copie par les correcteurs humains.

En analysant les dissertations d' »entraînement », les programmeurs informatiques ont fait des découvertes étonnantes. Martin O’Leary, scientifique de l’Université du Michigan, a par exemple observé que les correcteurs humains ne donnent pas plus de points quand les élèves utilisent un vocabulaire complexe. Par contre, il a remarqué que le nombre de virgules est un très bon indicateur de la note finale : « Plus il y en a, mieux c’est » !

Les programmes notent le fond, pas la forme

Pour l’instant, les programmes de notation sont loin d’être infaillibles. Même leurs partisans reconnaissent qu’ils sont incapables d’apprécier la poésie d’une phrase, et préfèrent la conformité à la créativité. L’analyse sémantique n’est pas non plus leur fort : le programme va se focaliser sur la présence d’éléments-clés, sans forcément prendre en compte le contexte. Dans une dissertation d’histoire sur Christophe Colomb par exemple, un petit malin pourrait écrire que la Reine Isabelle est partie à la conquête du Nouveau monde avec 1492 soldats, et ne pas être considéré comme hors-sujet par une grande majorité de correcteurs automatiques.

Dans les mois qui viennent, le concours ASAP sera reconduit, mais les participants devront cette fois s’attaquer à l’évaluation automatisée de réponses courtes, puis à celle de graphiques mathématiques, pour couvrir la plupart des formes d’exercices scolaires.

Quand bien même les programmes démontreraient leur savoir-faire en matière d’évaluation, reste à savoir si les professeurs accepteront de passer la main à des machines – et si les élèves mettront autant de coeur à l’ouvrage quand ils sauront que leur copie est froidement analysée en une fraction de seconde par un ordinateur, qui ne prendra même pas le temps de commenter leurs erreurs à l’encre rouge.

Source(s) :
  • Actualitté, techcrunch.com, kaggle.com, reuters.com

Partagez votre avis

Votre adresse de messagerie ne sera pas publiée .

Modération par la rédaction de VousNousIls. Conformément à la loi relative à l'informatique, aux fichiers et aux libertés, vous disposez d'un droit d'accès, de modification, de rectification et de suppression des données vous concernant. Pour exercer ce droit adressez-vous à CASDEN Banque Populaire, VousNousIls.fr, 91 Cours des roches, Noisiel, 77424 Marne La Vallée Cedex 2.