Linguaskill Speaking : « la plupart des résultats au test sont communiqués en moins de 5 heures »

Pouvez-vous vous présenter en quelques mots ? 

Je suis responsable de recherche au sein de la division « Research and Thought Leadership » de ‘Cambridge Assessment English’ –  département de l’Université de Cambridge. J’ai obtenu mon doctorat en linguistique appliquée et technologie à l’Iowa State University (États-Unis) et je travaille dans le domaine de l’évaluation linguistique depuis environ 10 ans. Mes recherches actuelles portent principalement sur l’évaluation linguistique assistée par la technologie, la notation et le retour d’information automatisés ainsi que l’apprentissage des langues assisté par ordinateur. Je suis également le référent pour les travaux de recherche sur le test Linguaskill Speaking.

Justement, parlez-nous du test de certification en ligne « Linguaskill Speaking ».

Le test « Linguaskill Speaking » est un test d’expression orale en anglais sur ordinateur conçu avec l’appui de l’intelligence artificielle. Disponible avec surveillance à distance sécurisée, il peut être passé sur n’importe quel ordinateur disposant d’une connexion Internet à haut débit. Le test reproduit des situations d’utilisation de la langue dans la vie quotidienne et au travail, et évalue les compétences orales des candidats en se basant sur le Cadre européen commun de référence pour les langues (CECRL). Une norme reconnue à l’international pour décrire la progression d’un apprenant dans l’apprentissage et l’acquisition d’une langue étrangère. Les performances orales des candidats sont évaluées soit par un outil de notation automatique (c’est-à-dire des algorithmes de notation développés à l’aide de techniques de pointe en machine learning), soit par des examinateurs humains hautement qualifiés lorsque l’outil de notation automatique indique un faible niveau de confiance quant à sa notation. Grâce à cette approche hybride unique, le test Linguaskill Speaking peut délivrer les résultats aux candidats en moins de 48 heures, la plupart des résultats étant communiqués en moins de 5 heures.

Pourquoi avoir fait le choix d’intégrer l’IA à l’évaluation des compétences orales ?

L’intégration de l’intelligence artificielle (IA) à nos travaux de recherche sur l’évaluation des compétences en expression orale nous est venue assez naturellement, compte tenu de l’impact croissant de l’IA dans notre vie quotidienne et de la réputation de l’Université de Cambridge dans ce domaine de la recherche. L’organisation des tests traditionnels d’expression orale nécessitent d’importantes ressources humaines : pour la conception des épreuves, la notation des candidats, ainsi que la formation et le suivi des examinateurs. En intégrant l’IA aux épreuves d’expression orale, nous espérons simplifier la gestion administrative des tests tout en conservant la validité de l’évaluation. En 2012, nous avons commencé à collaborer avec des groupes de recherche de l’université sur l’évaluation automatisée de l’expression orale. En octobre 2013, un centre de recherche interdisciplinaire appelé l’Institut pour l’enseignement et l’évaluation automatisés des langues (ALTA) a été créé par l’Université de Cambridge, ce qui nous a apporté une plateforme pour que cette collaboration de recherche se développe. 

Quels sont les principaux objectifs de cette nouveauté ?

L’application de l’intelligence artificielle au test d’expression orale de Linguaskill n’est en fait pas nouvelle. Nous avons été très prudents avec l’introduction de la notation automatisée dans le test d’expression orale et avons mené de nombreux essais en coulisses avant son introduction. Dans la phase actuelle du développement, nous permettons à l’outil de notation automatique de ne noter qu’une petite proportion des tests et nous surveillons constamment ses performances. Notre objectif à court terme est de garantir la fiabilité de la notation hybride afin que tous les candidats reçoivent des résultats fiables, que leurs réponses orales soient notées par des examinateurs humains ou par l’outil de notation automatique. Notre objectif à long terme est de former l’outil à fournir à chaque candidat un retour détaillé sur ses résultats afin de l’aider dans son apprentissage de l’anglais.

Concrètement, comment se déroule l’évaluation du candidat grâce à l’intelligence artificielle ?

L’outil de notation automatique conçu pour le test Linguaskill Speaking est composé d’un dispositif de reconnaissance vocale et d’un correcteur. Le dispositif de reconnaissance vocale effectue une transcription automatique du discours du candidat. A partir du texte obtenu, le correcteur attribue un score basé sur un large éventail de caractéristiques identifiées dans le discours telles que les mots et les expressions utilisées, la prononciation des mots et des syllabes, le taux d’articulation, les disfluences, les hésitations, etc. L’outil de reconnaissance vocale et le correcteur ont tous deux été entrainés à partir d’une base de données conséquente de discours représentatifs annotés par des évaluateurs humains.

Est-ce réellement fiable ?

Sur la base des essais que nous avons réalisés, nous sommes convaincus que les résultats des tests obtenus par notre modèle de notation hybride sont fiables. Nous avons mené des recherches approfondies pour identifier les limites de l’outil de notation automatique (c’est-à-dire les circonstances dans lesquelles l’outil pourrait ne pas fournir une évaluation fiable) et avons donc fixé plusieurs seuils à partir desquels les réponses aux tests sont envoyées pour vérification à des examinateurs humains. Ce système permet aux experts humains de filtrer la production de l’outil automatique afin de s’assurer de ne transmettre que des résultats fiables aux candidats.

Enfin, en quoi ce format peut représenter un atout pour le candidat ?

Pour les candidats, le test Linguaskill Speaking est très accessible. Ils peuvent passer leur test à tout moment sur un ordinateur connecté à Internet, et recevoir leurs résultats en moins de 48 heures. Avec le perfectionnement de l’utilisation de l’intelligence artificielle, nous prévoyons de réduire encore ce délai. La réduction des coûts liés à la notation pourrait se traduire par une baisse du prix de l’examen pour le candidat. Dans un avenir proche, les candidats pourront également choisir de demander un retour détaillé sur leur test, fourni par l’IA, qui sera capable d’identifier les forces et les faiblesses de leur performance.