24.12.2010
4 réactions

Ike Antkare : le chercheur renommé… qui n'existe pas

Sur la toile, Ike Antkare figure parmi les dix pre­miers cher­cheurs en science infor­ma­tique. Pourtant ce cher­cheur n'existe pas ! Son créa­teur, l'enseignant-chercheur Cyril Labbé, démontre ainsi les limites de l'évaluation « quan­ti­ta­tive » basée sur la mesure du nombre de citations.

Né cette année, Ike Antkare est déjà l'un des dix pre­miers cher­cheurs en science infor­ma­tique et figure parmi les 100 scien­ti­fiques les plus renom­més au monde, devant Albert Einstein ! Travaillant à l'International Institute of Technology United Slates of Earth, ce petit génie a publié, selon Google Scholar (1), 102 articles qui ont été repris et cités à maintes reprises sur la toile.

Pourtant, ce cher­cheur renommé n'existe pas ! Il a été inventé de toutes pièces par Cyril Labbé, afin de démon­trer le manque de fia­bi­lité de l'évaluation stric­te­ment biblio­mé­trique. Le résul­tat de la farce (2) est pro­bant : « le « h –index » d'Ike Antkare, qui mesure le nombre de publi­ca­tions et cita­tions est monté jusqu'à 98 ! » pré­cise l'inventeur.

Le vrai-faux chercheur

Âgé de 37 ans, Cyril Labbé est maître de confé­rence à l'université Joseph Fourier (Grenoble 1) et cher­cheur en science infor­ma­tique. « Mes tra­vaux portent sur les bases de don­nées et flux de don­nées », précise-t-il.

Au sein des labo­ra­toires et struc­tures uni­ver­si­taires, le débat sur l'utilisation des outils d'évaluation « quan­ti­ta­tive » ne cesse de rebon­dir et Cyril Labbé est concerné : « lorsque les ensei­gnants cher­cheurs sont évalués, les com­mis­sions se basent sur leurs CV, dos­siers et publi­ca­tions. Ils uti­lisent la biblio­mé­trie pour mesu­rer le nombre de fois où ils sont cités dans des revues à comité de lec­ture ou confé­rences ».

Des outils comme Wok (ISI Web of Knowledge), Scopus, et sur­tout le logi­ciel gra­tuit Google Scholar, sont uti­li­sés. « On obtient alors le « h-index » : un h-index de 10 signi­fie qu'on a 10 publi­ca­tions au moins citées 10 fois ».

Les dan­gers de ces évalua­tions et de l'exigence de ren­ta­bi­lité avaient déjà été dénon­cés par Lindsay Waters, res­pon­sable des éditions uni­ver­si­taires de Harvard (3). Car dans les uni­ver­si­tés amé­ri­caines, « publier » vise d'abord à décro­cher une titu­la­ri­sa­tion. Cyril Labbé sou­ligne à son tour les effets per­vers du sys­tème : « même si de nom­breux indices sont uti­li­sés, on ne sait com­ment Google Scholar mesure : cela rend les com­pa­rai­sons dan­ge­reuses. Dès lors qu'on uti­lise des notes, il est dif­fi­cile d'en faire abs­trac­tion ! » Les cita­tions d'Ike Antkare sont sans fon­de­ment, alors qu'un h-index de 98 est un excellent score. Or en France égale­ment, ces clas­se­ments servent de plus en plus de réfé­rence, notam­ment en matière de recru­te­ment dans les universités.

Des textes réfé­ren­cés sans queue ni tête

« J'avais constaté que des cita­tions de dif­fé­rents cher­cheurs appa­rais­saient comme issues de deux articles dif­fé­rents alors qu'il s'agissait du même. Et cer­tains auteurs étaient étranges... », se remé­more Cyril Labbé. Il a com­mencé par tes­ter Google Scholar en met­tant en ligne sur sa page web une série de docu­ments... qui ont rapi­de­ment été comp­ta­bi­li­sés, aug­men­tant son « h-index ». « Je l'ai alors testé à plus grande échelle en créant ce cher­cheur, qui a des dizaines d'articles qui se citent les uns les autres ».

Cyril Labbé a uti­lisé un géné­ra­teur de textes inventé par des étudiants du MIT (SCIGEN) qui crée des articles com­bi­nant des phrases de manière aléa­toire. « Le résul­tat res­semble à un vrai article scien­ti­fique. Il est réfé­rencé par Google Scholar alors qu'il n'a rigou­reu­se­ment aucun sens». Il ne res­tait à Cyril qu'à trou­ver un nom à son cher­cheur — « Ike Antkare(4) » -, un orga­nisme fic­tif et une source réelle pour rendre le cher­cheur cré­dible. « Ses 100 articles réfé­rencent un article qui me cite, LA seule vraie source ! »

Pour Cyril Labbé, l'objectif est de mettre en garde les uti­li­sa­teurs de Google Scholar, même s'il recon­naît les avan­tages de cet outil : « Pouvoir repé­rer les auteurs qui nous citent et com­prendre pour­quoi ils uti­lisent nos tra­vaux a des inté­rêts pour nos recherches, au jour le jour ! »


Elise Pierre

Note(s) :
  • (1) Google Scholar est un moteur de recherche pour revues par les pairs, des thèses, des livres, des résumés, et d'autres publications savantes de tous les grands domaines de recherche. Il calcule le h-index, un indice qui tente de mesurer à la fois la productivité et l'impact d’un chercheur. L'indice est basé sur l'ensemble des articles les plus cités du savant et le nombre de citations qu'ils ont reçu dans les publications d'autres personnes.
  • (2) Cyril Labbé démontre en 3 chapitres comment devenir un éminent scientifique aux yeux de Google Scholar.
  • (3) L'Eclipse du savoir, Allia, 2008, de Lindsay Waters.
Vous souhaitez réagir sur cet article : Open-close

Modération par la rédaction de VousNousIls.

Conformément à la loi relative à l'informatique, aux fichiers et aux libertés, vous disposez d'un droit d'accès, de modification, de rectification et de suppression des données vous concernant. Pour exercer ce droit adressez-vous à CASDEN Banque Populaire, VousNousIls.fr, 91 Cours des roches, Noisiel, 77424 Marne La Vallée Cedex 2.

Vos réactions :

Open-close
Article
le 10 janvier 2011

Bonjour,
Le H num­ber ne tient pas en compte les self-citations. Le H num­ber de Mr. Ike Antkare est donc 0. La ques­tion est : de quel clas­se­ment vous par­lez?
un enseignant-chercheur.

Signaler

jroyer
le 11 janvier 2011

Pour ma part j'ai testé sur quad search http://quadsearch.csd.auth.gr
et cet indi­vidu a un Hirsh Number de 95
Et puis de toute façon j'imagine qu'il ne doit pas être trop dif­fi­cile de contour­ner
la contrainte de l'auto-citation.

Signaler

sd
le 26 janvier 2011

Cela démontre que seul le h-index de Web Of Knowledge est per­ti­nent (www.isiknowledge.com). La base de don­nées de WOK est en effet contrô­lée (il est impos­sible de faire réfé­ren­cer des tra­vaux fic­tifs), alors que celle de Google Scholar ne l'est pas.

Signaler

jroyer
le 5 février 2011

Pourquoi je ferais confiance à http://www.isiknowledge.com pour m'évaluer ?
Et en plus il faut que je paye ...

Signaler

4 réactions