Le Master IDEMM

Réponses précises et courtes :

Pour chaque question, les systèmes devaient renvoyer une liste de réponses. Par exemple une des questions était : Donner une liste de 9 variétés de pommes de terre douces.

Les questions ont été établies par les assesseurs du NIST. Le nombre d’exemples demandé a été choisi en fonction du nombre total de réponses disponibles dans le corpus. Un seul document pouvait contenir plusieurs réponses et une même réponse pouvait apparaître dans plusieurs documents.

Chaque liste de réponses était considérée comme une unité. Un seul exemple comme réponse était jugé comme précédemment par les juges, c'est-à-dire selon la piste réponses courtes et précises. Pour les listes de réponses, un assesseur choisissait arbitrairement n’importe quel exemple d’un ensemble de réponses correctes et équivalentes pour en faire une seule réponse distincte et éliminait les autres.

Le score d’une question-liste était alors calculé en divisant le nombre de réponses correctes distinctes trouvées par le nombre de réponses demandées. Le score d’un système était donc la moyenne des résultats trouvés pour chaque question.

Ainsi la piste Question-Réponse permet d’évaluer les réponses des questions factuelles, l’extraction de la réponse uniquement et la recherche de toutes les réponses dans un corpus mais il serait plus intéressant de pouvoir évaluer les réponses en fonction de leur fiabilité et de leur utilité pour l’utilisateur.

1.2. La campagne d’évaluation CLEF (Cross Language Evaluation
Forum)

En 2000 est lancé le projet européen d’évaluation des systèmes de recherche d’information qu’ils soient monolingue ou multilingue de langue européenne ; ce projet est baptisé CLEF. Il intègre aujourd’hui Amaryllis, la campagne d’évaluation des systèmes de recherche textuelle pour la langue français. La première campagne d’Amaryllis date de 1996 et fut initiée par l’Agence Universitaire de la Francophonie (AUF) et le Ministère Français de la Recherche et de la Technologie.

CLEF distingue deux types de tâches :

les tâches principales, à savoir les pistes monolingue, bilingue, multilingue et de recherche dans un domaine spécifique;

les tâches additionnelles, organisées à titre d’expérimentation dont le but est d’identifier les nouveaux besoins et les nouvelles exigences ainsi qu’acquérir de nouvelles méthodes pour l’évaluation des SRI mono- ou multilingues.

Lors de la quatrième campagne (CLEF 2003), deux nouvelles tâches sont introduites qui remportent un vif succès : la piste question/réponse et la piste recherche d’images. CLEF 2003 constitue donc un point de rupture avec les campagnes précédentes car il ne s’agit pas seulement de rechercher des documents multilingues mais d’inclure différents types de recherche textuelle à travers les différentes langues (du document à la réponse exacte) et de rechercher dans divers types de média (texte, image et discours).

Ainsi dans CLEF 2004, six tâches sont proposées :

recherche mono-, bi-, multilingue dans de nouvelles collections (ad-hoc),

recherche mono-, bi-, multilingue dans un domaine spécifique (GIRT),

recherche inter lingue interactive (iCLEF)

question/réponse multilingue (QA@CLEF),

recherche inter lingue dans une collection d’images (Image CLEF)

recherche inter lingue dans des documents audio (CL-SDR).

1.2.1. La recherche multi-, bi-, monolingue de documents (piste
ad hoc)

L’un des objectifs de CLEF est d’encourager le développement de système de recherche multilingue capable à partir d’une question posée dans une langue de fournir une liste de résultats, ces derniers étant classés par ordre de pertinence.

Le protocole adopté est celui établi par TREC.

En 2003, la recherche multilingue était divisée en deux tâches distinctes :

multilingue-4 : la recherche s’effectue sur une collection comportant des documents en anglais, allemand, français et espagnol ;

multilingue-8 : la recherche s’effectue sur une collection comportant des documents dans les langues citées précédemment ainsi qu’en hollandais, finlandais, suédois, italien.

La recherche bilingue visait à entraîner les systèmes à rechercher des documents dans des paires de langues inhabituelles :

La tâche monolingue visait à tester la performance du système dans huit langues européennes (anglais exclu).

1.2.2. La tâche QA (Question Answering)

La tâche QA a été introduite en 2003 à la suite de TREC qui évaluent les système de QA depuis 1999.

A la différence de TREC qui évalue les systèmes travaillant en anglais, CLEF évalue les systèmes travaillant sur des langues autres que l’anglais, et sur les systèmes multilingues.

En 2003, 8 groupes venus d’Europe, des Etats-Unis et du Canada ont participé à 9 tâches, se soumettant à 70 runs.

La tâche monolingue concernait trois langues : hollandais, italien, espagnol.

Quant aux questions de la tâche bilingue, elles étaient formulées dans cinq langues : hollandais, français, allemand, italien, espagnol, la recherche s’effectuant dans une collection de documents en anglais.

200 questions simples, de type factuelles, ont été posées, et les participants étaient autorisés à donner trois réponses par question.

En 2004, QA@CLEF se décline en trois tâches :

la tâche principale de QA,

une tâche pilote en espagnol,

une tâche interactive, iCLEF.

QA@CLEF inclut davantage de langues européennes et de combinaisons inter lingues.

En 2004, 80 groupes ont testé leur système, se soumettant à 48 runs.

Dans la tâche multilingue, deux variables doivent être considérées :

- les langues sources au nombre de 9 (bulgare, hollandais, anglais, finlandais, français, allemand, italien, portugais) ;

- les langues cibles au nombre de 7 (hollandais, anglais, français, allemand, italien, portugais et espagnol).

Au total, 56 tâches, divisées en 6 tâches monolingues et 50 tâches bilingues étaient proposées.

200 questions factuelles ont été soumises dont 10% de questions demandant une définition (par ex. : Qu’est-ce que l’UNICEF ? Qui est Tony Blair ?) et 10% de questions sans réponse.

Des réponses exactes étaient réclamées.

Les mêmes exigences et mesures que la tâche TREC 2002 QA ont été adoptées.

1.2.3. Procédures d’élaboration des requêtes

Les requêtes sont élaborées en essayant de recréer un besoin simulé d’information. Pour chaque langue, des personnes dont c’est la langue maternelle proposent un ensemble de thèmes touchant aux évènements locaux, européens ou d’intérêt général. Les thèmes qui posent des problèmes d’ordre culturel sont éliminés. Les thèmes sont ensuite comparés sur l’ensemble des sites producteurs de façon à vérifier qu’ils sélectionnent un nombre suffisant de documents dans chaque collection. Une fois les thèmes sélectionnés, ils sont traduits dans les différentes langues par des traducteurs expérimentés.

Chaque thème se présente en 3 parties : un titre, une description en une phrase, une partie narrative où sont explicités les critères d’évaluation pertinents.

1.2.4. Les collections de documents

Le corpus multilingue contient environ 1,8 million de nouveaux documents issus de la même période (1994-1995), dans 10 langues : hollandais, anglais, finlandais, français, allemand, italien, portugais, russe, espagnol et suédois.

La piste domaine spécifique de 2004 a utilisé la même collection qu’en 2003, à savoir une base de textes allemands en sciences sociales (la base GIRT (German Indexing and Retrieval Test)), soit environ 150 000 documents.

La piste Image CLEF utilise deux collections différentes :

une collection de photos historiques fournies par l’Université St Andrews (Ecosse),

une collection d’images médicales, disponibles à l’hôpital universitaire de Genève.

La piste de recherche inter lingue de documents audio utilise la transcription en anglais des pistes SDR de TREC-8 et TREC-9, fourni par le NIST (National Institute of Standards and Technology).

1.2.5. Les métriques utilisées

Les métriques utilisées sont les mêmes que celles employées pour TREC, à savoir la précision, le rappel, la précision moyenne et l’élaboration d’un graphique qui permet la comparaison entre le résultat d’un participant et la performance moyenne sur l’ensemble des participants pour chaque question.

1.2.6. Participation

Pour CLEF 2004, 55 groupes ont soumis leurs résultats (42 groupes pour CLEF 2003) : 36 d’Europe, 13 de l’Amérique du Nord, 4 d’Asie, et un groupe euro-asiatique.

Parmi ces groupes, 11 étaient formés par la collaboration de chercheurs de différentes institutions. Seuls 6 groupes représentaient l’industrie.

Beaucoup de groupes n’ont participé qu’à une seule tâche.

1.3. Limites des campagnes d’évaluation des systèmes de
recherche d’informations

1.3.1. Á propos de l’usager

Nous pouvons reprocher à cette méthode d’être artificielle et arbitraire. Si le TREC a effectivement amélioré l’efficacité du système, la notion d’utilisateur final implique des connaissances personnelles, une expérience et des capacités de recherche différentes, dont l’évaluation du système ne se soucie pas. En effet, l’évaluation est faite uniquement par des professionnels.

1.3.2. Limites du corpus de documents

La pertinence du corpus de documents est seulement thématique, et non logique ; elle ne prend pas en compte non plus l’opinion de l’auteur. De plus, dans les corpus traditionnels, un document est un texte à part entière, et l’évaluation se fait par rapport au nombre de documents retrouvés, or en général, un utilisateur ne cherche pas des documents mais de l’information, et les documents ne contiennent jamais la même quantité d’information.

1.3.3. Limites du corpus de requêtes

Si la recherche peut se faire à partir de mots-clés, la requête est un besoin d’information exprimé en langage naturel. Or, c’est tout le problème de la représentation du besoin d’information de l’usager. La tâche de RI se transforme en tâche de savoir poser les questions à ces systèmes. Les écarts sont grands entre ce que nous pensons et ce qui est interprété. Stefano Mizzaro distingue 5 étapes dans cette représentation problématique :

la " chose " du monde réel qui initie ce besoin d’information

le véritable besoin d’information

le besoin d’information tel qu’il est perçu par l’usager

le besoin d’information tel qu’il est exprimé par l’usager

le besoin d’information tel qu’il est formalisé par le système

D’autre part, un usager ne va pas considérer un document comme étant pertinent s’il en connaît déjà les données ou si le parti pris ne lui plaît pas.

1.3.4. Limites des jugements de pertinence

La pertinence est une notion subjective et il paraît impensable de pouvoir la mesurer sans être arbitraire. Nous pouvons noter également que les jugements de pertinence dans le TREC opèrent de façon binaire : un document est jugé pertinent ou ne l’est pas. Pourtant, ce n’est évidemment pas toujours le cas, certains documents sont plus pertinents que d’autres qui le sont quand même. Ces degrés de pertinence dépendent encore de la disposition d’esprit de la personne ayant réellement besoin de ces documents.

2. Les pistes de réflexion ou comment rapprocher les approches-systèmes et les études-usager

D’autres méthodes d’évaluation des SRI se développent et se recoupent parfois. Nous pouvons dégager 3 grandes tendances : les expérimentations en laboratoire (approche numérique comme dans les campagnes traditionnelles), l’évaluation collaborative à partir de la simulation de tâches (contrairement aux campagnes où l’évaluation est compétitive), et l’étude de fond des usagers en action sur le terrain.

2.1. Mira et l’évaluation collaborative

Dans son article " Reflections on Mira : Interactive Evaluation in Information Retrieval ", Mark Dunlop expose les différentes théories avancées par le groupe Mira, fondé en 1996 par la Commission du Programme des Technologies et de l’Information de l’Union Européenne. Ce groupe tente de faire le lien entre les deux communautés que sont la communauté de recherche d’information, privilégiant le paradigme système, et la communauté pour l’interaction homme-machine, privilégiant le paradigme usager. Les objectifs majeurs de Mira sont les suivants : intégrer plus d’interactivité dans la recherche, améliorer le design de l’interface, aller vers des collections plus dynamiques. Autrement dit, il s’agit d’évaluer l’interaction usager-système et pas que le système. Les membres de Mira justifient souvent leur point de vue en faisant une comparaison analogique avec les constructeurs automobiles qui n’améliorent pas seulement la capacité du moteur, mais aussi le confort, la sécurité, etc.

Les participants, au cours de six ateliers et une conférence, ont essayé d’établir, dessiner des schémas d’évaluation pour différents scénarios de recherche d’informations. Contrairement au TREC, lors de ces séances, les participants pouvaient échanger librement leurs remarques, s’évaluer les uns les autres, et leurs interactions ont été filmées, puis analysées. Il s’agit donc d’une sorte de " brainstorming " d’un petit nombre de participants exécutant leurs tâches tout en discutant et sans la pression d’un chronomètre. Les résultats ne sont pas mesurables sous forme numérique, mais ces expériences ont permis de soulever de nombreux problèmes (surtout pour l’interface) et de faire avancer la recherche.

Ce même groupe Mira affirme qu’il faut développer le guidage de l’usager lors de la recherche d’informations, sous forme d’autres tâches anticipant et suivant la tâche ad hoc, comme la clarification et la formulation du besoin d’informations, l’examen du document extrait, l’explication de la méthode de recherche, avec adaptabilité aux novices et aux experts ; en exploitant les différentes techniques de dialogue et d’interaction homme-machine.

Les membres du groupe Mira soutiennent aussi les enquêtes ethnographiques qui cherchent à comprendre comment les IR sont utilisés réellement, plutôt que de leur attribuer un coefficient d’efficacité et d’utilité ; qui partent du principe qu’une technique ne peut pas seulement bien marcher ou pas du tout, mais qu’elle va montrer des variations de performance extrêmes selon le contexte, les usages et les paramètres. Ces enquêtes passent par la description et l’analyse des activités sur le lieu de travail. Elles ont montré que parfois, la fonction la plus importante des RI était la coordination des activités dans le cadre d’un travail collaboratif, et non la recherche en elle-même. S’il est possible que les usagers passent 10% de leur temps à poser et reformuler leur requête, 50% de leur temps est consacré à garder une trace de ce qu’ils ont trouvé, à trier et à voir ce qu’ils ont encore à chercher. Ce serait donc à ce niveau qu’il faudrait améliorer le système. Evaluer les besoins des usagers, mais aussi leurs objectifs et leur satisfaction. Ces études qui empruntent les techniques ethnographiques vont dans le même sens que l’approche cognitive, qui, après avoir soulever les problèmes d’usabilité auprès des usagers, les soumet aux designers de l’interface, qui cherchent alors à les résoudre selon des scénarios d’usage définis au préalable.

Nous pouvons également mentionner l’infosophie, qui s’intéresse au processus socio-technologique de la recherche d’information.

En conclusion, nous pouvons dire que le groupe Mira propose une approche transdisciplinaire de l’évaluation des systèmes de recherche d’informations, puisqu’il tend à marier la psychologie cognitive (pour l’ergonomie de l’interface), la linguistique (pour le déroulement du processus en langage naturel), et la logique, les mathématiques et les statistiques (pour l’appariement). Cette transdisciplinarité existe déjà dans le TREC mais elle privilégie de loin les sciences dures.

La réflexion du groupe Mira s’appuie également sur les travaux de Stefano Mizzaro, Jane Reid et Annelise Mark Pejtersen, commentés par Mark Dunlop dans son article " Reflections on Mira : Interactive Evaluation in Information Retrieval ".

2.2. Les 4 dimensions de Stefano Mizzaro

Stefano Mizzaro est chercheur et professeur à l’Université de Udine, en Italie.

Les campagnes d’évaluation ne prennent pas en compte le niveau des pré-requis de l’utilisateur final, or ils peuvent varier extrêmement d’un utilisateur à l’autre et le système risque de ne pas leur être adapté si on ne les prend pas en considération. Stefano Mizzaro a réfléchi à ce sujet et montre que ces pré-requis jouent sur tout le processus de recherche d’informations. En effet, plus l’usager a des connaissances pré-requises, plus la représentation du problème de l’usager sera développée, plus la tâche ira loin et sera compliquée, et plus les ressources d’informations seront à approfondir. Ces dimensions concernent donc, d’une part, la question, la requête et le besoin d’information ; d’autre part, le thème, la tâche et le contexte; et enfin, le substitut identifiant le document, le document et l’information en elle-même.

Stefano Mizzaro a aussi introduit une quatrième dimension à prendre en compte lors de ces évaluations afin de se rapprocher le plus possible de la réalité : la dimension temporelle. En effet, le point de vue de l’usager sur la pertinence d’un document change avec le temps au fur et à mesure qu’il apprend sur le sujet ; ou un document considéré comme étant d’actualité à un moment donné, ne le sera peut-être plus l’année suivante, ou le sera de nouveau dix ans plus tard.

2.3. Propositions de Jane Reid pour améliorer le corpus

Jane Reid, conférencière du département de Sciences de l’Information de l’Université de Londres, Queen Mary, tente de résoudre le problème à sa source, c'est-à-dire en s’attaquant au corpus de base. Elle donne l’hypothèse d’un résultat plus fiable, si les documents étaient sélectionnés par de réels usagers, si les usagers sélectionnaient eux-mêmes les documents pertinents et applicables à une tâche en particulier, et si le spectre du corpus de documents était plus vaste. Elle propose également de faire un sondage auprès d’un groupe d’usagers pour mesurer le taux en pourcentage de la pertinence des documents par rapport à la question donnée.

2.4. Annelise Mark Pejtersen et l’approche holistique

Annelise M. Pejtersen est chercheuse et maître de conférence à l’Université de Copenhague. Elle est partisane de l’approche holistique, selon laquelle l’usager devrait être considéré comme partie intégrante du système, lui-même venant s’inscrire dans un " métasystème " de recherche d’informations.

Le modèle d’évaluation qu’elle propose est la " méthode de l’oignon ", calquée sur le dessin que laisse apparaître une coupe transversale d’oignon. Ainsi, nous trouvons la machine au cœur de ce modèle ; un deuxième cercle concentrique représentant l’interface (caractéristiques sensorimotrices entrant en jeu, problèmes d’incompréhension des icônes, prise en compte des possibilités d’erreurs de manipulation...); un troisième, la stratégie de recherche (analytique, empirique, bibliographique, " en diagonale "...) ; un autre le guidage (aide pour l’évaluation des objectifs, pour le choix de la méthode d’exploration...) ; l’activité (la tâche) sur laquelle s’appuie cette recherche ; l’objectif personnel de l’usager (la méthode de recherche de l’usager va être différente s’il s’agit d’une publication personnelle ; du désir d’être performant afin de recevoir une promotion...) ; et enfin le dernier cercle inscrivant le tout représente le contexte général de travail.

Plus l’on va vers les niveaux externes, plus la place de l’usager est importante et légitime, et plus la méthode d’évaluation se dirige vers l’ethnographie en s’éloignant par conséquent de l’approche-système.

2.5. Les 5 domaines d’innovation de Rogers

De manière générale, le but suprême de l’évaluation des SRI est d’augmenter la probabilité qu’un système soit adopté par un maximum d’usagers. Or, paradoxalement, comme nous l’avons vu, les campagnes d’évaluation ne prennent pas assez en compte ces usagers. Pourtant les innovations doivent aller dans leur sens. Rogers propose donc une méthode d’évaluation des systèmes reposant sur 5 facteurs d’innovation déterminants pour l’acceptation de ces systèmes sur les marchés et sur lesquels doivent travailler les constructeurs (relative advantage, compatibility, complexity, triability, observability).

Le premier facteur est la supériorité relative de l’innovation, qui est mesurable (vitesse, gain économique, prestige social...). Le deuxième facteur est la compatibilité (avec la structure, les croyances et les objectifs individuels ou collectifs...). Le troisième concerne la complexité du système (difficultés d’apprentissage de la technologie, pré-requis nécessaires à son utilisation...). Le quatrième dépend des dispositifs mis en place pour tester le matériel, la facilité de testing pour le consommateur (accès à des démonstrations du système, périodes d’essai avec possibilité de se rétracter...). Enfin, le dernier facteur s’appuie sur l’efficacité prouvée des innovations du système (jusqu’à quel degré peut-on observer une amélioration).

Pour l’instant, les campagnes traditionnelles d’évaluation mesurent seulement un aspect de la supériorité relative du système.

2.6. L’approche du Case Based Reasoning (CBR)

La communauté du CBR évalue chaque étape de la recherche selon 3 critères et se dirige vers une évaluation du cas par cas:

- la satisfaction de l’usager (on peut mesurer l’adéquation de certains paramètres de l’interface avec l’usager en lui posant des questions précises),

- l’évaluation quantitative des résultats (précision, stratégie de classement, préférence de l’usager),

- évaluation de la reformulation de la requête (combien de fois est-elle reformulée, quelle est sa longueur finale par rapport à sa longueur initiale),

puis évalue la session en son entier.

3. Proposition de grille d’évaluation des Systèmes de Recherche d’Information

L’évaluation de l’interaction homme-machine est encore trop jeune pour fournir des résultats visibles. Nous voyons se dessiner ici de nouveau le schéma conflictuel sous-jacent opposant les sciences exactes aux sciences humaines, toutes les deux porteuses d’idéologies différentes.

Il n’existe pas aujourd’hui une technique qui serait la technique appropriée pour l’évaluation des SRI, mais une combinaison de toutes les techniques possibles semble nécessaire si l’on veut obtenir une évaluation qui soit la plus juste possible. Nous avons pu voir des propositions apparaissant comme efficaces en termes d’utilité et d’utilisabilité réelles, mais ces méthodes d’évaluation demandent énormément de temps et ne sont peut-être pas toutes réalisables.

De toute façon, " La pertinence [étant] un phénomène dynamique ", comme l’écrit Mizzaro, nous pouvons nous demander s’il est faisable de l’identifier en tant qu’entité à part entière, et à partir de là l’évaluer, puisqu’elle prend autant de manifestations différentes qu’il y a de situations, de tâches et d’individus.