Sommaire

Introduction. 3

1. Présentation de quatre évaluations. 6

·      Un exemple d’évaluation universitaire. 7

·      Test Ujiko, Marianne Dabaddie, Veille Magazine. 8

·      Test Exalead par Stéphane Chaudiron, Madjid Ihadjadene et Daniel Martins. 9

·      Une étude longitudinale. 10

2. Proposition de grille d’évaluation. 13

3. Application de la grille à quatre moteurs de recherche : Google, Exalead, Ujiko et Kartoo. 16

Conclusion. 27

Bibliographie. 28

Webographie. 29

Introduction

Les moteurs de recherche ont fait leur apparition sur Internet dans le milieu des années quatre-vingt-dix. Contrairement aux annuaires dont la vocation est de recenser les sites Web, l’objectif des moteurs de recherche est d’indexer le plus grand nombre de pages Web. Ces outils permettent aux internautes de lancer des requêtes par mots-clés sur le texte intégral des pages. Leur fonctionnement est donc radicalement différent de celui des annuaires.

Un moteur de recherche est constitué de trois éléments :

-         un robot (également appelé crawler ou spider) qui parcourt le Web de façon automatique, de liens en liens. Il va tester tous les liens hypertexte qu’il rencontre et rapatrier le contenu des pages dans sa base. Il va également visiter toutes les pages soumises par les éditeurs de sites dans le cadre du référencement. Ce parcours de liens en liens à travers le Web prend environ quatre semaines. Une fois ce tour du Web effectué, le robot repart de sa base pour la mettre à jour et identifier les nouvelles pages.

-         un index qui contient tous les mots de toutes les pages rapatriées par le robot. Sont le plus souvent indexés le texte intégral de la page ainsi que ses différentes balises Méta (informations insérées par le webmaster qui donnent des indications sur la page (titre, mots-clés…) mais qui ne s’affichent pas à l’écran). Il existe néanmoins des variantes selon les moteurs.

-         un serveur web qui offre une interface de recherche utilisateur. Elle lui permet de lancer une requête par mots sur l’index du moteur avec des possibilités de recherche plus ou moins sophistiquées (recherche simple, avancée, booléenne etc…)

La recherche sur un moteur se fait par mots-clés et porte sur le texte intégral des pages rapatriées par le robot. Si l’on fait une comparaison avec une bibliothèque, la recherche avec un moteur pourrait être comparée à une recherche par mots sur le texte intégral de toutes les pages de tous les livres de la bibliothèque !

La requête lancée par l’utilisateur se fait sur les pages indexées par le robot telles qu’elles étaient le jour où le robot les a visitées et non sur les pages présentes sur le web au moment de l’interrogation. Cela explique les messages d’erreur tels que « Error 404. Page not found » qui signifie que depuis le passage du robot la page a soit disparu soit changé d’adresse. A la différence des bases de données dont l’index est structuré, et donc restreint, l’index d’un moteur de recherche est très vaste car il touche potentiellement tout le Web visible : à la date du 7 décembre 2004, Google affichait un recensement de plus de 8 milliards de pages. Ceci rend donc extrêmement difficile une évaluation, notamment si celle-ci veut prendre en compte les critères de pertinence du résultat par rapport à la requête posée. 

Les moteurs de recherche s’inscrivent dans le contexte plus large des systèmes de recherche d’informations (SRI). Cependant, il existe entre les deux des différences qui font qu’on ne peut pas les évaluer de la même façon. En effet, un SRI permet d’effectuer une requête dans un corpus fini de document. Cet outil est d’ailleurs employé en mono poste ou dans un réseau local (comme dans une entreprise). On peut donc facilement utiliser des métriques qui permettent de comparer les résultats obtenus avec ceux que l’on pourrait attendre puisque l’on connaît la base dans laquelle le SRI va puiser ses résultats. En revanche, une requête lancée avec un moteur de recherche ira chercher ses résultats parmi les millions de pages existant sur le web, et ce fonds documentaire est en constante expansion. L’immensité du réseau et son instabilité ne permettent d’indexer les pages qu’avec des robots qui répertorient de façon automatique les pages grâce à une liste de mots-clés. De plus, les SRI contiennent souvent un thésaurus ou un index qui évitent la polysémie et les ambiguïtés propres aux mots-clés utilisés pour l’indexation dans les moteurs de recherche. Comme l’a montré Lancaster, l’évaluation des systèmes de recherche d’informations correspond à l’une des pratiques évaluatives les plus anciennes dans le domaine des logiciels de traitement de l’information. Pourtant, il n’existe aucune campagne officielle d’évaluation des moteurs de recherche, alors qu’ils sont extrêmement utilisés de nos jours : un utilisateur d’Internet sur deux utilise un moteur de recherche dès sa connexion pour accéder à l’information qu’il recherche. Cranfield et TREC ont amorcé des protocoles mais ceux-ci n’ont jamais abouti. Il existe en revanche des pratiques d’évaluation non formalisées faites par des universitaires et disponibles sur Internet ou dans des revues spécialisées (Veille magazine…).

L’étude des moteurs de recherche est donc un enjeu déterminant car ceux-ci représentent le moyen principal pour accéder à l’information sur Internet. L’autre enjeu se situe sur un plan informationnel : on sait aujourd’hui combien l’information joue un rôle important dans l’amélioration de la productivité des organisations et dans la compétitivité des entreprises. Il est donc vital pour les organisations et les entreprises d’accéder rapidement à une information efficace et pertinente. On mesure ainsi les enjeux sous-jacents à toute recherche d’information et la nécessité d’évaluer correctement les moteurs de recherche pour déterminer s’ils sont adaptés ou non aux besoins des utilisateurs selon les contextes.

Lors d’une évaluation, les fonctionnalités du moteur de recherche sont évaluées. Jusqu’à présent, la plupart des évaluations ont privilégié une approche quantitative axée sur les performances techniques du moteur de recherche. Peu d’évaluations ont pris en compte les usagers. Pourtant, pour savoir si le moteur de recherche est adapté aux besoins des utilisateurs, cette prise en compte est essentielle. Cela passe notamment par la mise en évidence des problèmes éventuels qu’il est susceptible de rencontrer lors de sa recherche, ainsi qu’une analyse des différents outils mis à sa disposition pour en évaluer la pertinence et l’utilité dans la démarche de recherche (l’améliore-t-elle par exemple ?). Face à la diversité et à la singularité des requêtes, les évaluations tendent donc aujourd’hui à se situer davantage du côté de l’usager en tentant notamment de définir des comportements et des actions types.  

Dans ce dossier, nous nous proposons de présenter quatre études qui ont été proposées par des universitaires puis nous suggérerons une grille qui reprendra les critères d’évaluation les plus pertinents en se plaçant d’un point de vue usagers. Nous appliquerons dans un troisième temps cette grille à trois moteurs de recherche, Ujiko, Exalead et Google, et à un méta-moteur Kartoo.

1. Présentation de quatre évaluations

Les évaluations peuvent être menées sur deux fronts, soit en laboratoire dans un cadre réel pour étudier les moteurs de recherche puis proposer des améliorations.

Les évaluations se situant de plus en plus du côté utilisateur, il est indispensable de déterminer un profil général des utilisateurs et de leur comportements lors de la formulation d’une requête sur un moteur de recherche. Quelle est la démarche de l’utilisateur ? Quelles sont ses tactiques ? Autant de questions à prendre en compte pour améliorer le design des interfaces et les performances techniques des moteurs de recherche.

1.1. Le profil des usagers

Un grand nombre d’internautes utilisent les moteurs de recherche tous les jours. La plupart du temps, ils n’en utilisent qu’un seul.

Les requêtes lancées par une grande majorité d’usagers ne comportent qu’un, voire deux mots. Les opérateurs, parenthèses et guillemets sont le plus souvent peu utilisés et il est très fréquent de trouver des fautes d’orthographe dans la requête. De ces imprécisions, en découle une abondance d’entrée (appelée infobésité), qui peut effrayer l’utilisateur qui de toute façon lira uniquement les 10 ou 20 premières réponses.

La plupart du temps, les reformulations sont inexistantes ou, si elles existent, l’usager n’arrive pas à affiner sa recherche mais au contraire redit la même chose et obtient donc les mêmes résultats. Une étude proposée par Silverstein et Henzinger (« Analysis of a very large Web search engine query log».Technical note #1998-014, Digital SRC, Oct. 1998.) sur Altavista, montre que « près de 78% des requêtes ne sont pas modifiées. Les stratégies de reformulation manuelle sont très limitées. 10,2% des usagers ont, soit ajouté des termes, soit supprimé un ou plusieurs termes et seulement 1,4% un changement de l’opérateur ». (Madjd Ihadjadene, chapitre 14, Usages des moteurs de recherche).

La grande majorité des évaluations proposées se basent à l’heure actuelle sur un modèle novice/expert. Ce modèle, dont les limites sont développées en conclusion de cette partie, permet de déterminer plusieurs classes d’utilisateurs. Un utilisateur peut être à la fois novice dans le domaine et dans la recherche sur Internet. D’un autre côté, un utilisateur peut être novice dans le domaine mais être expert dans la recherche d’information sur le net, ou inversement. Enfin, un utilisateur peut être à la fois expert dans le domaine et dans la recherche d’information.

1.2. Exemples d’évaluations

Les évaluations suivantes permettent de comprendre comment les moteurs de recherche accompagnent l’utilisateur dans ses recherches. Ces évaluations sont d’ailleurs plus dirigées sur les performances techniques des moteurs de recherche que vraiment axées sur l’utilisateur. Malgré tout, la prise en compte de l’utilisateur se fait de plus en plus sentir.

·          Un exemple d’évaluation universitaire

Beaucoup d’évaluations se font de manière informelle et s’appliquent à des micro systèmes, en fonction des besoins rencontrés par les universitaires. Ainsi un grand nombre d’évaluations sont proposées par des universités américaines. L’exemple « Evaluating Search Engines for chemistry » (http://employees.oneonta.edu/pencehe/engineselect03.html) a été choisi pour illustrer cette démarche universitaire.

La démarche

Cet exemple est celui d’une étude faite il y a 5 ans à l’université d’Oneonta et propose d’évaluer de sept moteurs de recherche pour trouver le meilleur en recherche d’information scientifique. Trois critères ont été définis : Comprehensiveness, c’est-à-dire le nombre totale de pages indexées par le moteur de recherche, Currency, c’est à dire la fréquence les mises à jour, et enfin, efficiency, permettant de savoir si les sites les plus utiles sont les premiers à apparaître dans les résultats.

Les résultats

Cette évaluation a démontré que Google est le moteur de recherche dont les mises à jour sont les plus fréquentes. C’est donc Google qui était en 1999 le moteur de recherche le plus pertinent dans la recherche d’information pour les chimistes, car c’est lui qui offre la meilleure combinaison de comprehensiveness et de freshness (fraîcheur). Scirus, qui propose un accès en ligne à Science Direct est également très pertinent, le mieux étant donc de combiner les deux moteurs.

·          Test Ujiko, Marianne Dabaddie, Veille Magazine

Cette évaluation d’Ujiko, faite par Mme Dabaddie pour veille Magazine, montre la tendance qu’ont les moteurs de recherches contemporains à se placer d’un point de vue utilisateur et à faire le maximum pour guider l’utilisateur dans ses recherches.

La démarche de Veille Magazine

Veille Magasine a proposé un corpus de dix requêtes diverses (économie, tourisme, question de société, compétence) pour évaluer Ujiko. Pour examiner les réponses, Marianne Dabaddie s’est basée sur un rappel à dix documents, c’est-à-dire, le nombre de documents pertinents sur les dix premières réponses. Ces résultats ont été comparés avec les résultats (pour les mêmes requêtes) proposés par Google, Altavista et Yahoo.

Les résultats d’une telle évaluation

Lors de cette évaluation, les performances et les défaillances de ce tout récent moteur de recherche ont été mises en lumière.

Tout d’abord, « les plus d’Ujiko » sont : la corbeille et le coeur ainsi que le « menu contextuel » qui permettent à l’usager de personnaliser sa recherche. Ce menu permet de créer des filtres (parentaux) et de gérer le contenu de la corbeille. Il propose également un historique de toutes les requêtes abouties, des pages cliquées… Ces innovations montrent de quelle manière  les utilisateurs sont pris en compte dans l’interface proposée par Ujiko.

D’un autre côté, Ujiko, de part sa récente création, rencontre surtout des problèmes d’ordre technique. Tout d’abord, si un site a été marqué d’un cœur il n’est plus possible de l’enlever. L’utilisateur doit donc être très pertinent dans son choix. De plus la navigation est limitée : si on utilise la touche précédente, la requête est perdue (les boutons précédent/suivant sont donc inutilisables). Des sponsors sont particulièrement présents, liens qu’il est d’ailleurs impossible de supprimer.

La conclusion de Veille Magasine est très enthousiaste. En effet, le souci d’Ujiko d’être plus proche des usagers est vivement apprécié et Ujiko semble avoir plutôt bien rempli son contrat.

Même si le déroulement de cette évaluation a été réalisée en laboratoire les performances techniques au service de l’utilisateur sont largement prises en compte et cette évaluation reste dirigée côté utilisateur.

·          Test Exalead par Stéphane Chaudiron, Madjid Ihadjadene et Daniel Martins

La démarche

L’innovation d’Exalead est de catégoriser les résultats d’une requête en mots-clefs et rubriques, ces résultats étant analysés statistiquement. Ces catégories constituent une aide importante pour un utilisateur qui souhaiterait affiner sa recherche.

L’étude proposée par les auteurs cités est basée sur le modèle Expert/Novice. Une grande majorité d’évaluations sur les moteurs de recherche demande à des étudiants de les tester en essayant de trouver des réponses à des requêtes bien précises. Ainsi, 46 étudiants ont participé à cette étude, 24 étudiants en psychologie et 22 dans d’autres disciplines. Parmi eux, 10 étaient novices dans l’utilisation du Web et 12 étaient experts, ayant suivi des cours en sciences de l’information ou travaillé dans une bibliothèque. Ces étudiants devaient répondre à 8 questions sur des définitions de psychologie, sans aucune contrainte de temps.

Les résultats

L’analyse des résultats de cette évaluation a montré que les utilisateurs peuvent avoir des comportements complètement différents par rapport à la recherche d’information. Soit l’usager abandonne avant de trouver la réponse, soit il trouve une réponse n’ayant aucun rapport avec la demande, soit il trouve une réponse plus ou moins pertinente soit il trouve une réponse tout à fait pertinente.

Par rapport à l’innovation apportée par Exalead, à savoir les informations données par catégories à gauche de l’écran, il s’avère que les étudiants ont eu du mal à comprendre l’utilité d’une telle fenêtre. Ils ne l’ont que très rarement utilisée, ne la juge pas pertinente et n’estime pas qu’elle permette un gain de temps. Cela s’est ressenti plus fortement chez les novices dans le domaine.

Le nombre de pages que l’utilisateur a ouvertes, le nombre de reformulations et le temps total pour compléter une requête ont également été mis en évidence grâce à cette évaluation.

Les étudiants experts en psychologie et les étudiants familiarisés avec l’Internet ont eu de meilleurs résultats que les novices. D’une manière générale, les experts du Web ont tendance à reformuler plus souvent leurs requêtes que les novices, le manque de connaissances techniques étant un gros problème pour eux.

Cette évaluation, basée sur le modèle Novice/Expert, montre bien que chaque utilisateur en fonction de son expérience (soit sur le Web, soit dans le domaine) n’aura pas du tout les mêmes facilités pour trouver des informations.

·          Une étude longitudinale

Beaucoup d’évaluations, appelées « cross-sectionnal », se basent sur le modèle Novice/Expert pour tester les moteurs de recherche. Par contre très peu d’entre elles proposent également une étude longitudinale.

La démarche

De telles études prennent en compte non seulement le vécu des usagers mais en s’étalant sur plusieurs semaines ou mois, permettent de suivre l’évolution des usagers dans leurs recherches sur Internet. De telles études sont appelées « real world Web information searching », expression qui met en valeur la volonté de ces évaluations à reproduire des situations réelles de recherche d’information sur le Web.

206 étudiants d’une institution de hautes études du Royaume-Uni (98 hommes, 108 femmes) se sont prêtés à l’expérience pendant 10 mois. Ils ont été préférés à des étudiants de sciences ou de sciences de l’information pour que leurs prérequis dans le domaine ne viennent pas parasiter les résultats. Tous les étudiants travaillent le même nombre d’heures et ont les mêmes disponibilités. Les données sont collectées par un système (appelé Web transaction log) qui enregistre toutes les manipulations effectuées par l’usager (feedback) ainsi que les résultats du système.

Cette analyse longitudinale repose essentiellement sur le « condtionnal regression model ». Il est utilisé pour mesurer un changement de comportement d’un individu dans le temps. Le relevé des données laissées par les étudiants se fait à intervalle régulier puis est analysé pour en faire ressortir les évolutions de chacun des individus ainsi que les comportements de masse.

Les résultats

L’analyse des résultats a permis de montrer qu’il y a deux façons de chercher de l’information sur le Web. D’un côté « the analytical strategy » aussi appelé « querying » est la recherche pure réalisée uniquement en visitant les pages proposées par le moteur de recherche. L’autre stratégie est appelée « Browsing » ou encore « link-cliking » (navigation). Dans ce deuxième cas de figure, l’usager trouve les informations en cliquant sur les différents liens proposés dans différentes pages. Cette manière de rechercher de l’information peut être beaucoup plus longue et moins pertinente. 

Le « Web host conformance » est l’étude de la similarité des sites visités par un utilisateur comparés aux sites visités par tous les autres utilisateurs. Plus le temps passe, plus les usagers se détournent des sites les plus visités pour aller vers des sites moins connus. Il y a une première phase où tous les utilisateurs se situent tous dans les trente sites les plus populaires. Puis, l’utilisateur acquérant de l’expérience, il prend des chemins détournés et réalise de manière plus personnalisée une recherche d’informations.

Deux conclusions sont mises en évidence par cette étude. Il y a d’une part une véritable évolution dans la recherche d’information de la part de l’usager. Plus il utilise les moteurs de recherche, plus il sera rapide et efficace. D’autre part, un effet de « commonality » est visible. Il s’agit du fait qu’il existe une grande homogénéité dans les sites Web visités.

1.3. Les limites du modèle novice /expert

Certaines évaluations de moteurs de recherche basées sur ce modèle montrent que les experts ont beaucoup plus de facilité à formuler et reformuler leurs requêtes ainsi qu’à utiliser les fonctionnalités proposées par les moteurs de recherche. Ils sont aussi beaucoup plus rapides que les novices qui vont passer plus de temps à dénicher les documents vraiment pertinents. Lazonder a démontré que le vécu de l’utilisateur sur l’Internet joue un rôle important dans la recherche d’information. D’autres études, pour lesquelles les personnes avaient les mêmes connaissances dans le domaine mais pas les mêmes compétences dans l’utilisation du Web, ont prouvé que la différence n’est pas très grande : les deux groupes ont tendance à ouvrir un nombre élevé de pages non pertinentes.

De même, des études ont montré que la bonne connaissance du domaine sur lequel se fait la requête ne joue pas un rôle très important et que la différence entre novices et experts (rapidité et qualité de la requête) n’est pas significative.

Le modèle novice/expert sur lequel se fondent beaucoup d’évaluations est très limité car différentes études donnent des résultats diamétralement opposés. De même que la notion de pertinence est sujette à discussion, la frontière entre novice et expert n’est pas toujours facile à établir. Il ne faudrait toutefois pas tomber dans la critique sans nuance. Le modèle novice/expert, sans pour autant être infaillible comme on vient de le montrer, propose un affinage des résultats en croisant différents éléments. En effet, les termes « novice » et « expert » s’appliquent de manières différentes. Il y a un d’un côté les novices dans le maniement de l’Internet, de l’outil informatique (pour résumer, dans le processus de recherche d’informations) et les experts correspondants et d’un autre côté les novices dans le domaine de connaissance dont on recherche des informations et les experts dans ce domaine. On peut donc logiquement dégager quatre catégories de personnes facilement croisables pour affiner les résultats d’études. Mais en fonction des évaluations,  les conclusions diffèrent, ce qui montre à quel point il est difficile d’évaluer les moteurs de recherche en s’appuyant uniquement sur ce modèle là.

2. Proposition de grille d’évaluation

2.1. Présentation de la grille

Comme nous l’avons dit dans l’introduction, il est difficile d’évaluer les moteurs de recherche. En effet, comment indexer de façon pertinente et comment retrouver une information fiable au sein d’un réseau aussi grand ? Les moteurs de recherche sont employés par de nombreux usagers qui doivent opérer un tri parmi les résultats obtenus à partir d’une requête alors qu’un SRI permet à un utilisateur de ne répertorier que les informations jugées stratégiques. Seules deux métriques pourraient éventuellement être utilisées lors de l’évaluation de moteurs de recherche, l’Expected Search Length et la précision. Le rappel, métrique souvent utilisée pour mesurer l’efficacité d’un système de recherche d’information, est extrêmement compliqué (voire impossible) à utiliser dans ce cas là. En effet, le rappel se base sur le rapport entre le nombre de documents pertinents retrouvés sur le nombre de documents pertinents existants. Or, comment connaître le nombre total de documents pertinents trouvables sur un réseau aussi vaste ? L’évaluation est donc contrainte de se limiter aux deux métriques citées plus haut. La précision est effectivement plus facilement utilisable car elle se calcule en faisant le rapport du nombre de documents pertinents trouvés sur le nombre total de documents proposés par le résultat de la recherche. Il est ici plus facile de dégager quels sont les documents « intéressants » et de les confronter au nombre total de documents (parfois gigantesque) proposé par un moteur. Mais là encore, l’utilisation de cette métrique est ambiguë car elle joue sur la connaissance préalable de ce que souhaite trouver l’utilisateur. Le moteur n’est pas censé connaître les besoins en information de l’utilisateur avant même qu’il tape sa requête. Ce constat pose le problème de la formulation des requêtes. Il faut faire la différence entre recherche d’information et requête. L’autre métrique que l’on a évoquée est l’E.S.L. Elle consiste à mesurer le nombre de pages (ou du nombre de liens) que l’utilisateur doit parcourir avant de trouver un résultat pertinent. Cette métrique est plus facilement manipulable car elle ne nécessite pas de connaître le nombre total de réponses à une requête ou bien le nombre de documents pertinents existants au total. Mais là encore, cette métrique est imparfaite et peut être amenée à être contestée.

En tenant compte des limites évoquées précédemment, nous avons établi une grille d’évaluation des moteurs de recherche. Cette grille a été établie en prenant pour référence l’article de Javed Mostafa[1] paru en août 2004 dans la revue JASIST. Pour créer cette grille d’évaluation, nous avons choisi de nous placer dans un contexte de veille marketing et de développer cinq critères essentiels :

-                           L’aide à la formulation de requêtes : elle permet à l’utilisateur d’approfondir sa recherche, et donc de trouver plus de documents pertinents. Dans un contexte de veille marketing, il est important de limiter le nombre de documents non pertinents trouvés par un moteur de recherche lors d’une requête.

-                           Les outils pour approfondir la recherche : le web étant un fonds en constante expansion et évolution, il semble essentiel de voir si les moteurs de recherche proposent des outils pour approfondir la recherche d’information. Le cas échéant, comment ceux-ci se déclinent-ils ? Ce critère d’évaluation est complémentaire du précédent.

-                           La présentation des résultats : le rôle stratégique qu’occupe l’information dans une entreprise oblige à trouver rapidement les documents nécessaires à des prises de décision d’ordre économique. La mondialisation et le développement croissant de la concurrence, ainsi que le nombre élevé d’informations à trier imposent aux organisations de repérer les informations pertinentes avant les autres concurrents. C’est la raison pour laquelle la présentation des résultats est déterminante.

-                           L’ergonomie d’un moteur de recherche : elle est déterminante dans le sens où des difficultés de navigation pourront décourager un usager ou l’amener difficilement à trouver les informations pertinentes. Ainsi, une des métriques possibles pour l’évaluation de moteurs de recherche prend en compte le nombre de pages sur lesquelles un usager va cliquer avant d’accéder au contenu qu’il recherche.

-                           Le dernier critère utilisé concerne les performances techniques des moteurs de recherche. Cet aspect semble déterminant dans un contexte de veille marketing. En effet, il permet de voir si un moteur de recherche propose des outils de traduction. Le web français ne constituant que 10% environ du réseau Internet, un accès facilité aux pages rédigées dans une langue étrangère peut représenter un critère majeur d’évaluation.

2.2. Grille d’évaluation proposée

3. Application de la grille à quatre moteurs de recherche : Google, Exalead, Ujiko et Kartoo

3.1. Google

Google a été créé en 1998 par deux étudiants américains. Très rapidement, il s’impose comme le moteur de recherche de référence. Par son interface sobre et la qualité de son référencement, Google reste jusqu’à aujourd’hui l’outil le plus fiable sur le marché.

Si l’on reprend dans l’ordre, les cinq grandes catégories définies dans la grille d’évaluation ci-dessus, on constate que Google propose une reformulation de la requête lors que celle-ci comporte une orthographe approximative ou si un trop petit nombre de résultats est proposé. Il existe une aide mais celle-ci n’est pas explicite lorsque l’on se trouve sur l’interface du moteur. Il faut cliquer à plusieurs reprises depuis le bouton « à propos de Google » pour obtenir des explications sur la façon de formuler les requêtes.

Google propose une recherche avancée qui permet de cibler davantage sa requête. On peut également approfondir la recherche à partir des résultats obtenus. Le moteur de recherche propose aussi de paramétrer ses « préférences » pour le choix de la langue de l’interface et celle(s) dans laquelle effectuer la recherche ainsi que pour le nombre de résultats que l’on souhaite voir apparaître à l’écran. Google propose également dans sa version Bêta la création d’alerte que l’utilisateur peut paramétrer (création d’un profil). En programmant la fréquence de ces alertes, l’utilisateur est alerté chaque fois que le moteur indexe une page susceptible de l’intéresser. L’historique des recherches n’est disponible que si l’on a téléchargé la Google Toolbar. Il n’est pas disponible si l’on fait sa recherche depuis l’interface web.

Google propose dans sa liste de résultats des documents à des formats divers (Word, Powerpoint, pdf…). Ces résultats se présentent sous forme de liste avec un extrait de la page dans lequel se trouvent les termes de la requête qui a été entrée. Cet extrait permet de voir les termes de la recherche dans leur contexte et de déterminer ainsi si ce contexte convient à l’utilisateur avant de cliquer sur le lien pour afficher la page. Ce n’est donc pas un résumé à proprement parler mais dans un contexte de veille, il peut être intéressant de se faire soi-même une idée du contenu plutôt que de se fier à un résumé parfois très éloigné du contenu réel. 

Si l’on se place du point de vue de l’ergonomie, on peut dire que l’interface Google par son dépouillement ne pose pas de problème majeur de repérage pour un utilisateur non initié. On peut d’ailleurs regretter que l’aide ne soit pas plus explicitement visible. Ce type d’interface assez neutre a été copié par la suite par de nombreux concurrents de Google qui ont revu l’ergonomie de leur interface pour la rendre plus accessible.

Google ne propose pas de cross-language dans ses résultats et c’est sans doute ce qui limite son utilisation dans un contexte de veille marketing. En revanche, il propose un outil de traduction, ce qui permet de faire une requête dans une langue étrangère puis de demander la traduction des pages trouvées pour avoir une idée de ce qui se fait ailleurs en matière de marketing. Attention, cependant, car le nombre de langues traduites est limité.

En conclusion, on peut dire que Google reste un bon outil de recherche même s’il commence à être limité sur certains points pour une utilisation dans un contexte de veille marketing. De nouveaux outils font leur apparition et seront pour certains sans doute plus adaptés à une utilisation dans un tel contexte.

3.2. Exalead

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Ce moteur de recherche a été créé en 2000 par une équipe d’ingénieurs issue de l’Ecole des Mines de Paris. Leur but premier est d’offrir aux internautes un outil d’accès à l’information « standard ». L’objectif de ce moteur de recherche est de se démarquer de ceux plus connus comme Google en offrant de nouvelles fonctionnalités.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Si l’on reprend la grille, il semble important de noter que ce moteur de recherche offre plusieurs aides à la reformulation de requêtes. Ainsi, il existe un mode de recherche nommé « racines de mot » qui permet de ne pas se limiter à la requête qui a été rédigée par l’usager. Cette fonctionnalité permet en effet de rechercher l’ensemble des documents comportant les variantes du terme employé lors de la requête. De même, la « recherche phonétique » rapproche les termes de la recherche à ceux dont l’écriture ou la prononciation est proche. Il est donc possible de modifier la recherche par défaut.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Afin d’approfondir les recherches d’informations, Exalead propose plusieurs fonctionnalités. En premier lieu, il est possible d’employer des opérateurs booléens, parfois spécifiques à ce moteur de recherche. Ainsi, il existe les guillemets afin de retrouver une expression précise ; des opérateurs de proximité (« NEAR » et « NEXT ») qui permettent de retrouver deux termes à condition qu’ils soient distants de moins de seize mots. Le signe « + » suivi d’un terme fait que le moteur de recherche sélectionne les documents dans lesquels le terme est strictement identique d’un point de vue orthographique. Le signe « - » et l’opérateur « NOT » excluent un terme de la recherche. La véritable originalité de ce moteur de recherche est de pouvoir utiliser un opérateur comme « OPT » qui permet d’associer deux termes de façon optionnelle. Hormis les opérateurs booléens, Exalead propose de rechercher les termes d’une requête dans une langue précise, à partir du préfixe d’un terme, ou dans le titre de la page. Enfin, les documents peuvent être triés par date ou nom de domaine.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">En ce qui concerne l’ergonomie du site, l’ensemble des pages sont de couleurs bleue et grise, avec un affichage des résultats sur fond blanc. Par ailleurs, les résultats sont présentés de la manière suivante : à gauche une liste de termes associés à ceux de la requête, au centre les résultats de la recherche avec un lien et quelques lignes de la page trouvée, et à droite une visualisation des écrans des sites retrouvés par le moteur de recherche. Cette configuration de l’écran peut être modifiée par l’utilisateur afin de ne visualiser que le lien retrouvé par le moteur accompagné d’une capture d’écran du site. La dernière configuration possible propose la présentation de sites sans capture d’écran. En revanche, Exalead ne propose pas d’arborescence des résultats des requêtes.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">En ce qui concerne les performances techniques, ce moteur de recherche ne possède pas d’outil de cross-language, mais collabore avec la société Systran afin de traduire les pages trouvées dans une langue étrangère. Enfin, la vitesse de téléchargement semble moins rapide par rapport aux autres moteurs de recherche.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Par conséquent, Exalead se distingue des autres outils analysés par sa volonté de se démarquer des outils de recherche d’information en créant de nouvelles fonctionnalités. Ces nouvelles fonctionnalités peuvent être particulièrement intéressantes dans un contexte de veille marketing notamment les différents modes de recherche et la variété des opérateurs proposés.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt">

3.3. Ujiko

Le tout récent moteur de recherche Ujiko (dont le nom vient de la proximité des lettres sur le clavier), lancé en Avril 2004, dispose de la technologie Yahoo search. En effet, Ujiko interroge l’index de Yahoo search et propose plus de 4 milliards de documents que l’utilisateur peut commenter, classer, noter…

Pour Laurent Baleydier (créateur de Kartoo et Ujiko), la véritable innovation de la technologie d’Ujiko est qu’elle peut « se greffer sur n’importe quel moteur de recherche. » Cette innovation apportée par Ujiko (développée précédemment avec l’évaluation de Veille Magazine) est matérialisée par le cœur et la corbeille : le cœur permet de noter et de garder les résultats pertinents en mémoire et la corbeille est un filtre pour supprimer les résultats ne correspondant pas à la requête.

L’application de la grille proposée en deuxième partie permet de mieux comprendre quels peuvent être les atouts et les inconvénients d’Ujiko dans un contexte de veille marketing. Contrairement à Google, Ujiko ne dispose pas d’outils terminologiques et ne propose pas de reformulation. Ce moteur de recherche ne dispose pas en soi d’un système d’aide à la recherche mais propose, sous la forme d’une démo et d’une rubrique d’aide, des explications de ses performances et une utilisation de ses atouts.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">De plus, Ujiko, ne disposant pas de dispositif de recherche avancée, ne permet pas à l’utilisateur de redéfinir et d’affiner sa recherche. Par contre, la technologie Ujiko propose à l’utilisateur un historique très performant. En effet, chaque page visitée est mémorisée sur l’ordinateur de l’utilisateur. Un bouton en forme de montre permet d’accéder à l’historique des dernières recherches effectuées. Il est également possible d’effacer des pages de la mémoire ou encore de décider des sites qu’on ne souhaite pas voir apparaître dans la mémoire. Ujiko se fait un point d’honneur à respecter la vie privée de chaque utilisateur et la protège en stockant les données sur l’ordinateur pour que l’utilisateur soit le seul à y avoir accès. Le profil de l’utilisateur est pris en compte grâce au cœur et à la corbeille.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Les résultats affichés proposent des formats variés mais il n’est pas évident de les repérer. Un autre inconvénient est la présence dans les premiers résultats des sponsors qu’il n’est ni possible de déplacer ni possible de mettre dans la corbeille. Chaque page est décrite par un extrait de la page qui, comme Google, reprend les éléments présents dans la requête.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.45pt; LINE-HEIGHT: 150%">Au niveau ergonomique, l’interface d’Ujiko reprend le style épuré proposé par Google. L’interface sobre et le choix du blanc et de couleurs brunes et orangées rendent l’utilisation d’Ujiko agréable. Par contre la navigation n’est pas toujours facile car la visualisation dépend en grande partie du paramétrage de l’écran. L’interface n’est donc pas adaptée à tous les types d’écran. Ujiko ne propose pas d’arborescence.

Au niveau des performances techniques, Ujiko est moins développé que les autres moteurs de recherche. Le téléchargement est aussi rapide que sur Google et Exalead. Par contre Ujiko ne dispose ni du cross-language, ni d’un outil de traduction.

Ujiko propose moins d’outils que d’autres moteurs de recherche. L’importance semble être donnée à l’innovation apportée par le cœur et la corbeille. Par contre si on se place uniquement dans un contexte de veille marketing, Ujiko n’est sans doute pas le moteur de recherche le plus performant et le plus adapté.

3.4. Kartoo

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">Kartoo est un métamoteur de recherche lancé en avril 2001. Il a été élaboré par une petite équipe (cinq personnes) située à Clermont-Ferrand qui avait l’ambition de concurrencer Copernic en misant sur la convivialité des cartes générées.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%; TEXT-ALIGN: center" align="center">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">Une page de Kartoo se présente comme suit : au centre, les pages les plus proches de l’objet de la recherche. Chaque site voit sa pertinence notée par la taille de l’icône qui la représente. La pertinence est basée sur le niveau de référencement de chacune des pages. Kartoo aiguille ses recherches en fonction des requêtes : pour une recherche simple (un seul mot), il interrogera plutôt Google, pour des requêtes plus complexes (avec opérateurs booléens), Altavista, pour des requêtes en langage naturel, MSN. En mode automatique, Kartoo traduit la requête dans la syntaxe propre à chaque moteur.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">            Au niveau de la formulation des requêtes, Kartoo propose de préciser la recherche en cliquant sur des termes associés à gauche de l’écran. Dans son aide, Kartoo dresse la liste des opérateurs que l’utilisateur peut employer.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; TEXT-INDENT: 35.4pt; LINE-HEIGHT: 150%">La pertinence est gérée par Kartoo en calculant le classement des pages dans chaque moteur. Ce système est encore imparfait car un site personnel mal référencé mais qui cadre bien avec le sujet n’apparaît pas, et inversement.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">            Du fait de son statut de métamoteur, le bruit généré par Kartoo est issu du bruit propre à chacun des moteurs visités même si les sites présentés sont mieux triés par Kartoo. Pareillement, le silence est moindre car une requête amène le résultat de plusieurs moteurs.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">            Les résultats sont proposés sous forme de fichiers PDF, DOC ou XLS. Les pages présentées sont introduites par les premiers mots de ces pages. Ces résultats prennent la forme d’une arborescence des pages les plus intéressantes. C’est d’ailleurs ce qui fait la renommée de Kartoo. Cette présentation des résultats est très réfléchie car elle mêle différentes présentations de l’information : pertinence, liens entre les pages, proximité par rapport au sujet de la requête. De plus, il n’y a pas qu’une carte par requête mais plusieurs pages de cartes comme les pages de résultats d’un moteur classique. Enfin, la colonne à droite de l’écran propose une courte liste de sites en rapport avec la requête.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%; TEXT-ALIGN: center" align="center">

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">           

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">Au niveau de l’approfondissement des requêtes, on constate qu’il n’y a pas de mode de recherche avancée. Kartoo propose simplement d’activer un filtre parental ou de sélectionner soi-même les moteurs à interroger. Par contre, le cross-language n’est pas utilisé. Il n’y a pas non plus de système de traduction des pages en résultat. Il propose toutefois un système d’historique où l’on peut retrouver les recherches effectuées, les pages sur lesquelles l’utilisateur a cliqué, les recherches les plus fréquentes effectuées par tous les utilisateurs de Kartoo. Il est aussi possible d’enregistrer la carte générée par Kartoo, de soumettre un site à une surveillance et une évaluation de la part de l’usager. On ne peut par contre pas véritablement créer de profil mais il est toutefois possible de paramétrer complètement le système de recherche.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">            Pour ce qui est de l’ergonomie, la page de requête de Kartoo est issue de la mode des moteurs à interface allégée. Par contre la page de résultat est assez chargée mais bien structurée.

Normal Justifi" style="MARGIN: 0cm 0cm 0pt; LINE-HEIGHT: 150%">            La vitesse de chargement d’une page de résultat est assez lente. Kartoo est en effet victime de son succès ; s’il y a un trop grand nombre de connexions simultanées, le temps nécessaire pour chaque requête est plus long.

Conclusion

La plupart des évaluations aujourd’hui tendent à se situer du point de vue de l’utilisateur mais il y a encore du chemin à faire avant d’aboutir à de véritables campagnes d’évaluation des moteurs de recherche, comme TREC ou CLEF pour les SGBD. En effet, de vrais protocoles d’évaluation sont difficiles à mettre en place car le Web étant en expansion constante, ceux-ci demeureraient valables et précis très peu de temps. De plus, les métriques traditionnelles s’appliquent difficilement dans ce cadre. Le rappel par exemple est impossible à calculer pour un corpus non fini. Dans les quelques évaluations qui ont été menées, les chercheurs ont utilisé les métriques de précision, avec toutes les réserves liées à la question de la prise en compte du besoin de l’usager, et de l’ESL.

Les chercheurs font de plus généralement appel à des étudiants ou des professionnels de l’information pour les démarches d’évaluation qu’ils entreprennent et il y aurait nécessité d’élargir ce public et de prendre en compte d’autres catégories socio-professionnelles et le grand public.

Les moteurs de recherche sont très utiles pour trouver des informations sur Internet mais les études montrent qu’ils restent finalement mal adaptés aux usagers novices et aux usagers experts car ils essaient de contenter les deux types de public.

Faudra-t-il envisager à termes des moteurs de recherche différents selon les publics visés pour satisfaire tout le monde ?

Bibliographie

Partie de monographie :

IHADJADENE, Madjid. Usages des moteurs de recherche. In CHAUDIRON, Stéphane (sous la dir.). Évaluation des systèmes de traitement de l'information. Paris : Hermès science publication : Lavoisier, 2004. 375 p.

Articles :

Cothey, Vivian. A longitudinal Study of World Wide Web Users’ Information-Searching Behavior. Journal of the American Society for Information Science and Technology, 2002, vol. 53, n°2, pp.67-78.

DABBADIE, Marianne. Ujiko, un moteur de recherche orienté utilisateur. Veille Magazine, n°77, septembre 2004, pp.12-13

IHADJADENE, Madjid, CHAUDIRON, Stéphane, MARTINS Daniel. The effect of the individual differences on searching the web. In ASIST. Annual meeting “Humanizing Information Technology”, octobre 2003, Long Beach (USA).

MOSTAFA, Javed. Document Search Interface Design : Background and Introduction to Special Topic Section. Journal of the American Society for Information Science and Technology, 2005, vol. 54, n°10, pp.869-872.

SPINK Amanda. Introduction to the Special Issue on Web Research. Journal of the American Society for Information Science and Technology, 2002, vol. 53, n°2, pp.65-76.