Estimation et Evaluation (WP6)

Le but de cette tâche est d’estimer le succès technique du projet en fonction de:

La satisfaction des utilisateurs
L’adéquation technique

Il est clair que l’estimation de l’impact économique ainsi que de la dissémination est tout aussi important. Cependant, étant donné la nature spécifique de ces estimations, nous pensons que ces mesures sont plus à leur place dans WP7 (Activités commerciales)

Satisfaction des utilisateurs:

Cette partie du travail est principalement destinée à l’évaluation de l’intégration entre l’interface utilisateur Web et le système sous-jacent. La base de comparaison sera représentée par la mesure actuelle de 40% des requêtes dupliquées en deux langues chez les bibliothèques partenaires. Ce pourcentage devrait décroître de 20% après déploiement du premier prototype, puis de 10% supplémentaire après installation du système complet.

Adéquation Technique:

Cette mesure décrit à la fois la capacité du système à effectuer des expansions multilingues intelligentes ainsi que la qualité des lexiques de traduction (soit indirectement leur adaptabilité et leur capacité à s’auto-maintenir). Des mesures seront effectuées en utilisant un ensemble de requêtes ainsi que des réponses prédéfinies choisies par des humains, selon des méthodologies internationales telles que TREC ou CLEF. A propos de l’expansion, nous tablons sur un accroissement de 20% de la F-mesure (précision+rappel) pour le prototype et de 40% pour le système déployé. De même, pour la couverture multilingue, elle devrait partir d’une valeur initiale de 50% fournies par les dictionnaires de traductions pour monter jusqu’à une valeur de 80% grâce à des stratégies d’expansion ainsi que de traductions provenant des utilisateurs.

Responsable de la tâche:

Kornik Library - Polish Academy of Sciences

Livraisons: (en anglais)

D 6.1. First validation report (technical adequacy): M15 [public report]
D 6.2. Second validation report (technical adequacy + user satisfaction): M21 [public report]
D 6.3. Final validation report (technical adequacy + user satisfaction): M24 [public report]