Evaluation und Bewertung (WP6)

Das Ziel dieses Arbeitspakets ist eine Auswertung des technischen Erfolgs des Projekts anhand von

Zufriedenheit der Benutzer
technische Adäquatheit

Selbstverständlich sind auch die Auswertung von kommerziellem Erfolg und Verbreitung wichtig, doch werden diese im Rahmen von Arbeitspaket 7 (Geschäftstätigkeit) behandelt.

Zur Auswertung der Benutzerzufriedenheit wird in erster Linie die Integration des Web-Interfaces mit dem darunterliegenden System betrachtet. Von den Partnerbibliotheken haben wir als Ausgangsstatistik einen Wert von 40% an duplizierten Suchanfragen bei zwei Sprachen. Dieser Wert sollte beim ersten Prototypen auf 20% und bis auf 10% bei der Endversion sinken.

Die technische Adäquatheit beschreibt sowohl die Fähigkeit des Systems, intelligente mehrsprachige Erweiterungen vorzunehmen, als auch die Qualität der Übersetzungsregeln und -lexika (und damit indirekt auch die Anpassungs- und Wartungsmöglichkeiten). Sie wird gemessen anhand einer Reihe von Suchanfragen und vorgegebenen, manuell ausgewählten Ergebnissen, wie sie in gängigen internationalen Evaluierungsverfahren, wie z.B. TREC/CLEF verwendet werden. Für die Erweiterung von Suchanfragen ewarten wir eine Verbesserung der F-measure (Trefferquote und Genauigkeit) von 20% beim Prototypen und 40% beim angewandten System. Die mehrsprachige Abdeckung soll mithilfe von Anfrageerweiterung und benutzerbasierten Übersetzungen von einem Grundwert von 5O% bei gängigen Übersetzungswörterbüchern auf 80% gesteigert werden.

Verantwortlich für das Arbeitspaket:

Kornik Library - Polish Academy of Sciences

Deliverables: (auf Englisch)

D 6.1. First validation report (technical adequacy): M15 [public report]
D 6.2. Second validation report (technical adequacy + user satisfaction): M21 [public report]
D 6.3. Final validation report (technical adequacy + user satisfaction): M24 [public report]