Ocena i oszacowanie (WP6)

Celem tego pakietu roboczego jest oszacowanie technicznego sukcesu projektu w kategoriach:

Satysfakcji użytkowników
Trafności założeń technicznych.

Ocena ekonomiczna projektu jak również badanie rozpowszechniania wyników projektu będzie zadaniem podjętym w pakiecie roboczym nr 7 (WP 7) Działalność biznesowa.

Satysfakcja użytkowników: Ta część prac dedykowana jest głównie ocenie współpracy pomiędzy systemem wypracowanym w projekcie a interfejsem dostępowym dla użytkowników. Punktem wyjściowym do badań jest przyjęcie założenia, że 40% zapytań czytelników jest zduplikowanych w dwóch językach. Zakłada się, że w prototypowej wersji systemu powtórzenie tych zapytań zmaleje do 20% a docelowo będzie wynosiło tylko 10% wszystkich zapytań użytkowników.

Trafność założeń technicznych: Pomiar ten będzie opisywał zarówno możliwości systemu odnośnie inteligentnych, wielojęzycznych rozszerzeń jak i jakości tłumaczenia. Badania będą wykonane przy wykorzystaniu zestawy zapytań oraz predefiniowanych, wybranych przez użytkowników odpowiedzi, zgodnie z międzynarodowymi standardami takimi jak TREC/CLEF. Oczekujemy 20% wzrostu średniej ważonej precyzji i zwrotu (ang. F-measure precision/recall) dla prototypu systemu i 40% ostatecznie. Pokrycie wielojęzykowe powinno przejść od wyjściowego poziomu 50% jaki zapewnia standardowe tłumaczenie słownikowe aż do 80% wskutek zastosowania strategii rozszerzenia zapytań i tłumaczeń użytkownika.

Lider pakietu roboczego:

Kornik Library - Polish Academy of Sciences

Wypracowane dokumenty:

D 6.1. First validation report (technical adequacy): M15 [public report]
D 6.2. Second validation report (technical adequacy + user satisfaction): M21 [public report]
D 6.3. Final validation report (technical adequacy + user satisfaction): M24 [public report]