Publikation: Contrasting offline and online results ...
Stammdaten
Titel: | Contrasting offline and online results when evaluating recommendation algorithms |
Untertitel: | |
Kurzfassung: | Most evaluations of novel algorithmic contributions assess their accuracy in predicting what was withheld in an offline evaluation scenario. However, several doubts have been raised that standard offline evaluation practices are not appropriate to select the best algorithm for field deployment. The goal of this work is therefore to compare the offline and the online evaluation methodology with the same study participants, i.e. a within users experimental design. This paper presents empirical evidence that the ranking of algorithms based on offline accuracy measurements clearly contradicts the results from the online study with the same set of users. Thus the external validity of the most commonly applied evaluation methodology is not guaranteed. |
Schlagworte: |
Publikationstyp: | Beitrag in Sammelwerk (Autorenschaft) |
Erscheinungsdatum: | 2016 (Online) |
Erschienen in: |
Proceedings of the 10th ACM Conference on Recommender Systems
Proceedings of the 10th ACM Conference on Recommender Systems
(
ACM Digital Library;
)
zur Publikation |
Titel der Serie: | - |
Bandnummer: | - |
Erstveröffentlichung: | Ja |
Version: | - |
Seite: | S. 31 - 34 |
Versionen
Keine Version vorhanden |
Erscheinungsdatum: | 2016 |
ISBN (e-book): |
|
eISSN: | - |
DOI: | http://dx.doi.org/10.1145/2959100.2959176 |
Homepage: | http://dl.acm.org/citation.cfm?id=2959176 |
Open Access |
|
Zuordnung
Organisation | Adresse | ||||
---|---|---|---|---|---|
Fakultät für Technische Wissenschaften
Institut für Artificial Intelligence und Cybersecurity
|
AT - A-9020 Klagenfurt |
Kategorisierung
Sachgebiete | |
Forschungscluster | Kein Forschungscluster ausgewählt |
Peer Reviewed |
|
Publikationsfokus |
Klassifikationsraster der zugeordneten Organisationseinheiten:
|
Arbeitsgruppen | Keine Arbeitsgruppe ausgewählt |
Kooperationen
Forschungsaktivitäten
(Achtung: Externe Aktivitäten werden im Suchergebnis nicht mitangezeigt)
Projekte: | Keine verknüpften Projekte vorhanden |
Publikationen: | Keine verknüpften Publikationen vorhanden |
Veranstaltungen: | Keine verknüpften Veranstaltung vorhanden |
Vorträge: | Keine verknüpften Vorträge vorhanden |