Publication: On the discrepancy between rater-percei...
Master data
| Title: | On the discrepancy between rater-perceived and Empirical Item Difficulty. Standardsetting for the receptive skills in the Austrian Educational Standards Tests for English |
| Subtitle: | |
| Abstract: | This contribution examines the discrepancy between empirical item difficulty and estimates of item difficulty made by raters in the context of linking items of the receptive skills to the CEFR, more specifically items for reading and listening in the Austrian Educational Standards Tests for English in grade 8. All approaches to standardsetting carry with them two potential sources of imprecision. One of these results from differences in rater severity leading to diverging estimates of item difficulty. The other source of imprecision results from the discrepancy between empirical and rater-estimated item difficulty. This contribution describes two approaches to defining cutscores in a transparent way in order to place test takers at a CEFR level despite the discrepancy between empirical and estimated item difficulty. Both involve defining thresholds for locating items on the CEFR scale. The standardsetting procedure contains three phases. First Raw Difficulty Estimates are obtained by raters using a modified Angoff procedure. Then empirical item difficulties are obtained from field testing procedures. Eventually two approaches, the Fuzzy Interval Approach and the Regression Approach, are described, which enable cutscores to be defined despite the discrepancy between estimated and empirical item difficulty. |
| Keywords: |
| Title: | Die Diskrepanz zwischen geschätzter und empirischer Itemschwierigkeit. Zur Setzung von Kompetenzstufen für die rezeptiven Fertigkeiten in den östereichischen Bildungsstandards |
| Subtitle: | |
| Abstract: | Dieser Beitrag thematisiert die Diskrepanz zwischen empirischer und durch Assessoren eingeschätzter Itemschwierigkeit am Beispiel der Kompetenzstufensetzung im GERS für die rezeptiven Fertigkeiten in der Standardstestung für Englisch in der achten Schulstufe. Es gibt verschiedene Ansätze zur Setzung von Kompetenzstufen (Standardsetting), die jedoch alle zwei Arten potentieller Unschärfen implizieren. Die eine resultiert aus Unterschieden in der Strenge der Assessoren und führt dazu, dass Items als unterschiedlich schwierig eingeschätzt werden. Die andere Unschärfe resultiert aus der Diskrepanz zwischen tatsächlicher (empirischer) und durch die Assessorinnen eingeschätzter Itemschwierigkeit. Der vorliegende Artikel beschreibt zwei Ansätze, die es ermöglichen, trotz vorhandener Diskrepanz zwischen wahrgenommener und empirischer Itemschwierigkeit zu nachvollziehbaren Kompetenzstufensetzungen zu gelangen und Testteilnehmer in ein GERS Niveau für Leseverstehen und Hörverstehen einzuordnen. Dafür müssen Thresholds für die Einstufung der Items auf der GERS-Skala definiert werden. Das Verfahren zur Kompetenzstufensetzung beinhaltet drei Schritte. Zunächst werden mittels einer modifizierten Angoff-Prozedur auf der Basis der Einschätzung durch die Assessoren Raw Difficulty Estimates bestimmt. Sodann werden aus Testadministrationen Empirical Item Difficulties ermittelt. Schließlich werden unter Anwendung von Prinzipien der probabilistischen Testtheorie zwei Verfahren, der Fuzzy-Intervall Ansatz und der Regressionsansatz, beschrieben, die es ermöglichen, angesichts der Diskrepanz zwischen geschätzter und empirischer Itemschwierigkeit Kompetenzstufen zu setzen. |
| Keywords: |
| Publication type: | Article in Proceedings (Authorship) |
| Publication date: | 19.10.2018 (Online) |
| Published by: |
Language Testing in Austria: Towards a Research Agenda
Language Testing in Austria: Towards a Research Agenda
(2018)
(
G. Sigott, H. Cesnik
)
G. Sigott, H. Cesnik
|
| Title of the series: | - |
| Volume number: | - |
| First publication: | Yes |
| Version: | - |
| Page: | pp. 27 - 27 |
| Cover: |
|
Versionen
| Keine Version vorhanden |
| Publication date: | 19.10.2018 |
| ISBN (e-book): | - |
| eISSN: | - |
| DOI: | - |
| Homepage: | https://www.aau.at/en/language-testing-centre/conferences/ltia2018/ |
| Open access |
|
Authors
Assignment
| Organisation | Address | ||||
|---|---|---|---|---|---|
|
Fakultät für Kultur- und Bildungswissenschaften
Institut für Anglistik und Amerikanistik
|
AT - 9020 Klagenfurt |
||||
|
Universität Klagenfurt
Zentraler Informatikdienst (ZID)
|
AT - A-9020 Klagenfurt |
Categorisation
| Subject areas | |
| Research Cluster |
|
| Peer reviewed |
|
| Publication focus |
Classification raster of the assigned organisational units:
|
| working groups |
|
Cooperations
Research activities
| Projects: |
|
| Publications: |
|
| Events: |
|
| Lectures: |
|