Vortrag: On the discrepancy between rater-perceived and Empirical Item Difficu...

Stammdaten
Titel: On the discrepancy between rater-perceived and Empirical Item Difficulty. Standardsetting for the receptive skills in the Austrian Educational Standards Tests for English
Beschreibung:

This contribution examines the discrepancy between empirical item difficulty and estimates of item difficulty made by raters in the context of linking items of the receptive skills to the CEFR, more specifically items for reading and listening in the Austrian Educational Standards Tests for English in grade 8. All approaches to standardsetting carry with them two potential sources of imprecision. One of these results from differences in rater severity leading to diverging estimates of item difficulty. The other source of imprecision results from the discrepancy between empirical and rater-estimated item difficulty.

This contribution describes two approaches to defining cutscores in a transparent way in order to place test takers at a CEFR level despite the discrepancy between empirical and estimated item difficulty. Both involve defining thresholds for locating items on the CEFR scale. The standardsetting procedure contains three phases. First Raw Difficulty Estimates are obtained by raters using a modified Angoff procedure. Then empirical item difficulties are obtained from field testing procedures. Eventually two approaches, the Fuzzy Interval Approach and the Regression Approach, are described, which enable cutscores to be defined despite the discrepancy between estimated and empirical item difficulty.
Schlagworte:
Titel: Die Diskrepanz zwischen geschätzter und empirischer Itemschwierigkeit. Zur Setzung von Kompetenzstufen für die rezeptiven Fertigkeiten in den östereichischen Bildungsstandards
Beschreibung:

Dieser Beitrag thematisiert die Diskrepanz zwischen empirischer und durch Assessoren eingeschätzter Itemschwierigkeit am Beispiel der Kompetenzstufensetzung im GERS für die rezeptiven Fertigkeiten in der Standardstestung für Englisch in der achten Schulstufe. Es gibt verschiedene Ansätze zur Setzung von Kompetenzstufen (Standardsetting), die jedoch alle zwei Arten potentieller Unschärfen implizieren. Die eine resultiert aus Unterschieden in der Strenge der Assessoren und führt dazu, dass Items als unterschiedlich schwierig eingeschätzt werden. Die andere Unschärfe resultiert aus der Diskrepanz zwischen tatsächlicher (empirischer) und durch die Assessorinnen eingeschätzter Itemschwierigkeit.

Der vorliegende Artikel beschreibt zwei Ansätze, die es ermöglichen, trotz vorhandener Diskrepanz zwischen wahrgenommener und empirischer Itemschwierigkeit zu nachvollziehbaren Kompetenzstufensetzungen zu gelangen und Testteilnehmer in ein GERS Niveau für Leseverstehen und Hörverstehen einzuordnen. Dafür müssen Thresholds für die Einstufung der Items auf der GERS-Skala definiert werden. Das Verfahren zur Kompetenzstufensetzung beinhaltet drei Schritte. Zunächst werden mittels einer modifizierten Angoff-Prozedur auf der Basis der Einschätzung durch die Assessoren Raw Difficulty Estimates bestimmt. Sodann werden aus Testadministrationen Empirical Item Difficulties ermittelt. Schließlich werden unter Anwendung von Prinzipien der probabilistischen Testtheorie zwei Verfahren, der Fuzzy-Intervall Ansatz und der Regressionsansatz, beschrieben, die es ermöglichen, angesichts der Diskrepanz zwischen geschätzter und empirischer Itemschwierigkeit Kompetenzstufen zu setzen.
Schlagworte:
Typ: Angemeldeter Vortrag
Homepage: https://www.aau.at/en/language-testing-centre/conferences/ltia2018/
Veranstaltung: Symposium Language Testing in Austria: Towards a Research Agenda (Klagenfurt)
Datum: 19.10.2018
Vortragsstatus:

Beteiligte
Günther Sigott
Guenther.Sigott@aau.at
Forschungsaktivitäten
zur Visitenkarte
(intern)
  • AutorIn
  • Vortragende/r
Hermann Cesnik
Hermann.Cesnik@aau.at
Forschungsaktivitäten
zur Visitenkarte
(intern)
  • AutorIn
  • Vortragende/r

Zuordnung
Organisation Adresse
Fakultät für Kultur- und Bildungswissenschaften
  Institut für Anglistik und Amerikanistik
Universitätstraße 65 - 67
9020 Klagenfurt
Österreich
   anglistik@aau.at
https://www.aau.at/en/english/
zur Organisation
Universitätstraße 65 - 67
AT - 9020  Klagenfurt
Universität Klagenfurt
  Zentraler Informatikdienst (ZID)
Universitätsstr. 65-67
A-9020 Klagenfurt
Österreich
  +43 463 2700 9600
   zid@aau.at
http://zid.aau.at
zur Organisation
Universitätsstr. 65-67
AT - A-9020  Klagenfurt

Kategorisierung
Sachgebiete
  • 101018 - Statistik
  • 602007 - Angewandte Sprachwissenschaft
  • 504007 - Empirische Sozialforschung
Forschungscluster
  • Bildungsforschung
Vortragsfokus
  • Science to Science (Qualitätsindikator: n.a.)
Klassifikationsraster der zugeordneten Organisationseinheiten:
  • Für die zugeordneten Organisationseinheiten sind keine Klassifikationsraster vorhanden
TeilnehmerInnenkreis
  • Überwiegend national
Publiziert?
  • Ja
Arbeitsgruppen
  • Angewandte Linguistik

Kooperationen
Keine Partnerorganisation ausgewählt