Stammdaten

Validierung der Beurteilungsskalen für die Standardisierte Reife- und Diplomprüfung (SRDP) Deutsch
Beschreibung:

Ziel des empirischenProjektes war es, einen ersten Ansatz zur Validierung jener Skalendeskriptoren zu entwickeln, die zur Bewertung der Schreibaufgaben in der Standardisierten Reife- und Diplomprüfung Deutsch verwendet wurden. Als Ergebnis wurden eine Reihe statistischer Maßzahlen zur Stabilität der einzelnen Skalendeskriptoren vorgeschlagen. Die 70 Skalendeskriptoren wurden von 100 erfahrenen Lehrenden, die keine Schulung zur Skalenverwendung absolviert hatten, in Bezug auf ihren Schwierigkeitsgrad bewertet. Diese Daten bildeten die Grundlage des Studienprojekts, um Übereinstimmung zwischen intendierter und empirischer Schwierigkeit sowie Assessorenübereinstimmung insgesamt und auf Deskriptorebene zu bestimmen. Die Studie zeigt auf, dass die Verwendung der Skalen ohne vorausgehende Schulung nicht zu empfehlen ist und auf Assessorenschulung nicht verzichtet werden kann. Die beste Übereinstimmung bei den Assessoren war auf dem höchsten Skalenniveau zu finden, was eine exzellente Schreibleistung bedeutet ist offensichtlich unumstritten. Die Deskriptoren am unteren Ende der Skala, am Übergang zwischen „bestehen“ und „ nicht bestehen“, funktionieren prinzipiell gut, allerdings gibt es hier auch Deskriptoren die als instabil eingestuft werden. Zusammenfassend kann gesagt werden, dass trotz nicht erhaltener Assessorenschulung zur Skalenverwendung die Anzahl der als stabil einzustufenden Deskriptoren hoch ist. Als Ergebnis der Studie werden Vorschläge für die Fokussierung der Assessorenschulung auf kritische Bereiche und Optimierung der Bewertungsskala gemacht.

Schlagworte: Sprachtestung, Validierung, Schreibleistung, Bewertungsskalen
Validating the Rating Scales in the Standardised Matriculation Exam (SRDP) for L1 German
Beschreibung:

The aim of the empirical project was to develop a first approach to validating the rating scale for assessing L1 German writing in the context of the Austrian Matura. The project yielded selected statistical measures of the stability of scale descriptors. The 70 scale descriptors were assessed in terms of their difficulty by a panel of 100 experienced teachers who had not undergone training in the use of the scale. This data served as the basis for studying overall rater agreement, the correspondence of the sequence of empirically scaled descriptors to the intended sequence, and for studying rater agreement on individual descriptors. It was found that using the scale without previous rater training is not recommendable and rater training is indispensable. The highest level on the scale was found to be the most consensual among the assessors. There is relatively high agreement with regard to what constitutes excellence in L1 German writing. The descriptors on the critical pass level were found to function relatively well although at least two descriptors turned out to be unstable and should be focused on in rater training. Overall, a high number of stable descriptors was found, which is remarkable given that the assessors had not yet received training in using the scale. Suggestions for areas of focus in assessor training or minor improvements of the scale are made.

Schlagworte: Language Teaching, Validation, Writing, Rating Scales
Kurztitel: Validierung Bewertungsskala SRDP Deutsch
Zeitraum: 01.01.2016 - 31.12.2016
Kontakt-Email: Guenther.Sigott@aau.at
Homepage: -

MitarbeiterInnen

MitarbeiterInnen Funktion Zeitraum
Günther Sigott (intern)
  • Projektleiter/in
  • wiss. Mitarbeiter/in
  • Kontaktperson
  • 01.01.2016 - 31.12.2016
  • 01.01.2016 - 31.12.2016
  • 01.01.2016 - 31.12.2016
Hermann Cesnik (intern)
  • Projektleiter/in
  • wiss. Mitarbeiter/in
  • Kontaktperson
  • 01.01.2016 - 31.12.2016
  • 01.01.2016 - 31.12.2016
  • 01.01.2016 - 31.12.2016

Kategorisierung

Projekttyp laufender Arbeitsschwerpunkt
Förderungstyp Sonstiger
Forschungstyp
  • Angewandte Forschung
  • Grundlagenforschung
Sachgebiete
  • 602007 - Angewandte Sprachwissenschaft
  • 101018 - Statistik
Forschungscluster
  • Bildungsforschung
Genderrelevanz 50%
Projektfokus
  • Science to Science (Qualitätsindikator: n.a.)
Klassifikationsraster der zugeordneten Organisationseinheiten:
  • Für die zugeordneten Organisationseinheiten sind keine Klassifikationsraster vorhanden
Arbeitsgruppen
  • Angewandte Linguistik

Finanzierung

Keine Förderprogramme vorhanden

Kooperationen

Organisation Adresse
Bundesinstitut für Bildungsforschung, Zentrum für Innovation & Entwicklung des österreichischen Schulwesens
Schreyvogelgasse 2
1010 Wien
Österreich
  01 5336214
  01 5336214-30
   office-wien@bifie.at
Schreyvogelgasse 2
AT - 1010  Wien