| Description: |
Aufgaben zur Testung von schriftlichen Fertigkeiten im Rahmen eines High-Stakes Tests wie der standardisierten Reife- und Diplomprüfung (SRDP) Deutsch sollten vor der erstmaligen Anwendung validiert werden. Werden dazu Feldtestungen verwendet, so stehen zwei primäre Ziele im Vordergrund: Überprüfung der neuen Aufgaben auf deren Verwendbarkeit im intendierten Test und langfristig die Einordung dieser Aufgaben in eine kalibrierte Aufgabenbank. Ein angemessenes Feldtestungskonzept ist notwendig, um valide Kennzahlen zur Beurteilung der Aufgaben im Geflecht von Proband, Assessor und Bewertungsskala generieren zu können. Probanden sind zwar notwendiger Bestandteil des Untersuchungsdesigns, letzlich aber nur von Interesse um Fragen zu probandenstrukturellen Charakteristiken, zur Motivation oder zu erwartenden Notenverteilungen in der operativen Phase der SRDP beantworten zu können. Für die Probanden selbst sind die Ergebnisse der Feldtestung konsequenzlos. Im Gegensatz dazu werden statistische Informationen zur Aufgabe, zum Assessor oder zur Bewertungsskala sehr wohl Konsequenzen haben. Die Ergebnisse können Aufgabenmodifikation, Adjustierung von Richtlinien bzw. Schulung für Aufgabenersteller, Training von Assessoren bis hin zur Überarbeitung der Beurteilungsskala erfordern. Der Vortrag beschreibt die einzelnen Phasen der 2012 und 2013 durchgeführten Feldtestungen an ausgewählten Schulen. Datenbasis ist die Beurteilung der Schülerperformanzen durch Assessoren auf einer Skala von eins bis fünf, differenziert nach den vier Textdimensionen „Inhalt“, „Textstruktur“, Stil und Ausdruck“ sowie „normative Sprachrichtigkeit“. Diese Datenbasis wird ergänzt um Strukturdaten (Schule, Schultyp, …), Aufgabencharakteristiken (Textsorte, …), Daten aus dem Raschmodell (Measures, Fits, SE, …) und aus dem Zusatzfragebogen (Zweisprachigkeit, Geschlecht, Erstsprache, …). Insgesamt wurden 60 Aufgaben im Jahr 2012 und 54 neue Aufgaben im Jahr 2013 feldgetestet, wobei 2013 zusätzlich vier bereits verwendete Aufgaben zum Einsatz kamen. Letztere ermöglichen die Verknüpfung mit den Ergebnissen aus der Feldtestung 2012. |