Publikation: Die Standardisierte Reife- und Diplompr...
Stammdaten
| Titel: | Die Standardisierte Reife- und Diplomprüfung (SRDP) Deutsch als Unterrichtssprache. Methodenkonzept und Hauptergebnisse der Feldtestung |
| Untertitel: | |
| Kurzfassung: | Aufgaben zur Testung von schriftlichen Fertigkeiten im Rahmen eines High-Stakes Tests wie der standardisierten Reife- und Diplomprüfung (SRDP) Deutsch sollten vor der erstmaligen Anwendung validiert werden. Werden zu diesem Zweck Feldtestungen durchgeführt, so stehen zwei primäre Ziele im Vordergrund: Überprüfung der neuen Aufgaben auf deren Verwendbarkeit im intendierten Test und langfristig die Einordung dieser Aufgaben in eine kalibrierte Aufgabenbank. Ein angemessenes Feldtestungskonzept ist notwendig, um valide Kennzahlen zur Beurteilung der Aufgaben im Geflecht von Proband, Assessor und Bewertungsskala generieren zu können. Probanden sind zwar notwendiger Bestandteil des Untersuchungsdesigns, letzlich aber nur von Interesse, um Fragen zum Effekt probandenstruktureller Merkmale, zur Motivation oder zu erwartenden Notenverteilungen in der operativen Phase der SRDP beantworten zu können. Für die Probanden selbst sind die Ergebnisse der Feldtestung konsequenzlos. Im Gegensatz dazu haben statistische Informationen zur Aufgabe, zum Assessor oder zur Bewertungsskala sehr wohl Konsequenzen. Die Ergebnisse können Aufgabenmodifikation, Adjustierung von Richtlinien bzw. Schulung für Aufgabenersteller, Training von Assessoren bis hin zur Überarbeitung der Beurteilungsskala erforderlich machen. Dieser Beitrag beschreibt die einzelnen Phasen der 2012 und 2013 durchgeführten Feldtestungen an ausgewählten Schulen. Datenbasis ist die Beurteilung der Schülerperformanzen durch Assessoren auf einer Skala von eins bis fünf, differenziert nach den vier Textdimensionen INHALT, TEXTSTRUKTUR, STIL und AUSDRUCK sowie NORMATIVE SPRACHRICHTIGKEIT. Diese Datenbasis wird ergänzt um Strukturdaten (z.B. Schule, Schultyp), Aufgabencharakteristiken (z.B. Textsorte), Daten aus dem Zusatzfragebogen (z.B. Zweisprachigkeit, Geschlecht, Erstsprache) und Kennzahlen aus dem Raschmodell (z.B. Measures, Fits, Standardfehler). Insgesamt wurden 60 Aufgaben im Jahr 2012 und 54 neue Aufgabenim Jahr 2013 feldgetestet, wobei 2013 zusätzlich vier bereits verwendete Aufgaben zum Einsatz kamen. Letztere ermöglichen die Verknüpfung mit 2012. |
| Schlagworte: |
| Titel: | Standardised Matriculation Exam (SRDP) for L1 German. Validation procedure and field testing. Methods and results |
| Untertitel: | |
| Kurzfassung: | Writing tasks for high-stakes tests like the standardised matriculation exam for L1 German should be validated before operational use. If the validation procedure involves field testing, the aims are twofold. On the one hand, the tasks have to be tested for their usability in operational testing, and on the other, as a long-term perspecitve, they need to be incorporated into a calibrated item bank. To achieve this, a field testing design has to be developed which makes it possible to generate task statistics in the interplay of test taker, rater and rating scale. Although test takers are an integral component of the research design, their purpose is to enable insights into the effect of test taker characteristics, motivation and grade distributions to be expected in the operational phase of the exam. While the results of the field testing are of no consequence to the test takers, the statistics do have consequences for the task itself, for the raters and for the rating scale. The results may suggest modifications to the tasks, adjustments of the guidelines and the training of item writers, directions for rater training and eventually adaptations of the rating scale. This contribution describes the phases of the field testing carried out at selected schools in 2012 and 2013. The data base for the analysis are ratings on a five-level scale for the dimensions of CONTENT, TEXT STRUCTURE, STYLE and EXPRESSION, and ACCURACY. This data base is supplemented with structural data (e.g. school or school type, task characteristics (e.g. text type), data from a questionnaire (e.g. L1, bilingualism, gender) and Rasch-based estimates (e.g. measures, fit statistics, standard error). Altogether 60 tasks from 2012 and 54 tasks from 2013 were field tested. In additon, four tasks were tested again in 2013 in order to enable linkage of the two field tests. |
| Schlagworte: |
| Publikationstyp: | Beitrag in Sammelwerk (Autorenschaft) |
| Erscheinungsdatum: | 01.10.2018 (Print) |
| Erschienen in: |
Language Testing in Austria: Taking Stock / Sprachtesten in Österreich: Eine Bestandsaufnahme
Language Testing in Austria: Taking Stock / Sprachtesten in Österreich: Eine Bestandsaufnahme
(2018)
(
Peter Lang AG, International Academic Publishers;
G. Sigott
)
G. Sigott
|
| Titel der Serie: | Language Testing and Evaluation |
| Bandnummer: | 40 |
| Erstveröffentlichung: | Ja |
| Version: | - |
| Seite: | S. 183 - 217 |
| Bild der Titelseite: |
|
Versionen
| Keine Version vorhanden |
| Erscheinungsdatum: | |
| ISBN (e-book): | - |
| eISSN: | - |
| DOI: | http://dx.doi.org/10.3726/b14338 |
| Homepage: | - |
| Open Access |
|
| Erscheinungsdatum: | 01.10.2018 |
| ISBN: |
|
| ISSN: | 1612-815X |
| Homepage: | https://www.peterlang.com/view/serial/LTE |
Zuordnung
| Organisation | Adresse | ||||
|---|---|---|---|---|---|
|
Universität Klagenfurt
Zentraler Informatikdienst (ZID)
|
AT - A-9020 Klagenfurt |
||||
|
Fakultät für Kultur- und Bildungswissenschaften
Institut für Anglistik und Amerikanistik
|
AT - 9020 Klagenfurt |
Kategorisierung
| Sachgebiete | |
| Forschungscluster |
|
| Peer Reviewed |
|
| Publikationsfokus |
Klassifikationsraster der zugeordneten Organisationseinheiten:
|
| Arbeitsgruppen |
|
Kooperationen
| Organisation | Adresse | ||||
|---|---|---|---|---|---|
Bundesinstitut für Bildungsforschung, Zentrum für Innovation & Entwicklung des österreichischen Schulwesens
|
AT - 1010 Wien |
||||
Bundesministerium für Bildung, Wissenschaft und Forschung
|
AT - 1010 Wien |
Forschungsaktivitäten
(Achtung: Externe Aktivitäten werden im Suchergebnis nicht mitangezeigt)
| Projekte: |
|
| Publikationen: |
|
| Veranstaltungen: |
|
| Vorträge: |
|