Rubrics: Beurteilungsschemata für schriftliche Arbeiten und Prüfungen

Workshopziele

Kennenlernen grundlegender Anforderungen und Probleme bei der Erstellung, Validierung und Verwendung von Rubrics als objektive Leistungsbeurteilungschemata für schriftliche Performanzen.

Workshopinhalte

Einführung in theoretische Grundkonzepte zu Leistungsbeurteilungen u.a. zu Zweck der Beurteilung, Kompetenzmodelle, Testmethode, Grundlagen der Aufgabenstellung, Qualitätskriterien, Norm- vs. Kriteriumsreferenzierung, Verfahren zur Kompetenzstufensetzung, Zählen vs. Beurteilen, Qualitätskriterien.

Einführung in Rubrics als Basis für die kompetenzorientierte Beurteilung basierend auf: Fulcher, G. (2013). Practical Language Testing, London: Routledge.

Praktisches Beispiel zur Deskriptoren(Skalen)validierung basierend auf einer bestehenden Bewertungsskala der WU-Wien mit vier Dimensionen. Die Validierungsprozedur erfolgt schrittweise im Workshop.

• Vorstellung der Bewertungsskala mit den dimensions- und niveauspezifischen Deskriptoren

• Teilnehmer schätzen die Schwierigkeit der Deskriptoren pro Dimension mittels Ratingsheet ein

• Dateneingabe in vorgefertigtes Excel-Sheet vor Ort durch Workshopleiter

• Datenanalyse mittels vorgefertigter automatischer Analysepozeduren vor Ort

• Interpretation und Diskussion statistischer Indizes zu Beurteilerübereinstimmung und Deskriptorenschwierigkeit mit den Teilnehmern. Was sind stabile (gut funktionierende), was sind instabile Deskriptoren? Wie ist mit unerwarteten Ergebnissen umzugehen und welche Konsequenzen sind daraus zu ziehen?

Skizzieren der Anwendung eines validierten Beurteilungsschemas auf die zu bewertenden Performanzen (Gesamtnote aus Einzeldimensionen, Vetodimensionen, …)

Abschlussstatement: Die Verwendung von Rubrics bringt Verbesserungen in der Beurteilungsvalidität, in der Transparenz (Lehrende und Studierende einigen sich auf die selben Ziele) sowie als positiver Washback (regt an, über schwierigkeitsgenerierende Faktoren bei der Erfüllung der Ansprüche der einzelnen Deskriptoren nachzudenken).

Zielgruppe

• Universitätslehrende, die Rubrics für schriftliche Arbeiten oder Prüfungen einsetzen und selbst entwickeln möchten
• Universitätslehrende, die gefordert sind, in Abschlussarbeiten mit vorgegebenen Rubrics zu beurteilen, und daher die Grundlagen dieses Beurteilungsverfahrens besser kennenlernen möchten

Methoden

• Präsentation
• Gruppenarbeit
• Diskussion