Lecture: The role of error in assessing English Writing in the Austrian Educat...

Master data
Title: The role of error in assessing English Writing in the Austrian Educational Standards Baseline Test
Description:

This study examines the role of errors in the Austrian Educational Standards Tests for grade 8. The role that errors play in assessment is relevant for test validation and for educational practice alike. To investigate this question, an error analysis of 100 writing performances was performed. Errors were categorised according to linguistic level (grammar, lexis, discourse, orthography and punctuation). Ratings of the performances made by trained raters using an analytic rating scale with four dimensions were used as dependent variables in correlation analyses.

There are significant strong to moderate correlations between the error categories und the aggregated total rating as well as the individual rating dimensions. Further details of the relationships are examined by means of Decision Tree Analyses. Grammar errors turn out to be the strongest determinant of the ratings on all four dimensions while lexical errors play a rather minor role. Discourse errors are determinants of the ratings on the dimensions of COHERENCE & COHESION as well as TASK ACHIEVEMENT, but raters seem to have difficulty making a clear distinction between the two rating dimensions. Orthography and punctuation errors are predictors of the ratings on all four dimensions, but always in a subsidiary role.
Keywords:
Title: Die Rolle von Fehlern in der Bewertung englischer Schülertexte im Baseline Test der österreichischen Bildungsstandards
Description:

Gegenstand dieser Untersuchung ist die Rolle von Fehlern in der Beurteilung von Schreibperformanzen in der Baseline-Studie der österreichischen Bildungsstandardstestung auf der achten Schulstufe. Die Rolle, die Fehler bei der Beurteilung spielen, ist sowohl für die Testvalidierung von Bedeutung als auch für die Praxis des Unterrichts. Um dieser Frage nachzugehen, wurde eine Fehleranalyse von 100 Schreibperformanzen durchgeführt. Fehler wurden nach linguistischer Beschreibungsebene (Grammatik, Lexis, Orthographie und Interpunktion, Diskurs)kategorisiert. Die Beurteilungen der Performanzen auf der analytischen Skala durch ausgebildete Assessoren wurden als abhängige Variablen in Korrelationsanalysen verwendet.

Es bestehen signifikante starke bis mäßige Korrelationen zwischen den Fehlerkategorien und der aggregierten Gesamtbeurteilung sowie den einzelnen Beurteilungsdimensionen. Weitere Details der Zusammenhänge werden mittels Decision Tree-Analysen untersucht. Grammatikfehler erweisen sich als stärkste Determinante der Beurteilungen auf allen vier Dimensionen während lexikalische Fehler eine sehr geringe Rolle spielen. Fehler auf der Diskursebene sind Determinanten der Beurteilungen auf den Dimensionen für COHERENCE & COHESION sowie für TASK ACHIEVEMENT, doch scheint es für die Assessoren schwierig zu sein, die beiden Beurteilungsdimensionen klar voneinander getrennt zu halten. Orthographie- und Interpunktionsfehler determinieren die Beurteilungen auf allen vier Dimensionen, jedoch durchwegs in einer untergeordneten Rolle.
Keywords:
Type: Registered lecture
Homepage: https://www.aau.at/en/language-testing-centre/conferences/ltia2018/
Event: Symposium Language Testing in Austria: Towards a Research Agenda (Klagenfurt)
Date: 19.10.2018
lecture status:

Participants
Günther Sigott
Guenther.Sigott@aau.at
Research activities
To visiting card
(internal)
  • Author
  • Speaker
Hermann Cesnik
Hermann.Cesnik@aau.at
Research activities
To visiting card
(internal)
  • Author
  • Speaker
Florian Pibal
Florian.Pibal@aau.at
Research activities
To visiting card
(internal)
  • Author
  • Speaker

Assignment
Organisation Address
Fakultät für Kultur- und Bildungswissenschaften
  Institut für Anglistik und Amerikanistik
Universitätstraße 65 - 67
9020 Klagenfurt
Austria
   anglistik@aau.at
https://www.aau.at/en/english/
To organisation
Universitätstraße 65 - 67
AT - 9020  Klagenfurt
Universität Klagenfurt
  Zentraler Informatikdienst (ZID)
Universitätsstr. 65-67
A-9020 Klagenfurt
Austria
  +43 463 2700 9600
   zid@aau.at
http://zid.aau.at
To organisation
Universitätsstr. 65-67
AT - A-9020  Klagenfurt

Categorisation
Subject areas
  • 101018 - Statistics
  • 602007 - Applied linguistics
Research Cluster
  • Educational research
Focus of lecture
  • Science to Science (Quality indicator: n.a.)
Classification raster of the assigned organisational units:
  • No classification raster available for the assigned organisational units.
Group of participants
  • Mainly national
Published?
  • Yes
working groups
  • Angewandte Linguistik

Cooperations
No partner organisations selected