KI-Feedback auf dem Prüfstand – eine explorative Untersuchung maschineller Rückmeldungen zu Schüler:innentexten

Abstract

Der Beitrag untersucht explorativ, welche Herausforderungen das Textfeedback eines didaktisch systemgeprompteten, generativen Sprachmodells aufweist. Dazu wird qualitativ das Textfeedback eines KI-Systems zu argumentativen Texten von Schüler:innen einer Klasse vor dem Hintergrund eingesetzter Beurteilungskriterien analysiert. Herausforderungen zeigen sich bei der internen Konsistenz (zwischen qualitativem Feedback in Form von Text und quantitativem Feedback in Form von Punkten) und der textuellen Lokalisation, also der Rückbindung des Feedbacks an den Text selbst. Zudem zeigen sich bekannte Probleme von Sprachmodellen, wie das Halluzinieren. Die Schüler:innen der Klasse gaben auch deshalb im Fragebogen ein grundsätzliches Misstrauen gegenüber dem KI-Feedback an.