Evaluationsmüdigkeit – Sind wir machtlos gegen die Folgen dauernder Umfragen, Smiley Buttons, Sternchen und Daumen?

Alle reden darüber, schon seit Jahren, immer wieder. In Einzelgesprächen unter Lehrenden, in den Sitzungen der Evaluationskommissionen, im Kollegium des ZHQ und nicht zuletzt hochschulübergreifend in gemeinsamen Arbeitskreisen. Seit Jahren sinken die Rücklaufzahlen in der Lehrveranstaltungsevaluation, z.B. an der FH Aachen etwa um ein Viertel seit 2019. Aber warum?

Die Verlockung ist zu groß

In manchen Fachbereichen – aber halt nicht in allen – hat die Umstellung von Papierfragebögen auf per Smartphone auszufüllende Onlineumfragen zu einem Rückgang der Teilnahme geführt. Ist die Verlockung zu groß, z.B. auf die neuesten Social-Media-Beiträge zu reagieren statt an einer Umfrage teilzunehmen? Aber warum scheint dies mal eine Rolle zu spielen und ein anderes Mal nicht? Das zu untersuchen ist schwer. Nach einem schon in 2019 durchgeführten Workshop unter den Fachbereichen scheint aber letztlich eine motivierende Ansprache durch die Lehrenden oder studentische Mitarbeiter:innen entscheidend zu sein, die die Umfragen in den Veranstaltungen durchführen. Das erhöht die Teilnahmebereitschaft und die soziale Verbindlichkeit.

„Warum sollten sie also teilnehmen wollen?“

In diesem Zusammenhang wird aktuell in den Fachbereichen intensiver über die Rückkopplung der Ergebnisse an die Studierenden debattiert. In einer Diskussion zwischen Studiengangs-, Fachbereichs- und Hochschulleitung vor zwei Wochen erklärte ein Lehrender, dass er nicht nur die Ergebnisse mit den Studierenden in der Woche nach der Umfrage vertieft, sondern auch den Studierenden im folgenden Semester von den umgesetzten Veränderungen berichtet. Andere Lehrende äußerten, dem Beispiel zu folgen. In einem anderen Fachbereich meinte ein studentisches Gremienmitglied erst gestern, dass Studierende selten erleben, dass ihr Feedback auch Folgen hat. Warum sollten sie also teilnehmen wollen? Um die Haltung der Studierenden direkt zu Studienbeginn positiv zu prägen, möchte das Gremium in diesem Fachbereich nun insbesondere im ersten Fachsemester unter Beweis stellen, dass Feedback erwünscht und ernst genommen wird. Umfragen sollen in den Veranstaltungen durchgeführt und konkrete Schlussfolgerungen in konstruktiver Atmosphäre besprochen werden.

Messbarer Effekt der Art der Durchführung

Für mich die spannendste Erkenntnis: Wenn Umfragen nicht während den Veranstaltungen durchgeführt, sondern Einladungen per Mail verschickt werden, geht das mit einem deutlich niedrigeren Rücklauf einher. Einer unserer Fachbereiche konnte seine Rückläufe verdoppeln, nachdem er 2018 von Einladung per Mail auf Online-In-Präsenz umgestiegen ist. Bei der Umstellung auf die pandemiebedingte Online-Lehre, haben wir das gleiche Phänomen nur umgekehrt beobachtet. Asynchrone Lehre ging häufig mit asynchronen Umfragen und einem Versand per Mail einher. Unsere Untersuchung hat dann gezeigt: Je häufiger die Fragebögen von den Teilnehmer:innen während einer Veranstaltung ausgefüllt wurden (danach haben wir im Fragebogen gefragt), desto höher der absolute Rücklauf in der entsprechenden Umfrage. Werden Fragebögen mehrheitlich außerhalb von Veranstaltungen ausgefüllt und demnach nur per Mail beworben, ist auch der absolute Rücklauf geringer. Der Einfluss ist messbar, zuletzt 6% erklärte Varianz durch die Art der Durchführung. Aber trotz der heute wieder vermehrten Durchführung in den Veranstaltungen, ist der absolute Rücklauf hier und da weiter zurückgegangen. Warum?

Folgen der Corona-Pandemie

Eine Auswirkung der Pandemie könnte auch sein, dass immer mehr Studierende eine Lehrveranstaltungsteilnahme in Präsenz für unnötig halten. Spätestens wenn gegen Ende des Semesters die Umfragen durchgeführt werden, wären dann viele Studierende nicht mehr anwesend. Das berichten aktuell einige Lehrende. Im Vergleich zu früher, nehmen dann auch weniger Studierende an den Umfragen teil. Wenn asynchrone Lehre der Standard wird, müssten die Fragebögen andere Lehr-/Lernszenarien adressieren und die Umfragen anders durchgeführt werden. Aber soll asynchrone Lehre in der Zukunft die Regel sein?

Fragebögen müssen natürlich ein Feedback zu den konkreten Lehr-/Lernszenarien erlauben und auch die die Lehrenden interessierenden Fragen zur Veranstaltung abdecken. Das ZHQ erarbeitet die Fragebögen daher immer orientiert am Stand der Lehr-Lernforschung, aber auch gemeinsam mit Lehrenden und Studierenden. So werden digitale Medien stärker berücksichtigt, formatspezifische Fragebögen entwickelt (aktuell für Studienprojekte und Übungen) und nach technischen Möglichkeiten zur individuellen Auswahl optionaler Fragen gesucht. Wir sind dran.

Genau hinschauen

Interessant ist auch eine Untersuchung aus dem Arbeitskreis Evaluation der Fachhochschulen in NRW. Geringere Rücklaufquoten konnten hier in Zusammenhang mit internationalen Studierenden beobachtet werden. Im Dialog mit diesen Studierenden konnten zwei Gründe ausgemacht werden: Kulturbedingte Zurückhaltung mit kritischem Feedback und erfahrungsbasierte Angst vor fehlender Anonymität bzw. Rückverfolgbarkeit. Das unterstreicht letztlich, wie wichtig eine offen und fair gelebte Qualitätskultur und eine Transparenz in den Verfahren ist.

Und diese Smiley Buttons, Sternchen und Daumen?

Lehrende, Fachbereiche und zentrale Einrichtungen wie das ZHQ können also einiges für einen hohen Rücklauf tun. Dann wird auch deutlich, dass Lehrveranstaltungsevaluation nicht mit einem Smiley Button in einer öffentlichen Toilette oder einem Sternchen beim Onlinehändler zu vergleichen ist. Der Umstand, dass wir zu allem und jedem um Feedback gebeten werden, trägt sicher zur Umfragemüdigkeit bei, lässt sich aber nicht ändern. Ihr kann vermutlich nur damit begegnet werden, dass Studierende den praktischen Unterschied real erleben.

Der Diskurs wird uns wohl noch eine Weile begleiten. Ich bin gespannt, was die Zukunft an neuen Erfahrungen und Erkenntnissen bringt!

Der Autor ist seit 2007 mit der Evaluation von Studium und Lehre betraut und zentraler Evaluationsbeauftragter der FH Aachen