Wissenschaftlichkeit und Pragmatismus stehen bei der Evaluation an Hochschulen oft in einem Spannungsfeld. Dieses Spannungsfeld war zentrales Thema der Frühjahrstagung des AK Hochschulen der Deutschen Gesellschaft für Evaluation (DeGEval), die erstmals nach Ausbruch der Corona-Pandemie wieder in Präsenz, an der Goethe Universität Frankfurt, stattfand.
Einführende theoretische Beiträge zu Beginn der Tagung beschäftigten sich zunächst mit dem grundsätzlichen Verhältnis von Wissenschaftlichkeit und Pragmatismus in der Evaluation an Hochschulen. Eine der vorgestellten Sichtweisen dabei war, dass Wissenschaftlichkeit und wissenschaftliche Güte sich konkreter erst durch die Aspekte definieren, von denen sie sich unterscheiden lassen. Aus einer solchen Perspektive erhält der Begriff der Wissenschaftlichkeit seine konkrete Bedeutung erst durch die Gegenüberstellung und Abgrenzung von konkreten pragmatischen Aspekten wie z.B. einer einfachen Durchführung, gesellschaftlicher Relevanz oder wirtschaftliche Effizienz. Entsprechend wurde betont, dass Wissenschaftlichkeit und Pragmatismus sich zwar unterscheiden, wie zwei Seiten einer Medaille aber nicht voneinander trennen lassen.
Allgemein können Gütekriterien und Standards in der Wissenschaft zwischen den Disziplinen variieren. Es gibt jedoch auch viele Aspekte, die fachübergreifend gelten, wie zum Beispiel Theoriebasiertheit, Falsifizierbarkeit, Systematik und Replizierbarkeit. Gleichzeitig gibt es eigene Gütekriterien für die Evaluation, wie z.B. die Standards für Evaluation der DeGEval. Diese beinhalten die Aspekte Nützlichkeit, Durchführbarkeit, Fairness und Genauigkeit. In der Diskussion wurde herausgearbeitet, dass Gemeinsamkeiten besonders im Bereich der Genauigkeit gegeben sind, da hier überwiegend die gleichen Methoden eingesetzt werden. Größere Unterschiede zwischen den wissenschaftlichen Gütekriterien und den Kriterien der Evaluation liegen vor allem im starken Fokus der Evaluation auf kommunikative Aspekte: So ist ein wichtiger Punkt in der Evaluation an Hochschulen, wie die Ergebnisse sinnvoll kommuniziert und gewinnbringend verwendet werden können, während in der reinen Wissenschaft der Schwerpunkt eher auf der Erkenntnisgewinnung liegt.
Ausgehend von diesem Rahmen wurden im Laufe der Tagung verschiedene konkrete Spannungsfelder zwischen Wissenschaftlichkeit und Pragmatismus in der Evaluation an Hochschulen diskutiert, von denen zwei hier beispielhaft genannt seien.
Ein Spannungsfeld stellt die Fragebogenlänge, die eine umfassende Datenerfassung ermöglicht, gegenüber der Belastung der Befragten und der Gefahr von Befragungsabbrüchen bei zu langen Befragungen dar. Konkret wurde hierbei auf der Tagung das Konzept des Planned Missing Designs diskutiert, bei dem bestimmte Fragen zugunsten einer Fragebogenkürzung bei einigen Befragten gezielt ausgelassen und diese später auf Basis der Angaben der anderen Befragten geschätzt (imputiert) werden. Gerade für Befragungen, die auf Studiengangebene ausgewertet sollen ist dieses Vorgehen jedoch aufgrund der geringen Anzahl von Teilnehmenden mit viel zu großen Unsicherheiten in den geschätzten Werten behaftet und stellt keine sinnvolle Alternative dar.
Ebenfalls Thema waren durch Lehrende anpassbare Fragebögen zur Lehrveranstaltungsevaluation. Auf Seite der Wissenschaftlichkeit sollte der eingesetzte Fragebogen präzise nach wissenschaftlichen Standards formuliert und gleichzeitig passend zu jeder spezifischen Lehrveranstaltung und den dort eingesetzten Lehrmethoden sein. Auf der anderen Seite ist die individuelle Formulierung von Fragebögen durch Expert:innen zu jeder einzelnen Veranstaltung jedoch nicht praktikabel. In diesem Spannungsfeld stellte die Universität Kassel ihre Lösung für eine gezielt durch Lehrende anpassbare Lehrevaluation vor. Die FH Aachen testet in der Erweiterbarkeit der Standardfragebögen um individuell auswählbare optionale Fragen ein sehr ähnliches Angebot.
Die Frühjahrstagung bot einen anregenden Rahmen, um über das Spannungsfeld zwischen Wissenschaftlichkeit und Pragmatismus in der Evaluation an Hochschulen zu diskutieren. Es wurde deutlich, in wie vielen konkreten Problemstellungen in der Evaluation dieses Spannungsfeld relevant ist. Dieses immer wieder in den konkreten Anwendungsfeldern zu erkennen, kann sicher einige neue Perspektiven und Impulse für Evaluationspraktiken auch an der FH Aachen liefern.
Manuel Bör
1 Kommentar
Ein spannender Bericht! Und ja, in der Evaluation von Studiengängen an Fachhochschulen muss der Tatsache Rechnung getragen werden, dass viele von ihnen (zumindest in den höheren Fachsemestern) zweistellige Studierendenzahlen aufweisen. Selbst bei recht guten Rücklaufquoten in Studierendenbefragungen an der FH Aachen mit 28% in Bachelor- und 38% in Masterstudiengängen sowie über 40% in der Absolvent:innenbefragung wäre an eine Imputation nicht zu denken. Und wenn die Fallzahlen als nicht ausreichend eingeschätzt werden, sollte eher auf qualitative Verfahren wie Fokusgruppen zurückgegriffen werden (wie wir sie u.a. in solchen Fällen an der FH Aachen durchführen). Auch hier können wir wissenschaftliche Gütekriterien einhalten. Validität, Reliabilität und Objektivität lassen sich beispielsweise in moderierten Gruppendiskussionen durch eine dialogische Konstruktion der Ergebnisse in parallelen Kleingruppen, eine kommunikative Validierung im Plenum und hierzu nötige professionelle und einheitliche Moderationstechniken erhöhen.
Ich freue mich darauf, diesen wichtigen Diskurs über die Tagung hinaus, weiterzuführen. Danke für Euren Beitrag!