Erfahrungen mit Online Prüfungen

Ein Kommentar von Prof. Dr.techn. Dipl.-Ing. Stefan Bauschke zur aktuellen Lage von Online Prüfungen an der FH Aachen.

Dieser Titel erscheint als erster einer Reihe von Beiträgen zum Thema ePrüfungen.

Schon weit vor der Pandemie habe ich kleine ILIAS-Online-Tests, z.B. als Test des Vorbereitungsstatus für Praktika, eingesetzt und erste gute Erfahrungen gesammelt.  Auch für eine allgemeine Labor-Sicherheitsunterweisung ist eine zentrale Schulung mit digitaler Prüfung angeregt. Der naheliegende Vorteil ist, dass das System da Routinearbeit übernimmt, wo ohnehin kein Auslegungsspielraum ist. Mit Pandemieeintritt lag es nahe, diesen Vorteil auf Modulprüfungen zu übertragen. Die Studierenden teilten das Bedürfnis auf Kontaktreduktion, bestätigten das immer wieder in Umfragen.

Vordergründig stehen Onlineprüfungen dem Vorwurf gegenüber, ein „undifferenzierter dummer“ Automat zu sein, der nur zur Wissensabfrage geeignet ist und keine Kompetenzprüfung erlaubt. Wie ich finde, ein wichtiger Aspekt, dem sich auch gut eingelaufene, oft genutzte, nie aktualisierte, klassische Papierklausuren auch noch einmal unterziehen sollten.

Das eA ILIAS Testsystem bietet nicht nur viele komplexe Gestaltungsmöglichkeiten für Fragen, sondern auch Variationsmöglichkeiten für die Eingabe und die Bewertung der Antworten. Eine reine Wissensabfrage ist zweifelsfrei die Grundfähigkeit einer Auswahlfrage. Es ist aber auch problemlos möglich, mit wenigen Worten ein konkretes Problem mit signifikanten Parametern zu schildern, dessen Lösung nicht im Skript steht, sondern das ganze Spektrum an Methoden und Varianten aus dem Unterricht heranzieht. So ist dann auch Kompetenzabfrage möglich.

Exemplarisches Vorgehen:

Für Auswahlfragen zu Problemstellungen können als Musterlösung mehrere richtige und falsche Lösungselemente angeboten werden. Um herauszufinden, welche der angebotenen Lösungen auf das Problem zutrifft, muss der Lösungsweg durchgeführt werden oder hinreichend tief erkannt worden sein. Danach kann über ein flexibles Punkteschema eine sehr differenzierte Bewertung der Antworten erfolgen. Es kann auch als Antwort das beste oder schnellste Verfahren erfragt werden, ohne dass es durchzuführen wäre. So eine Frage kann mit bloßem Wissen oder einer Suchmaschine nicht mehr beantwortet werden. ILIAS bietet hier viele Fragen- und Antworttypen bis zu Formalfragen und Ergebnisfeldern an. Werden mehr als „1 von 3- Antwortmöglichkeiten“ angeboten, können statistische Zufallstreffer weitgehend ausgeschlossen werden.

Gänzlich andere Optionen sind die Freitextfrage oder der Lösungsupload, z.B. eines handschriftlichen Lösungsblatts, welches fotografiert und hochgeladen wird. Beide Verfahren erfordern natürlich manuellen Korrekturaufwand, aber sie geben einen menschlichen Eindruck und erlauben einen Bewertungsspielraum.

Mit wohlüberlegten Schwierigkeitsgraden können allen Prüfungsteilnehmenden unterschiedliche aber vergleichbare Fragen in gemischter Reihenfolge zugeordnet werden; Abschauen unmöglich.

In meinen Prüfungen habe ich eine Mischung aus automatisch und manuell bewerteten Fragetypen verwendet. Die Ergebnisse in beiden Arten unterschieden sich nicht signifikant. Wer im einen Teil gut bzw. schlecht war, war es auch im anderen. Die Gesamtergebnisse der e-Prüfungen unterschieden sich in der Durchfallquote nicht von den früheren Papierklausuren. Ich habe daher keine Anzeichen, dass diese Prüfungsform schlechter wäre.

Kleiner Nebenvorteil: Die Prüfungskorrektur ist elektronisch gut unterstützt, sofort dokumentiert und zu jedem Zeitpunkt der Korrektur steht der volle Rahmen an statistischen Auswertungen zur Verfügung, welcher sonst nur über aufwendige manuelle Listen möglich wäre. Alleine der Ergebnisexport aus ILIAS und Import in QIS ist dabei eine erhebliche Zeitersparnis.

Es war zweifellos ein hoher Arbeitsaufwand, die Fragenpools zu erstellen, aber es gibt auch „nach Corona“ vielfältige Anwendungsmöglichkeiten.  Im zyklischen Handling ist der manuelle Verwaltungsaufwand dann aber viel geringer (Aufgaben zusammenstellen, Notenlisten führen, Listen schreiben, Einsicht, etc). Erfreulicherweise geht auch eine Tendenz dahin, diese Prüfungsform rechtssicher in der RPO für die Zukunft zu verankern, was sehr wünschenswert ist.

Schließlich möchte ich den Kolleginnen und Kollegen der Digitalisierungsoffensive Lehren und Lernen (DoLL) besonderen Dank aussprechen für die kompetente und hilfreiche Zusammenarbeit und Beratung im Entstehungsprozess derartiger Prüfungen. Dieses Projekt unterstützt uns Lehrende sehr wirksam, so dass nicht jede/r ein eigenes Rad selber erfinden muss. Auch der DVZ gebührt besonderer Dank, denn alle Systeme liefen immer reibungsfrei.

Zusammenfassend kann ich sagen, dass elektronische Prüfungen mehr Optionen bieten, als nur eine Online-Modulprüfung. Sie sind modern und digital, was die FH für sich beansprucht. Digitale Prüfungen erlauben es, meine Zeit als Prüfer mehr auf die kompetenzprüfenden Fragen und die Aktualisierung meiner Fragenpools zu konzentrieren als auf immer wiederkehrende zeitraubende Verwaltungs- und Listentätigkeiten. Sie sparen Papier und eröffnen zusätzliche Anwendungen, wie untersemestrige Leistungsselbsttests und erfüllen den Wunsch nach neuen Prüfungsformen.

Ach ja, und schleppen muss man sie auch nicht.