Dieser Artikel dient einem kurzen Einstieg zu E-Prüfungen an der FH Aachen, somit ist er insbesondere für Neulinge interessant.

Insbesondere befasst er sich mit E-Prüfungen, die das ILIAS-Objekt Test nutzen. Weitere Themen sind:

• Beschriebene E-Prüfungsformen an der FH Aachen
• Vorteile und Herausforderungen von E-Prüfungen
• Beschreibung des EA ILIAS
• Täuschungsversuche: Häufigkeit und Vermeidung
• Geeignete ILIAS-Elemente
• Aufgabenerstellung für ILIAS-Tests
• Prüfungserstellung
• Korrektur
• Einsicht

Situation an der FH Aachen 

In der zur Rahmenprüfungsordnung der FH Aachen zugehörigen Richtlinie „E-Prüfungen“ sind vier Formen der E-Prüfung beschrieben:

Fernprüfungen

Die erste Variante, die mündliche Prüfung oder auch Vortrag per Videokonferenz, unterscheidet sich grundlegend nicht stark von ihrer Präsenzvariante. Hier ersetzt der geteilte Bildschirm das Blatt Papier oder die Vortragsfolien. Diese Variante ist als einzige nur mit Begründung erlaubt. Sie kann nur durchgeführt werden, wenn im Prüfungszeitraum kein Termin vor Ort gefunden werden kann. 

Wir haben zudem zwei Varianten der Take Home-Prüfung, die eine über EA ILIAS, dem eigens für Prüfungen aufgesetzten ILIAS-System der FH Aachen -dazu später mehr- und per E-Mail. 

Take Home-Prüfungen werden ohne Aufsicht als Open Web-Prüfungen geschrieben, daher müssen sie als Mini-Hausarbeiten konzipiert werden, also sollten sie höhere Kompetenzstufen prüfen und Prüflingen individualisierte Aufgaben bereitstellen.  

Vor Ort prüfen

Mit Aufsicht zu prüfen ist nur in Präsenz möglich, dabei haben wir zwei Hauptszenarien: Prüfen am FH-Gerät, meistens eine Terminal- oder PC-Pool-Prüfung, oder Prüfen am eigenen Endgerät, eine Bring Your Own Device-Prüfung – kurz BYOD. 

Diese Art der Prüfung ist nicht weiter eingeschränkt, d.h. ob man Closed Book, Open Book, oder Open Web möchte, ist den Prüfenden freigestellt. 

Vorteile und Herausforderungen von E-Prüfungen 

E-Prüfungen bieten eine Vielzahl von Vorteilen, aber auch Herausforderungen gegenüber traditionellen Papierprüfungen. 

Korrektur: Automatisch der manuell?

Das Erste, woran viele denken, ist die automatische Auswertung der Prüfungen.  

Diese ermöglicht eine schnelle und effiziente Bewertung der Prüfungsergebnisse. Gleichzeitig sind automatisch auswertbare Fragen aber in einem bestimmten Muster zu erstellen, somit müssen bestehende Klausuraufgaben häufig stark angepasst werden und die Freiheit bei der Fragengestaltung ist deutlich geringer. Auch ist das Abfragen höherer Kompetenzstufen deutlich schwieriger, da diese Fragen nicht offen gestaltet werden können. 

Auch wenn man sich gegen eine automatische Korrektur entscheidet oder zumindest einen Teil der Aufgaben manuell bewerten möchte, kann die manuelle Korrekturphase durch E-Prüfungen verkürzt werden. Auf Computern geschriebene Texte sind immer leserlich und die Korrektur ist direkt möglich ohne eine manuelle Sortierung und Verteilung der physischen Klausuren. Auch ist kein manuelles Ausrechnen der Endnote nötig. 

Zufällige Fragenauswahl und erhöhte Nachhaltigkeit

Zufällige Fragenauswahl pro Prüfling bietet eine höhere Sicherheit und die Verhinderung von Täuschungsversuchen, dazu braucht es aber auch anders als bei der klassischen Klausur mehrere Aufgabenvarianten. 

Langfristig ermöglichen E-Prüfungen eine einfache Anpassung und Wiederverwendbarkeit von Fragen, so dass auch die Vorbereitung unter Umständen kürzer gestaltet werden kann. Kurzfristig ist der Aufbau einer Fragensammlung aber sehr zeitaufwendig und benötigt viele didaktische und technische Überlegungen. 

Skalierbarkeit

E-Prüfungen im Take Home-Format sind einfacher skalierbar und aufgrund seiner Ortsunabhängigkeit flexibler. Es muss außerdem keine Zeit mehr auf das Drucken von Prüfungen verwendet werden.

Andererseits ist die Skalierbarkeit der E-Prüfung vor Ort deutlich aufwendiger. Prüfende müssen Terminalräume oder Räumlichkeiten mit genügend Steckdosen und Zugangspunkten zum Prüfungsserver buchen. Gleichzeitig benötigen alle Prüflinge Platz für ihr Endgerät und ggfs. weitere Materialien wie Papier und Stift.

In dieser Hinsicht wäre die Möglichkeit Scan-Klausuren anzubieten, interessant für all diejenigen, die eine große Prüfung unter Aufsicht schreiben möchten, da sie die Skalierbarkeit vor Ort mit der automatischen Auswertung verknüpfen.

Rechtssicherheit

Rechtlich sind E-Prüfungen noch nicht so fest etabliert wie Papierprüfungen, da bisher deutlich weniger Rechtsprechung erfolgt ist.

Was ist EA ILIAS?

EA ILIAS ist ein vom normalen oder Live-ILIAS getrennter, auf Prüfungen angepasster ILIAS-Server. Sie werden sich jetzt sicher fragen, warum wir zwei getrennte Systeme nutzen.

Die Server-Auslastung auf dem Live-System nicht absehbar und somit auch nicht planbar.

Das EA ILIAS wird nur für Prüfungen verwendet, daher nutzt es auch nur prüfungsrelevante Objekte und ist auch in einen nur für Prüfenden Vorbereitungs- und einen allgemein verfügbaren Prüfungsbereich untergliedert, um erhöhte Sicherheit zu gewährleisten. Weiterhin sind die Rechte besser auf ein Prüfungsszenario angepasst.

E-Prüfungssupport durch DoLL und DVZ wird auch aus diesen Gründen nur auf dem EA ILIAS angeboten.

Wird bei E-Prüfungen mehr getäuscht und wie können wir Täuschung vorbeugen?

Es fehlen noch belastbare Daten, um diese Frage genau zu beantworten. In Gesprächen mit Prüfenden wurde jedoch meist davon berichtet, dass E-Prüfungen sehr ähnliche Notenverteilung zu den vorherigen Klausuren hatten, so dass wir davon ausgehen, dass zumindest noch nicht bedeutend mehr getäuscht wird als bei einer Papierklausur.

Das Täuschen kann mit individualisierten Prüfungen und Abfrage höherer Kompetenzstufen erschwert werden. Auch können Prüfungen in den Terminalräumen mit einem abgesicherten Browser (Safe Exam Browser) durchgeführt werden, so dass die Prüflinge nur auf die erlaubten Hilfsmittel Zugriff haben.

Vor Ort gibt es auch eine Möglichkeit, die Fragestellung der Aufgabe nicht digital auszugeben, sondern diese weiterhin auszudrucken und nur die Eingaben der Aufgaben digital zu gestalten. So kennen nur Personen vor Ort die konkreten Fragestellungen, die zu beantworten sind. Dies, gekoppelt mit mehreren Varianten der Prüfung, sollte einen Austausch zu den Fragen oder gar ein Bearbeiten von außen ähnlich schwierig gestalten wie bei einer Papierklausur.

Hundertprozentige Sicherheit hat man wie bei einer Papierprüfung oder Hausarbeit allerdings nie und diese sollte nicht das Ziel sein.

Test oder Übung: Wie gestalte ich meine Prüfung?

ILIAS bietet zwei Objekte für die Prüfungsdurchführung an: Die Übung und den Test.

ILIAS-Übung

Bei der Übung werden die Aufgabenerstellung und Bearbeitung der Prüfung außerhalb von EA ILIAS durchgeführt. Nur der eventuelle Download der Aufgaben und das Hochladen der Antworten passiert in EA ILIAS.

Damit eignet sich insbesondere zur Abgabe von digitalisierten handschriftlichen Bearbeitungen oder Abgaben von Dateien, die in einer Drittapplikation bearbeitet oder erstellt wurden.

Es ist außerdem seit letztem Jahr möglich jedem Prüfling eine zufällige Auswahl von Übungseinheiten zu geben.

Übungen können nicht in EA ILIAS automatisiert ausgewertet werden. Wenn der Vorgang automatisiert werden soll, muss dies außerhalb von EA ILIAS passieren.

ILIAS-Test

In einem ILIAS-Test werden den Prüflingen Aufgaben im Browser präsentiert, die sie im Browser bearbeiten müssen. Diese Fragen können entweder fest vorgegeben oder per vom Prüfenden gesetzten Regeln aus Fragenpools zufällig gezogen werden. Auch kann die Reihenfolge entweder fest vorgegeben oder gemischt werden.

Da große Teile der Prüfung einer ILIAS-Übung außerhalb vom Browser durchgeführt werden und zwischen Prüfungen sehr unterschiedlich ablaufen können, beschäftigt sich der folgende Text nur noch mit ILIAS-Tests.

Aufgaben – Allgemeines und häufige Fragentypen

Grundsätzlich sollte das folgende Mantra beim Aufgabenerstellen beachtet werden:

Umso weniger Aufwand beim Erstellen und Korrigieren der Aufgabe geleistet werden muss, umso mehr Aufwand muss in der didaktischen Vorarbeit liegen!

Denn Abbildung der höheren Kompetenzstufen ist bereits eine Herausforderung und diese dann in sehr festen Mustern abzubilden nochmal eine deutlich größere.

Fragetypen

Hier werden nicht alle Fragetypen vorgestellt, sondern nur die, die in vielen bisherhigen Prüfungen genutzt werden oder wie STACK-Fragen einen sehr hohen Nutzen haben.

Antwort-Auswahl: Single Choice-/Multiple Choice-Kprim-Fragen

Diese Fragetypen erschweren das Abfragen höherer Kompetenzstufen, da alle Antworten vorgegeben sind, allerdings gibt es auch dafür Mittel und Wege. Es müssen zusätzlich genügend sinnige Distraktoren eingebaut werden, um die Fragen nicht zu leicht zu gestalten.

In Single Choice-Fragen ist nur eine Antwortmöglichkeit von vielen anklickbar und Prüfende können pro Antwort Punkte vergeben.

In Multiple Choice-Fragen sind mehrere Antwortmöglichkeiten anklickbar, daher werden Punkte für das Anklicken und das Nicht-Anklicken vergeben.

Kprim-Fragen bestehen aus vier Aussagen, die boolesch (ja/nein, falsch/richtig oder selbstgewählt) zu beantworten sind. Die Studierenden erhalten volle die Punktzahl, wenn alle vier Antworten richtig ausgewählt wurden. Sonst entweder keine Punkte oder, wenn vom Prüfenden so angegeben, die Hälfte der Punkte, wenn drei Antworten richtig sind, da ja schon per Zufall im Schnitt zwei richtig sein werden.

Anordnungs-und Zuordnungsfrage

Diese Fragetypen nutzen Javascript und können je nach Browser zu Problemen führen.

Bei Anordnungsfragen werden die Terme entweder von links nach rechts oder von oben nach unten geordnet und für die richtige Anordnung erhält man Punkte.

Bei Zuordnungsfragen werden die Terme auf der rechten Seite per Drag and Drop der Definition auf der linken Seite zugeordnet. Dabei kann ein Term entweder nur einer Definition oder mehreren Definitionen zugeordnet werden. Punkte werden pro zugeordnetem Paar vergeben.

Lückentextfragen

Lückentextfragen sind Fließtexte mit mehreren Eingabefeldern.

Diese Felder können entweder Texteingabe, numerische Eingabe oder eine Dropdown-Auswahl aus vorgegebenen Antworten erfordern.

Dieser Fragentyp ist sehr vielfältig einsetzbar, längere und komplexere Aufgaben sind damit möglich.

Formelfrage

Formelfragen sind Fragen bei denen Zahlenwerte aus vom Prüfenden vorgegebenen Bereichen genutzt werden, um die Aufgabe und die Lösung zu randomisieren.

Die Lösungen werden als Formel aus den Variablen vom Prüfenden angegeben. Es hat insbesondere für mathematische Aufgaben großen Nutzen, ist allerdings eine rein numerische Rechnung, d.h. es können keine Formeln, (Un-)Gleichungen oder ähnliches direkt abgefragt werden. Auch sind die Befehle für die Formeln sehr beschränkt, so ist z.B. Integration, IF-Abfragen, Summen oder ähnliches nicht möglich. Es ist eher wie ein simpler Taschenrechner. Für diese tiefere Abfrage benötigt man den nächsten Fragentyp.

In dem oberen Bild sind alle Zahlen zufällig generiert, aber die Integration funktioniert nur, weil diese nach einem festen Schema funktioniert.

STACK-Fragen

In STACK-Fragen sind fast alle Bausteine randomisierbar, ob Text oder Zahlen oder auch die Auswertung selbst. Die Lösungseingabe ist auch deutlich freier als in der Formelfrage und aus kann z.B. aus Auswahlfeldern, Texteingabefeldern oder Matrizen bestehen. Auch können Graphen ausgegeben werden, in Zukunft vielleicht sogar dynamische Graphen, die zur Lösungseingabe genutzt werden können.

Diese Freiheit der Aufgabenerstellung erfordert allerdings Programmierung und ist somit deutlich komplexer als in anderen Aufgaben.

Auch die Auswertungsart wird komplett selbstständig erstellt anhand von Rückmeldebäumen, bei dem jeder Knoten auch wieder programmierbar ist. Dies erfolgt alles über das Computeralgebrasystem Maxima (vergleichbar mit Maple oder Geobra).

Die Auswertung erfolgt über einen eigenen Server und die Aufgabe ist als einziger Aufgabentyp nur über Plugin verfügbar.

Mehr Infos finden Sie in diesem Blog-Artikel.

Manuell korrigierbare Aufgaben – Upload- und Freitextfrage

Auch Freitext- und Uploadfragen sollten nicht außer Acht gelassen werden, da sie deutlich einfacher das Übertragen alter Aufgaben zulassen oder als Schnittstelle zu Ergebnisabgabe von Drittapplikationen dienen.
Der Freitext-Editor verfügt über die wichtigsten Funktionen, um kurze Beiträge zu schreiben, allerdings fehlen ihm tiefere Optionen wie Bild hochladen oder Tabellen oder Formeln erstellen.

Einige Prüfenden an der FH nutzen ihn, um simple Programmcodes schreiben zu lassen, die sie dann im Anschluss über den Export der Antworten gesondert automatisch auswerten.

Andere nutzen ihn, um kurze Statements abzufragen. Auch kann, trotz des Titels, eine primitive automatisierte Bewertung passieren bzgl. der Wörter im Text.

Der Datei-Upload ermöglicht es, sehr gut handschriftlich bearbeitete Aufgaben hochzuladen, insbesondere interessant bei Take Home-Prüfungen, oder das Arbeiten mit weiteren Tools, wie CAD oder Excel. Hier können auch erlaubte Datei-Endungen angegeben werden, um sicherzustellen, dass nur Dateien im richtigen Format hochgeladen werden.

Prüfungserstellung

Die Aufgaben zur Prüfung werden im Normalfall im eigenen Vorbereitungsbereich in Fragenpools erstellt bzw. bestehende Aufgaben angepasst.

Wenn Sie noch keinen Vorbereitungsbereich haben, melden Sie das an Ihre:n DoLL-Standort-Berater:in. Prüfungen finden in Kursen statt, die pro Semester-Kategorie unterteilt sind. Diese Kurse werden durch DoLL-Mitarbeiter:innen anhand von Templates oder vom Prüfenden erstellt. Im Nachgang passen Prüfende noch die Informationen, Zeiten und ausgewählte Fragen an.

Prüflinge werden auf Wunsch durch DoLL anhand einer Liste aus Matrikelnummern hinzugefügt, Prüfende können dies aber auch selbstständig durchführen. Der Kurs und Objekte werden 24 h vor der Prüfung durch DoLL final gegengecheckt, um einen fehlerfreien Ablauf der Prüfung sicherzustellen.

(Automatische) Korrektur und Notenvergabe

Die automatische Korrektur muss nicht gesondert gestartet werden und läuft parallel zur Prüfung.

Die Bepunktung vieler automatisch korrigierbarer Aufgaben kann im Anschluss noch angepasst werden, sodass diese Aufgaben für alle automatisch neu korrigiert werden. Dies ist aber nicht immer möglich bei z.B. bei zufälliger Fragenauswahl.

Weiterhin ist immer die manuelle Korrektur möglich, auch bei schon automatisch korrigierten Aufgaben. Diese kann nach der Prüfung pro Prüfling oder pro Frage passieren und besteht aus einer Bepunktung und einem Kommentarfeld.

Prüfende vergeben ein nach Prozentstufen gestaffeltes Notenschema, das immer im Nachgang noch angepasst werden kann. Noten werden automatisch nach diesem Schema vergeben.

Die Noten sind erst gültig, wenn sie auf QIS veröffentlicht werden. Es ist ein einfacher Abgleich der Noten mittels des Prüfungsexports möglich.

Einsicht und Archivierung

Einsichten können über EA ILIAS stattfinden. Auch hier ist es möglich, diese am eigenen oder FH-Gerät, vor Ort oder zu Hause durchzuführen. Alternativ können die Prüfenden auch Ausdrucke der Prüfungsergebnisse austeilen oder individuelle Einsichten vor Ort oder per Webex durchführen, um eine Verbreitung der Aufgaben einzuschränken.

Der EA ILIAS spiegelt in regelmäßigen Abständen seine Inhalte auf einen RWTH-Server, somit sind die Prüfungen für die nächsten Jahre gesichert.

Diese Sicherung ist nicht das Gleiche und insbesondere nicht gleichwertig zu einer verpflichtenden Archivierung der Inhalte. Für die Archivierung der Prüfung sind die Fachbereiche zuständig.

Abschließende Worte und weitere Infos

Mit neuen Technologien, wie z.B. ChatGTP werden auch bei den Prüfungen innovativere Lösungen zum Prüfen immer wichtiger, insbesondere wenn keine Aufsicht geleistet werden kann.

Ein eigener Artikel zu ChatGTP und ähnliche KI-Systeme, in dem Vorteile, Herausforderungen und neue Möglichkeiten der neuen Technologien beschrieben werden, wird bald erscheinen.

BYOD umfasst noch mehr als nur Prüfungen. Wir nutzen BYOD im Hochschulalltag schon längst, siehe Artikel von Laura Heine. Auch hier wird es in nächster Zeit einen tieferen Artikel zu BYOD-Prüfungen geben, der näher auf die Herausforderungen und Chancen einhergehen.

Mehr Infos zu E-Prüfungen finden Sie auch in den folgenden Artikeln:

• https://zhq-blog.fh-aachen.de/digitalisierung/zhq-goes-eps/
• https://zhq-blog.fh-aachen.de/allgemein/ldi-handreichung-zu-online-pruefungen/
• https://zhq-blog.fh-aachen.de/digitalisierung/die-zukunft-der-epruefungen-an-der-fh-aachen/
• https://zhq-blog.fh-aachen.de/lehren-und-lernen-gestalten/warum-eine-klausur-wieder-in-praesenz/
• https://zhq-blog.fh-aachen.de/digitalisierung/erfahrungen-mit-online-pruefungen/

Wenn Sie Fragen oder Anregungen zu E-Prüfungen haben, schreiben Sie diese gerne in die Kommentare. Wenn Sie direkt mit Ihrer DoLL-Standortberatung in Kontakt treten wollen, schreiben Sie uns an DoLL-support@fh-aachen.de.