Der Fachbereich für Wirtschaftswissenschaften hat im Wintersemester 2022/-23 in Zusammenarbeit mit DoLL das erste Mal BYOD-Prüfungen angeboten, also E-Prüfungen vor Ort am eigenen Endgerät. Wir fassen in diesem Artikel kurz die Vorbereitung, Herausforderungen und Erkenntnisse nach der Durchführung zusammen.

Vorbereitung

Eine Lehrendenbefragung im Fachbereich ergab, dass mehr als zwanzig Prüfungen im Idealfall als E-Prüfungen angeboten werden sollten.

Wegen der hohen Anzahl gründete der Prodekan der Lehre Prof. Dr. Andreas Bernecker die fachbereichsinterne AG E-Prüfungen, um dort die Durchführung der BYOD-Prüfungen zu konzeptionieren. Eingeladen waren alle Prüfenden, die eine BYOD-Prüfung angedacht oder Interesse bekundet haben, Melanie Reinders vom Prüfungssekretariat und ich als Beratung.

Verfügbare Räumlichkeiten

Ursprünglich waren mehrere Räume im D-Gebäude geplant, so dass auch Prüfungen mit mehr als 300 Prüflingen gleichzeitig möglich gewesen wären.

Die Räumlichkeiten müssen sowohl über ein stabiles Eduroam-Netzwerk als auch genügend funktionierende Steckdosen verfügen. Fast alle Räume haben zwar genügend Steckdosen, diese sind aktuell aber wegen Brandschutzverordnungen nicht nutzbar.

Somit blieb am Ende nur ein Prüfungsraum, der D006. Er bietet eine 90 bis 110 Prüfungssitzplätze, je nach Sitzplatzverteilung.

Dadurch und der Tatsache geschuldet, dass er mit Klapptischen ausgestattet ist, reduzierte sich die Anzahl der durchführbaren Prüfungen auf etwa die Hälfte.

Studierende ohne passendes Endgerät schreiben im Terminalraum des FB07 an einem Hochschulrechner. Dieser Raum bietet gut vierzig Geräte.

Für die Zukunft sind auch andere Räume in Planung, sobald die Nachrüstung geklärt ist.

Endgeräte

Die nächste Herausforderung war das Erfassen der Endgeräte der Studierenden. Die zu dem Zeitpunkt veröffentliche Nutzungsbedingung des EA ILIAS schloss insbesondere alle Geräte mit mobilen Betriebssystemen, wie iPadOS oder Android, und Endgeräte ohne Keyboard aus.

Daher wurde in allen BYOD-Modulen eine Studierendenbefragung durchgeführt, die feststellte, dass insgesamt ca. ein Drittel der Studierenden über kein entsprechendes Gerät verfügen. Somit konnte die Überbuchung des Terminalraums nicht ausgeschlossen werden, da die Umfrageteilnahme zu gering war.

Die Lösung war eine Anpassung der Nutzungsbedingungen, die berücksichtigt, dass nicht alle Prüfungen nicht alle Anforderungen benötigen, z.B. sind einige ohne Keyboard und an mobilen Endgeräten durchführbar.

Damit die Studierenden Gewissheit erhalten, dass ihr Gerät für die individuelle Prüfung geeignet ist, müssen die Prüfenden, die von der ursprünglichen Nutzungsempfehlung abweichen wollen, den Prüflingen die Gelegenheit geben an einer zu ihrer Prüfung technisch identischen Probeprüfung teilzunehmen, bei der die Prüflinge ihre Endgeräte vorab testen können.

Dies hat erfolgreich funktioniert und im Schnitt haben weniger als zwei Personen pro Prüfung im Terminalraum geschrieben.

Weiterhin ausgeschlossen sind Endgeräte mit weniger als 8 Zoll wegen der Sichtbarkeit für die Aufsicht.

Täuschungsversuche

Auch wurde lange über zusätzliche Sicherheitsmaßnahmen überlegt, um Täuschungsversuche zu vermeiden. So waren Apps im Gespräch, die die Nutzung des Geräts während der Prüfung einschränken, insbesondere der Safe Exam Browser, der schon länger bei E-Prüfungen an Terminal-PCs genutzt wird.

Allerdings hat dies am eigenen Endgerät große Nachteile:

Aktuell können wir nicht einfach nachvollziehen, ob die auf den Endgeräten installierte Version von SEB die korrekte ist. Da es OpenSource ist, wäre es rein theoretisch denkbar, dass die Software angepasst wurde.  

Auch müsste genügend geschultes Personal bereitstehen, um notfalls Support zu leisten. Was machen wir mit Prüflingen, die ohne den Safe Exam Browser erscheinen oder ihn nicht während der Prüfung öffnen?

Der SEB ist nur auf MacOS, iOS und Windows verfügbar, Linux- oder Android- basierende Systeme wären also ausgeschlossen.

Somit hat sich der Fachbereich vorerst gegen eine Nutzungsempfehlung des SEB entschieden, allerdings wird die Möglichkeiten verpflichtender Apps oder Plugins zur Überwachung oder Einschränkung in Zukunft definitiv noch Thema sein.

Da unsere DVZ in dieser Zeit schwer mit den Cyberangriffen, die viele Hochschulen in NRW betrafen, beschäftigt war, haben wir auch auf weitere Maßnahmen bzgl. Einschränkung oder Überwachung des Internetzugangs verzichtet. Die DVZ konnte zum Glück schnell reagieren, so dass wir keine Ausfälle während der Prüfungsphase zu befürchten hatten.

Die Empfehlung der AG E-Prüfungen lautet, das Verhalten der Studierenden während der Prüfung einzuschränken, um schneller Auffälligkeiten zu erkennen.

So durften Studierende bei den meisten Prüfungen keine weiteren Tabs oder andere Apps geöffnet haben und der Browser war zu maximieren und wenn möglich im Vollbildmodus auszuführen, so dass besser erkennbar ist, wenn unerwünschtes Verhalten wie Kommunikation, Wechsel der Webseite, Öffnen von Dateien oder Apps passiert.

Weiterhin ist die Empfehlung für Sitzplatzverteilung, dass Studierende nicht versetzt, sondern hintereinander sitzen. Das erhöht den Sichtschutz zum vornesitzenden Prüfling, schränkt aber nicht die Möglichkeit ein die meisten Gerätebildschirme von der Empore des D006 zu überblicken.

Auch sollten Prüfungen am besten immer mit zufälliger Fragenauswahl und -Reihenfolge geschrieben werden, so dass ein möglicher Austausch deutlich erschwert wird.

Davon abweichend hat in Prüfender seine Prüfung als Open Web-Prüfung gestaltet. Es war somit alles erlaubt, außer die Kommunikation untereinander oder mit Dritten.

In der Prüfungsphase sind keine Täuschungsversuche aufgefallen, obwohl der Raum D006 einen sehr guten Überblick über alle Endgeräte gewährt.

Ausfälle

Bei einem Ausfall des Endgeräts während der Prüfung muss den Prüflingen eine Möglichkeit gewährt werden, weiterzuschreiben. Die Empfehlung ist, dass die jeweiligen Prüflinge melden müssen und werden dann anschließend in den Terminalraum gebracht, um dort weiterzuschreiben. Alternativ dazu hat ein Prüfender einen Drucker vor Ort gehabt, um ggfs. die Prüfung auszudrucken.

Aufsichtspersonal

Für jede Prüfung gibt es eine feste Raumaufsicht, diese übernehmen meist die Prüfenden selbst.

Eine Person ist zusätzliche Aufsicht und muss ggfs. bei Ausfällen die Prüflinge in den Terminalraum begleiten.

Eine Person hat Aufsicht im Terminalraum. Wenn keine Anmeldungen vorliegen, wird sie zwar vorher festgelegt, muss aber nur bei Ausfällen gerufen werden.

Eine Person von DoLL ist immer mit im Prüfungsraum, um bei technischen Fragen und Problemen schnell auszuhelfen.

Vor der Prüfung

Wie oben schon beschrieben, wurden vor den Prüfungen Umfragen erhoben, um die allgemein nutzbaren Geräte zu erfassen und Probeprüfungen angeboten, um zusätzliche für diese spezielle Prüfungen nutzbare Geräte zu erfassen.

Zusätzlich erhielten alle Prüflinge eine in der AG erstellte Handreichung, die über die Prüfung informiert.

Auch wurde eine digitale Meldestelle in ILIAS geschaffen, für diejenigen, die kein geeignetes Endgerät haben. Da sie nicht verpflichtet waren, eigene Geräte zu nutzen, konnte sich hier aber jeder melden, der möchte. Insgesamt hatten wir in 11 Prüfungen 14 Meldungen, also Schnitt etwas mehr als ein Prüfling pro Prüfung, aber nur in 6 der 11 Prüfungen kam es überhaupt zu Meldungen.

Direkt vor der Prüfung haben die meisten Prüfenden eine Beamer-Folie an die Wand geworfen die die wichtigsten Punkte, wie zu nutzende Browser, Sitzplatzverteilung, Verhalten während der Prüfung nochmal zusammenfasst und ggfs. weitere Infos, wie ein Prüfungspasswort bereithält. Die Vorlage dazu wurde auch in der AG entworfen.

Der Ablauf im Terminalraum war ähnlich.

Einblicke aus der Prüfungsdurchführung

Während der Prüfung hat sich die viele Vorarbeit bezahlt gemacht: Es gab keine Probleme, die zum Prüfungsabbruch einzelner oder gar aller geführt hätten.

Es ist kein Gerät ausgefallen, somit waren immer drei Aufsichten vor Ort.

Die technische Aufsicht wurde auch mehrfach pro Prüfung genutzt, da es manchmal zu Fehlern wie Login-Problemen oder kurzfristigen Abstürzen kam. Auch benötigt es drei Personen im Raum, damit sich immer eine Person auf der Empore befindet, um von oben die Studierenden zu beaufsichtigen.

Wenn Personen frühzeitig abgeben möchten, muss geprüft werden, dass sie wirklich abgegeben haben, da sonst außerhalb des Raums die Prüfung fortgesetzt werden kann.

Täuschungsversuche sind keine aufgefallen, allerdings ist die Frage, ob nicht trotzdem welche stattfinden natürlich weiter offen:

Klassische Täuschungsversuche wie Spickzettel sind weiterhin möglich und das Endgerät mit Internetanbindung eröffnet noch weitere Möglichkeiten, wenn auch unter Aufsicht deutlich schwieriger durchführbar.

Insgesamt wird die Durchführung im Fachbereich als sehr erfolgreich bewertet. Für das aktuelle Semester sind mehr als zwanzig BYOD-Prüfungen im Fachbereich geplant.

Falls Sie Interesse haben, BYOD-Prüfungen in Ihrem Fachbereich oder auch selbstständig durchzuführen, melden Sie sich gerne direkt an gilz@fh-aachen.de.

Sehen Sie das Thema kritisch? Sehen Sie andere Wege? Dann sehen wir uns hoffentlich in den Kommentaren.