Während es im Hochschuldiskurs und hier im Blog in der Regel um den Einsatz oder die Berücksichtigung von KI in der Hochschullehre geht, ist auch das Interesse im Feld der Evaluation von Studium und Lehre groß. Nur feldspezifische Informationen sind rar.
ChatGPT selbst nennt 10 Potentiale, die künstliche Intelligenz (KI) für die Evaluationsforschung eröffnet, darunter Text- und Sentiment-Analyse, automatisierte Codierung, Trendvorhersagen und Mustererkennung in der Datenanalyse sowie automatisierte Berichterstellung und Präsentation. Da wundert es nicht, dass sich Leute in sämtlichen Netzwerken rund um die Evaluation von Studium und Lehre mit KI befassen und die Möglichkeiten ausloten.
Ein erster Austauschworkshop zum Thema der Deutschen Gesellschaft für Evaluation (DeGEval) war unmittelbar ausgebucht. Wer in diesem Jahr zur Jahrestagung der DeGEval fährt, wird gespannt sein auf die Veranstaltung unter dem Titel „Alles ChatGPT oder was?“, in der Chancen und Herausforderungen Künstlicher Intelligenz in der Evaluation diskutiert werden. Im Arbeitskreis Absolventenstudien NRW sowie im Arbeitskreis Evaluation der HAW in NRW haben sich Arbeitsgruppen zum Thema gebildet, die sich etwa mit der Ergebnisqualität KI-gestützter Prozesse, den zu berücksichtigenden Datenschutzaspekten sowie aktuellen Fortbildungs- und Informationsangeboten beschäftigen.
Wer das tut, wird herausfinden, dass sich keines der aktuell verfügbaren Tools zur verlässlichen Literaturrecherche eignet (schade). Sinnvolle Anwendungsfelder für die Konsultation von Chatbots aber reichen von der „Inspiration“ in der Entwicklung von Evaluationskonzepten und Fragebögen über die Programmierung von Syntaxen für SPSS oder Python bis zur Verfassung oder Zusammenfassung von Berichten. Entscheidend hier ist die Kompetenz der Anwender:innen, möglichst spezifische Prompts zu erstellen und das Ergebnis auf Plausibilität und unter fachlichen Gesichtspunkten zu prüfen. „Die menschliche Expertise bleibt wichtig, um die Ergebnisse angemessen zu interpretieren und auch ethische und Datenschutzfragen zu berücksichtigen“, räumt auch ChatGPT ein. KI kann unsere Arbeit offenbar nicht einfach ersetzen, nur verlangt die Entwicklung neue Kompetenzen für die Anwendung von KI, eine Kenntnis über geeignete Tools und ein neues Verantwortungsbewusstsein in ihrer Anwendung.
Insbesondere die Auswertung von Freitexten geht nach aktuellen Erfahrungen mit zahlreichen Schwächen und Herausforderungen einher. So lässt sich die Kategorisierung bei den zur Verfügung stehenden Softwarelösungen häufig nicht ausreichend nachvollziehen, weil es keine begleitenden Memos oder Codierleitfäden gibt, die Einblick in die Logik der Datenaufbereitung geben könnten. Genau diese Nachvollziehbarkeit von Analysen stellt jedoch ein zentrales Gütekriterium wissenschaftlicher – und somit auch evaluativer – Methodik dar. Insofern braucht es Softwaresysteme, die KI-Funktionen in sinnvoller Weise integrieren und durch die Anwender:innen kontrolliert einsetzbar machen. Mit Spannung wird hier verfolgt, welche Entwicklungen zur KI-gestützten Datenanalyse etwa MAXQDA (eines der führenden Softwarepakete für qualitative Datenanalysen) oder Evasys (führender Anbieter von webbasierten Befragungs- und Prüfungssystemen u.a. im Hochschulwesen) bieten. Darüber hinaus ist mit einer weiterhin rasanten Entwicklung neuer Softwaresysteme, Suchmaschinen und Assistenzen zu rechnen, denn der Hype um die Entwicklung weiterer KI-gestützter Lösungen wird wohl noch eine Zeit anhalten. Man ertrinkt ja förmlich in KI-News (wenn man einmal die Fühler danach ausgestreckt hat).
Ich habe ChatGPT gefragt, wie man hier die Ruhe bewahren soll: „Um in der Welt der Künstlichen Intelligenz Ruhe zu bewahren und den Überblick zu behalten, ist es ratsam, klare Prioritäten zu setzen, vertrauenswürdige Informationsquellen zu nutzen und sich auf Ihre spezifischen Ziele und praktischen Anwendungen zu konzentrieren. Gleichzeitig sollten Sie nicht vergessen, regelmäßige Pausen und Erholungszeiten einzuplanen, um die Informationsflut zu bewältigen und Ihre Effektivität zu steigern.“
Legen wir also hin und wieder eine Pause ein, verfolgen unaufgeregt die Nachrichten aus der Fachcommunity und tauschen uns weiter in entspannter Runde oder hier auf dem Blog darüber aus. Ich freu mich darauf!
1 Kommentar
Nachtrag: Die KI-Funktionen von Evasys und MAXQDA befinden sich noch in der Entwicklung, stehen aber für Endverbraucher zur Verfügung (für MAXQDA im Falle einer Lizenz als kostenlose Beta-Version). Über aktuelle Webinare am 21. und 22. September ließ sich ein Einblick gewinnen. Beide Tools eignen sich ausschließlich zur Textanalyse. Die KI-Funktion in Evasys Insights erlaubt die Bildung von Kategorien, also semantisch ähnlichen Blöcken. Zusätzlich werden Keywords in Form von Wortwolken je Kategorie, der Anteil an positiven, neutralen und negativen Sentiments sowie die einzelnen codierten Stellen aufgeführt (inkl. einer Angabe darüber, wie wahrscheinlich dieses Sentiment zur Kategorie passt). Der AI Assistent in MAXQDA bietet neben der Hauptfunktion, Code-Summaries für mehrere selbst kodierte Segmente sowie Paraphrasierungen zu erstellen, ebenfalls die Möglichkeit Texte zu strukturieren, also Codes und Subcodes, Kategorien, Themen oder Keywords herausarbeiten. Dieser AI Assistent basiert auf ChatGPT 3.5, sei aber weniger halluzinierend, d.h. die Ergebnisse sind konsistenter auch über mehrere Vorgänge z.B. Zusammenfassungen hinweg. Nähere Infos gibt es hier: https://www.maxqda.com/de/produkte/ai-assist#! & https://evasys.de/events/produktvorschau-evainsights-am-20-10-2022-1000-1100-uhr/.