Haben Sie sich jemals gefragt, wie Chatbots funktionieren und warum sie in so vielen Bereichen genutzt werden?
Wir gehen in diesem Artikel kurz darauf ein, warum ein Chatbot ein nĂŒtzliches Tool fĂŒr viele Einsatzbereiche sein kann und etwas ausfĂŒhrlicher wie er funktionert. Wir werden nicht auf das Training und die interne FunktionalitĂ€t von neuronalen Netzwerken eingehen.
Der Artikel basiert auf dem Inhalt des FH-internen KI-Weiterbildungsvortrags aixpierence 01. Die aixpierence 01 bietet zusÀtzlich noch eine Demonstration eines Chatbots.
Warum ĂŒberhaupt Chatbots?
Chatbots bieten Lehrenden im Hochschulalltag wertvolle UnterstĂŒtzung, indem sie beispielsweise bei der Ideenfindung, Konzeptentwicklung und Planung von Lehrveranstaltungen helfen. Sie optimieren die Textverarbeitung durch Ăbersetzen, Erstellen und Strukturieren von Inhalten, was die VerstĂ€ndlichkeit steigern und Arbeitsprozesse effizienter gestalten kann. In der Kommunikation erleichtern sie durch E-Mail-Zusammenfassungen und sprachgesteuerte Assistenten den schnellen Austausch. Zudem bieten sie einen schnellen Zugang zu wissenschaftlichen Informationen und unterstĂŒtzen beim Einstieg in neue Themenbereiche.
Gleichzeitig ist auch eine Nutzung als speziell vortrainierte Lern-Assistenz (KI-Tutor:in) fĂŒr die Studierenden denkbar, wenn gleich der rechtliche Rahmen noch in Teilen abgeklĂ€rt werden muss.
Wasân Ellellemm?
LLM steht fĂŒr Large Language Model. Ziel eines LLMs ist es, (menschliche) Sprache zu verstehen und zu erzeugen.
Das bedeutet, dass es mithilfe eines gegebenen Textes vorhersagen kann, welches âWortâ mit hoher Wahrscheinlichkeit als nĂ€chstes folgt. Diese Vorhersagen sind das HerzstĂŒck der Funktionsweise eines Chatbots. Warum wir âWortâ in AnfĂŒhrungszeichen setzen, wird unten erklĂ€rt.
Es funktioniert Ă€hnlich zu den WortvorschlĂ€gen einer Handytastatur, in der der eingetippte Kontext (hier âHalloâ) genutzt wird, um nĂ€chste Wörter vorherzusagen:
Wichtig ist, dass das LLM selbst kein spezifisches „Wort“ auswĂ€hlt. Stattdessen berechnet es fĂŒr jedes mögliche „Wort“ eine Wahrscheinlichkeit, die angibt, wie passend dieses Wort als nĂ€chstes wĂ€re. Das bedeutet, das LLM erstellt lediglich eine Rangliste der möglichen Wörter nach ihrer Wahrscheinlichkeit.
Von Wörtern zu Token
Ein groĂes Problem bei der Vorhersage von Wörtern ist, dass es einfach so viele gibt, dass eine schnelle Vorhersage die Rechenleistung moderner Systeme ĂŒbersteigt.
Allein im Deutschen gibt es mehrere Hunderttausend bis mehrere Millionen Wörter und dies nur in der Grundform. Dabei beherrschen moderne LLMs hÀufig mehrere Sprachen.
Deswegen meinen wir wenn wir ĂŒber âWörterâ sprechen, in Wirklichkeit Token. Token sind kurze Textabschnitte ggfs. mit Satzzeichen.
Der Beispielsatz  âDas Wetter ist schönâ wird in die Token âDasâ, â_Wetterâ, â schâ, âönâ und â.â aufgeteilt. Bemerken Sie dabei, dass die Leerzeichen, z.B. bei â Wetterâ Teil des Tokens sind.
Diese ca. 50 000 Token lassen sich in der Art kombinieren, dass jegliche Wörter und SÀtze damit gebaut werden können.
Jeder Token hat eine eindeutig zugeordnete Zahl, die sogennante Token-ID, z.B. â Wetterâ entspricht der Token-ID 19236 und âönâ der Token-ID 526.
Vereinfacht gesagt, unterteilt der Chatbot den bisherigen Chatverlauf in seine Token und gibt die zugehörigen Token-IDs weiter an das LLM. Dieser gesamte Vorgang heiĂt Tokenisierung.
Das LLM nutzt dann diese IDs um eine Vorhersage fĂŒr die nĂ€chste Token-Rangliste zu erzeugen. Ein spezieller Token ist der sogenannte Endtoken, der dem Chatbot signalisiert, dass eine Chatnachricht vollstĂ€ndig ist und nun die andere GesprĂ€chsseite anfĂ€ngt.
Was unterscheidet ein LLM von einem Chatbot?
Oft werden die Begriffe sinngleich verwendet, aber es gibt klare Unterschiede. Wir wagen einen Vergleich mit Körper und Gehirn, wobei das das LLM dem Gehirn und der Chatbot dem Körper entspricht:
Der Chatbot nimmt die Eingaben der Nutzer auf und angepasst gibt sie an das LLM weiter, so wie der Körper Signale ĂŒber die Sinne aufnimmt und diese in passender Form  an das Gehirn weitergibt. Das LLM analysiert und generiert eine Antwort, die dann in angepasster Form (Tokenisierung) an den Chatbot gesendet und weiterverarbeitet wird, so wie der Körper Signale des Gehirns umwandelt und so mit der Umwelt interagiert.
Ablauf eines Chatbot Chats
Ein GesprÀch mit einem Chatbot passiert Àhnlich wie ein GesprÀch auf einem Messenger Dienst, wie WhatsApp oder Signal, nur dass auf der anderen Seite kein Mensch sitzt:
- Sie schicken eine Nachricht
- Der Chatbot tokenisiert den bisherigen Chatverlauf und gibt ihn ans LLM
- Das LLM erstellt aufgrund des Kontexts eine Rangliste fĂŒr die nĂ€chsten Token und gibt diese an den Chatbot
- Der Chatbot wÀhlt einen der wahrscheinlichsten Token aus.
- Wenn der Endtoken erreicht wird, beginnt dieser Ablauf wieder von vorne, also bei 1.Â
- Wenn der Token nicht der Endtoken ist, wird die Antwort um diesen ergÀnzt und der Ablauf springt zu 2.
HĂ€ufige Fragen zu Chatbots
Warum nutzt der Chatbot nicht den wahrscheinlichsten Token, sondern nur einen der wahrscheinlichsten?
Wenn immer der wahrscheinlichste genommen wird, werden die GesprĂ€che sehr mechanisch und unkreativ, allerdings werden sie mit dem zufĂ€lligen Wahl fehleranfĂ€lliger, z.B. wenn der Text â1+1=â ergĂ€nzt werden soll, wird â2â mit hoher Wahrscheinlichkeit der nĂ€chste Token sein, allerdings nicht mit hundertprozentiger.
Woher weiĂ der Chatbot eigentlich, was er sagt?
Alle generierten Token basieren auf einem Training fĂŒr Mustererkennung. Nirgends im LLM ist eine Datenbank, mit der Informationen abgeglichen wird. Wenn Sie fragen âWas ist ein Apfel?â, erhalten Sie meist eine gute und saubere Definition, die aber nicht direkt im LLM gespeichert ist, sondern durch Training auf solchen Daten erstellt wird. Die Token werden einzeln generiert, so dass das Ziel der Generierung nicht vorab geplant wird.
Wie liefert das LLM Antworten, wenn es nur den Chatverlauf sieht?
Das LLM ist darauf trainiert eine Geschichte weiterzuschreiben. Diese Geschichte ist in dem Fall eines Chatbots immer eine von zwei Instanzen, die sich austauschen.
Der Chatbot liefert aber auch noch ĂŒber einen gesonderten Prompt (Meta-Prompt), den wir nicht einsehen können, noch mehr Kontext fĂŒr das LLM. Unter anderem wird darin festgelegt, dass das der Chatbot zusammen mit dem LLM die Rolle eines hilfsbereiter Assistenten ĂŒbernimmt.
Wie lange kann ein Chat werden?
Ein Chatbot kann aufgrund der begrenzten KontextlĂ€nge eines LLMs nicht beliebig lange GesprĂ€che fĂŒhren. Wenn die maximale KontextlĂ€nge erreicht wird, vergisst der Chatbot die Ă€lteren Teile des Chats. Allerdings sind diese Kontextfenster hĂ€ufig hunderttausende Token lang, was etwa einem kurzen Roman entspricht.
Mein Chatbot hat FunktionalitÀten, die hier nicht erwÀhnt werden?
Wir versuchen die allgemeinen FĂ€higkeiten von Chatbots darzustellen. Viele Chatbots haben zusĂ€tzliche FĂ€higkeiten, wie einen Sprachmodus, Generierung von Bildern und anderen Dateien, Input von Dateien oder Internetsuchen (RAG), Erinnerung ĂŒber mehrere Chats und noch vieles mehr, die fĂŒr das grundlegende VerstĂ€ndnis nicht relevant sind.
Limitationen und Halluzinationen
Chatbots können beeindruckende Antworten geben, aber diese beruhen auf Wahrscheinlichkeitsberechnungen. Sie verfĂŒgen ĂŒber kein tatsĂ€chliches VerstĂ€ndnis der Welt. Deshalb kann es zu Fehlern, sogenannten „Halluzinationen“, kommen, bei denen der Chatbot plausible, aber inhaltlich falsche Aussagen macht.
Die eigene (Fach-)Expertise sollte vorhanden sein, um die die Ausgaben eines Chatbots nachzuvollziehen zu können..
Tipp: Ein Chatbot denkt nur bis zum nÀchstes Token. Dadurch kann er nicht einfach planen, was er schreiben möchte.
Dies kann verbessert werden, beispielsweise mit dem Chain of Thought Prompting: Damit fordern wir den Chatbot auf erst einen Gedankenablauf zu erstellen oder geben diesen selbst vor.  Dann basiert die nĂ€chste Antwort auf diesem Gedankenablauf. Einige Chatbots fĂŒhren diesen Prozess bereits automatisch durch.
Der Chatbot ist realitĂ€tsfremd. Er kennt nicht die Umwelt, weiĂ nicht wer Sie sind oder wofĂŒr Sie ihn nutzen möchten. Daher ist es wichtig, dass Sie ihren relevanten Kontext einbringen mĂŒssen um einen guten Output zu generieren. .
Fast alle LLMs sind von privaten Firmen trainiert und die fĂŒr das Training genutzten Daten sind nicht einsehbar. Dadurch entsteht ein nicht einschĂ€tzbares Bias in den Antworten. Weiterhin wissen wir auch nicht, welche anderen Moderationsmöglichkeiten einzelne Chatbots eingebaut haben.
Achtung: Die meisten Gratisversionen, aber auch viele Bezahlversionen nutzen Ihre Eingaben als Trainingsdaten fĂŒr Ihre neuen Chatbots.