Was ist ein Token?
Kurz gesagt
Ein Token ist ein kleines Stück Text. Sprachmodelle lesen und schreiben nur in solchen Stücken. Wir schauen uns an, was das bedeutet.
Das Wichtigste in Kürze
- Token = kleines Stück Text
- Oft ein Wort oder Wortteil
- Auch Satzzeichen und Leerzeichen
- Es gibt zu viele Wörter
- Wortteile passen auch für neue Wörter
- Rechtschreibfehler bleiben lesbar
- "Haus" ist meist ein Token
- "Hausaufgabe" wird oft geteilt
Zum Nachlesen: Was im Video sagt
EinleitungEin Token ist ein kleines Stück Text. Sprachmodelle lesen und schreiben nur in solchen Stücken. Wir schauen uns an, was das bedeutet.
Text in kleinen StückenEin Computer kann Text nicht am Stück lesen. Er zerlegt ihn in kleine Stücke, und so ein Stück heißt Token. Ein Token ist oft ein ganzes Wort, manchmal nur ein Teil davon.
Warum nicht einfach Wörter?Man könnte jedes Wort einzeln speichern, aber es gibt unendlich viele Wörter. Darum lernt das Modell lieber Bausteine. Aus bekannten Bausteinen kann es auch ein Wort zusammensetzen, das es noch nie gesehen hat.
Ein BeispielEin kurzes, häufiges Wort wie Haus ist meistens ein einziges Token. Ein langes Wort wie Hausaufgabe wird dagegen oft in mehrere Teile zerlegt. Weil Deutsch viele lange Wörter hat, braucht der gleiche Satz auf Deutsch meist mehr Token als auf Englisch.
Token sind ZahlenJedes Token bekommt eine feste Nummer aus einer langen Liste. Das Modell rechnet dann nur mit diesen Zahlen, denn Buchstaben versteht es nicht. Am Ende werden die Zahlen wieder in Text zurückverwandelt.
Warum das wichtig istBeim Bezahlen von KI-Diensten zählt man keine Wörter, sondern Token. Auch der Platz, den ein Modell gleichzeitig lesen kann, wird in Token gemessen. Und beim Antworten entsteht der Text Stück für Stück, immer ein Token nach dem anderen.
Zum SchlussEin Token ist also ein kleines Stück Text mit einer Nummer. Wer in Token denkt, versteht Preise, Grenzen und Geschwindigkeit von KI besser.
