Token (KI)

Definition

Ein Token ist die kleinste Texteinheit, die ein Large Language Model verarbeitet. Tokens sind nicht identisch mit Wörtern: Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein einzelnes Zeichen sein. Die Zerlegung von Text in Tokens – die sogenannte Tokenisierung – ist der erste Verarbeitungsschritt jedes LLMs.

Kontext

LLMs wie ChatGPT oder Gemini lesen keinen Fließtext, sondern verarbeiten Sequenzen von Tokens. Ein typisches Wort im Englischen entspricht etwa 1 bis 1,5 Tokens, im Deutschen oft mehr, da zusammengesetzte Wörter in mehrere Tokens zerlegt werden. Der Satz „Suchmaschinenoptimierung ist wichtig” wird beispielsweise in mehrere Tokens aufgeteilt, wobei „Suchmaschinenoptimierung” allein mehrere Tokens erzeugt.

Zentrale Aspekte der Tokenisierung:

• Kontextfenster: Jedes LLM hat ein maximales Kontextfenster, gemessen in Tokens. Es bestimmt, wie viel Text das Modell gleichzeitig verarbeiten kann
• Kosten: API-Nutzung von LLMs wird häufig pro Token abgerechnet – sowohl für Eingabe als auch Ausgabe
• Sprachunterschiede: Nicht-englische Sprachen benötigen typischerweise mehr Tokens für denselben Inhalt
• Subword-Tokenisierung: Moderne Modelle verwenden Verfahren wie Byte Pair Encoding (BPE), die häufige Wörter als einzelne Tokens und seltene Wörter als Zeichenfolgen kodieren

Praktische Relevanz

Für die GEO-Optimierung ist das Token-Konzept indirekt relevant. Da LLMs ein begrenztes Kontextfenster haben, bevorzugen KI-Suchsysteme kompakte, informationsdichte Inhalte. Lange, redundante Texte verschwenden Tokens im Kontextfenster und verringern die Wahrscheinlichkeit, dass ein KI-System den gesamten Inhalt verarbeitet. Präzise, gut strukturierte Inhalte nutzen das verfügbare Kontextfenster effizienter und erhöhen die Chance, als Quelle herangezogen zu werden.