KI-Grundlagen
Token
Ein Token ist die kleinste Informationseinheit, in die Sprachmodelle Wörter und Sätze zerlegen, um menschliche Sprache mathematisch zu berechnen und abzurechnen.
Erklärung
Sprachmodelle verarbeiten Texte nicht Buchstabe für Buchstabe und meist auch nicht als ganze Wörter. Stattdessen nutzen sie sogenannte Tokenizer, die den Text in handliche Silben, Wortteile oder Satzzeichen zerlegen. Im Englischen entspricht ein Token grob einem dreiviertel Wort; im Deutschen sind es aufgrund von Wortzusammensetzungen und Umlauten oft etwas mehr Token pro Begriff.
Das Wort „Donaudampfschiffahrt“ würde eine KI beispielsweise in Teilbausteine wie „Donau“, „dampf“, „schiff“ und „fahrt“ trennen. Jedem Token wird eine eindeutige Zahl zugewiesen, mit der das neuronale Netz anschließend rechnen kann.
Die Anzahl der Token ist aus zwei Gründen entscheidend: Erstens bestimmt sie das sogenannte Kontextfenster – also wie viel Text ein Modell maximal gleichzeitig im Gedächtnis behalten kann. Zweitens rechnen Schnittstellen-Anbieter (APIs) ihre Kosten exakt nach verbrauchten Ein- und Ausgabe-Token ab. Wer Software mit KI-Anbindung baut, muss den Token-Verbrauch daher effizient steuern.
In der Praxis
Bei der automatisierten Auswertung von Verträgen bestimmt die Token-Länge, wie viele Seiten ein Modell auf einmal erfassen kann. Bei der Konzeption unserer Web- und App-Architekturen achten wir gezielt auf token-optimierte Datenstrukturen, um monatliche Betriebskosten für unsere Kund*innen niedrig zu halten.