Ihre Sprache kostet vielleicht mehr Tokens als meine

Bei der Tokenisierung hört die englischzuerst-Annahme auf, philosophisch zu sein. Ein Tokenizer lernt, Text in Stücke zu zerlegen, und zwar nach dem, was er am häufigsten gesehen hat. Auf einem lateinischlastigen Korpus trainiert, lernt er lange, effiziente Stücke für englische Wörter und kurze, ineffiziente für alles andere. Devanagari, Thai, Koreanisch und viele weitere zerfallen für denselben Satz in deutlich mehr Tokens.

Drei Folgen, keine davon abstrakt

• Kosten: Abgerechnet wird pro Token, dieselbe Anfrage ist in manchen Sprachen also teurer.
• Kontext: In ein festes Kontextfenster passt weniger echter Inhalt, lange Dokumente werden früher abgeschnitten.
• Latenz: Mehr Tokens heißt langsamere Antwort — ausgerechnet auf den Verbindungen, die ohnehin langsamer sind.

Unangenehm ist, dass es für die Zahlenden unsichtbar bleibt. Niemand sieht einen Posten, auf dem steht, dass die eigene Schrift teurer zu denken ist. Man erlebt nur ein Werkzeug, das sich etwas schlechter anfühlt, und kann nicht sagen, warum.

Was sich wirklich tun lässt

Ein Teil davon liegt bei uns, ein Teil nicht. Wir trainieren keine Frontier-Modelle, können deren Tokenizer also nicht umschreiben. Wir können aber aufhören, das Problem zu verstärken: Prompts in der Sprache der Nutzerin kurz halten statt sie mit englischem Gerüst aufzublähen, auf Strukturebene aggressiv cachen, damit dasselbe Layout nicht jedes Mal neu hergeleitet wird, und Arbeit im Code erledigen, die gar kein Modell braucht.

Wir messen es auch. Für jede unterstützte Sprache verfolgen wir Tokens pro Build und Zeit bis zum ersten Rendern — und schauen auf den Abstand zwischen bester und schlechtester Sprache statt auf den Mittelwert. Ein Mittelwert ist genau die Art, wie ein Long Tail unsichtbar wird.

Wenn der Abstand für Ihre Sprache falsch aussieht, schreiben Sie uns, was Sie getippt haben. Dieser Bericht ist mehr wert als ein Benchmark, weil der Satz mitkommt, den ein echter Mensch wirklich schreiben wollte.