Tokenizer – Token Counter für GPT, Claude & Co.

Zähle Tokens für jedes Sprachmodell direkt im Browser. Keine API, kein Login: Dein Text verlässt deinen Computer nicht. Exakte Tokenization für OpenAI-Modelle (GPT-5.x, GPT-4.1, GPT-4o, o-Serie, gpt-oss, GPT-4, GPT-3.5), eine Näherung für GPT-6 und Schätzungen für Claude, Gemini, Llama, Mistral, DeepSeek, Qwen und Grok.

Tokens
0
Zeichen
0

Was ist ein Tokenizer?

Ein Tokenizer zerlegt Text in Tokens — die kleinsten Einheiten, die ein Sprachmodell versteht. Ein Token kann ein ganzes Wort, eine Silbe, ein Satzzeichen oder ein einzelnes Byte sein. GPT, Claude, Gemini & Co. arbeiten nicht mit Zeichen oder Wörtern, sondern mit Tokens. Als Faustregel: 100 Tokens ≈ 75 englische Wörter ≈ 400 Zeichen. Im Deutschen liegt das Verhältnis wegen langer Komposita etwas niedriger.
‍

Wofür brauche ich einen Token Counter?

Ein Token Counter ist bei der Arbeit mit LLMs unverzichtbar:

  • API-Kosten berechnen — OpenAI, Anthropic und Google rechnen pro Input- und Output-Token ab.
  • Context-Fenster einhalten — jedes Modell hat ein festes Limit, das Prompt, Kontext und Antwort zusammen nicht überschreiten dürfen.
  • Prompts optimieren — Wer seinen Prompt von 5.000 auf 3.000 Tokens kürzt, spart 40 % Kosten.
  • Fine-Tuning-Daten vorbereiten — beim Training zählt jeder Token.


Wie funktioniert Tokenization?

Moderne LLMs nutzen Subword-Tokenization auf Basis von Byte Pair Encoding (BPE). Häufige Zeichenfolgen werden zu einem Token zusammengefasst, seltene in kleinere Teile zerlegt.

Beispiele (o200k_base, z. B. GPT-5.x und GPT-4o):

  • Hallo Welt → 2 Tokens
  • indivisible → 3 Tokens
  • Donauschifffahrt → 6 Tokens
  • 🙏🏾 → 3 Tokens (Emoji + Hautton-Modifier)


Unterstützte Modelle

Exakte Tokenization (OpenAI)

  • GPT-5.x, GPT-4.1, o1, o3, o4-mini (o200k_base)
  • GPT-4o, GPT-4o-mini (o200k_base) und gpt-oss (o200k_harmony)
  • GPT-4, GPT-4 Turbo, GPT-3.5-turbo (cl100k_base)
  • GPT-3 Legacy (p50k_base, r50k_base)


Näherung und Schätzung

  • GPT-6 (Näherung mit o200k_base, solange OpenAI den Tokenizer nicht veröffentlicht)
  • Claude: Opus 4.7 und neuer, Claude 5.x, Fable (neuer Tokenizer) sowie Claude 3.5 bis 4.6
  • Gemini 2.5 / 3.x, Llama 3.x / 4
  • Mistral, Mixtral
  • DeepSeek V3, R1 und neuer
  • Qwen 2.5, 3 und neuer
  • Grok 3, 4 und neuer


Warum ein Tokenizer online im Browser?

  • Datenschutz — kein Upload, keine Server-Requests, alles läuft lokal
  • Kostenlos — kein Login, kein API-Key, kein Rate-Limit
  • Live — Tokens werden beim Tippen gezählt


FAQ

Was ist der Unterschied zwischen Zeichen und Tokens?
Zeichen sind einzelne Buchstaben. Tokens sind Wortbausteine, die das Modell intern verarbeitet — im Schnitt ~3,5 Zeichen pro Token im Deutschen, ~4 im Englischen.

Wie zähle ich Tokens für GPT-4?
Modell „GPT-4" im Dropdown wählen, Text einfügen — der Token Counter zeigt die exakte Anzahl sofort.

Kann ich Tokens für Claude zählen?
Anthropic veröffentlicht den Claude-Tokenizer nicht, bietet aber eine kostenlose Token-Counting-API für exakte Werte. Hier zeigen wir eine Schätzung mit ±10–20 % Genauigkeit. Wichtig: Seit Claude Opus 4.7 erzeugt Claude für denselben Text rund 30 % mehr Tokens als ältere Modelle.

Wie viele Tokens sind 1.000 Wörter?
Englisch: ~1.300–1.400 Tokens. Deutsch: ~1.400–1.700 Tokens.

Was kosten 1.000 Tokens?
Das hängt vom Modell ab. Bei Claude Sonnet sind es zum Beispiel rund 0,002 $ Input und 0,01 $ Output (Stand Oktober 2026). Output-Tokens sind bei fast allen Anbietern deutlich teurer als Input-Tokens.

‍