Unsichtbare Unicode-Zeichen und Markdown-Reste aus LLM-Outputs entfernen und BPE-Tokens lokal schätzen
Wer Texte oder Code aus ChatGPT, Claude oder Gemini in CMS oder Editoren übernimmt, kämpft oft mit Asterisken, Heading-Hashes und unsichtbaren Unicode-Artefakten. Es gibt Wege zur lokalen Bereinigung und Token-Schätzung.
Wenn Entwickler und technische Redakteure generierten Text, Dokumentation oder Code-Snippets aus ChatGPT, Claude oder Gemini in ein CMS, Notion, Gmail oder einen Code-Editor kopieren, treten immer wieder zwei Probleme auf:
Um beide Probleme ohne jegliche Serveraufrufe zu loesen, habe ich als Teil von TextScope zwei neue Utilities entwickelt, die zu 100% clientseitig laufen.
Versteckte Unicode-Zeichen schleichen sich haeufig in kopierten Text aus Rich-Text-Editoren, PDFs und AI-Chat-Oberflaechen ein:
Mit dem AI Text Cleaner & Markdown Stripper koennen Sie beliebige LLM- oder PDF-Ausgaben einfuegen und genau festlegen, was direkt lokal in Ihrem Browser bereinigt werden soll:
In normalem englischen Fliesstext entspricht 1 Token etwa 0.75 Woertern (oder ungefaehr 4 Zeichen), was bedeutet, dass 1.000 Woerter rund 1.330 Token ergeben. Quellcode, JSON-Schluessel, Markdown-Tabellen und CJK-Schriften (Japanisch, Koreanisch, Chinesisch) weisen jedoch ein hoeheres Token-zu-Zeichen-Verhaeltnis auf (1,2 bis 1,8 Token pro Zeichen).
Alle Tools der Suite laufen zu 100% lokal im Browser (keine Registrierung, keine Uploads auf Server) und unterstuetzen 6 Sprachen (Englisch, Spanisch, Deutsch, Portugiesisch, Japanisch und Koreanisch):
Die vollstaendige mehrsprachige Dokumentation sowie Referenz-Benchmarks finden Sie ausserdem im oeffentlichen GitHub-Repository: GS-Seven/textscopes auf GitHub.
Feedback und Vorschlaege fuer neue Funktionen sind sehr willkommen!
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
When copying generated text, documentation, or code snippets from ChatGPT, Claude, or Gemini into a CMS, Notion, Gmail, or code editor, two recurring issues come up for developers and technical writers:
To solve both problems with zero server round-trips, I built two new 100% client-side utilities as part of TextScope.
Hidden Unicode characters often sneak into copied text from rich-text editors, PDFs, and AI chat interfaces:
With the AI Text Cleaner & Markdown Stripper, you can paste any LLM or PDF output and toggle exactly what to clean locally in your browser:
In standard English prose, 1 token ≈ 0.75 words (or roughly 4 characters ), meaning 1,000 words is ~1,330 tokens. However, source code, JSON keys, Markdown tables, and CJK scripts (Japanese, Korean, Chinese) have a higher token-to-character ratio ( 1.2–1.8 tokens per character ).
All tools in the suite run 100% locally in the browser (no sign-up, no server uploads) and support 6 languages (English, Spanish, German, Portuguese, Japanese, and Korean):
You can also check out the full multilingual documentation and reference benchmarks in the public GitHub repository: GS-Seven/textscopes on GitHub.
Feedback and feature suggestions are very welcome!