KI-Text-Teiler — RAG und Embeddings

Für die meisten Embedding-Modelle (text-embedding-3-small, text-embedding-ada-002, Cohere Embed) ist 256–512 Tokens der optimale Bereich. Größere Chunks tragen mehr Kontext, können aber das semantische Signal verwässern. Für LLM-Kontextfenster kannst du je nach Anzahl der abgerufenen Chunks bis zu 2000–4000 Tokens pro Chunk gehen.

Überlappung ist die Anzahl von Tokens/Zeichen, die zwischen aufeinanderfolgenden Chunks geteilt werden. Ohne Überlappung wird ein Satz, der genau an einer Chunk-Grenze liegt, auf zwei Chunks aufgeteilt und verliert Kontext. Eine Überlappung von 10–20% (z.B. 50 Tokens bei 512-Token-Chunks) gewährleistet Kontinuität zwischen benachbarten Chunks.

Die Aufteilung nach Tokens ist genauer für LLM- und Embedding-Modelllimits. Die Aufteilung nach Zeichen ergibt deterministische Größen — nützlich, wenn das nachgelagerte System Bytes oder Zeichen misst. Der Absatz-Modus eignet sich am besten zur Bewahrung der natürlichen Dokumentstruktur.

Nein. Der Text-Teiler versucht zunächst an Absatzgrenzen zu trennen, dann an Satzschluss-Interpunktion, dann an Wortleerzeichen. Nur wenn kein besserer Trennpunkt gefunden wird, erfolgt ein Schnitt mitten im Wort.

Keine harte Begrenzung — das Tool läuft vollständig in deinem Browser. Sehr lange Texte (über 1 Million Zeichen) können die Verarbeitung verlangsamen, aber es gibt keine serverseitige Einschränkung.

Ja. Die URL aktualisiert sich während du tippst. Kopiere den Link aus der Adressleiste oder klicke auf Teilen — wer den Link öffnet, sieht deine Eingaben bereits ausgefüllt.