Divisor de Texto para IA — RAG y Embeddings

Para la mayoría de modelos de embedding (text-embedding-3-small, text-embedding-ada-002, Cohere Embed), 256–512 tokens es el punto óptimo. Chunks más grandes llevan más contexto pero pueden diluir la señal semántica. Para ventanas de contexto de LLM, puedes llegar hasta 2000–4000 tokens por chunk dependiendo de cuántos chunks recuperas a la vez.

El solapamiento es el número de tokens/caracteres compartidos entre chunks consecutivos. Sin solapamiento, una oración que cae exactamente en un límite de chunk se divide entre dos chunks, perdiendo contexto. Un solapamiento del 10–20% (ej: 50 tokens para chunks de 512) asegura continuidad entre chunks adyacentes.

Dividir por tokens es más preciso para los límites de LLM y modelos de embedding. Dividir por caracteres da tamaños determinísticos — útil cuando el sistema downstream mide bytes o caracteres. El modo párrafo es mejor para preservar la estructura natural del documento.

No. El divisor intenta romper en límites de párrafo primero, luego en puntuación de fin de oración, luego en espacios de palabras. Solo rompe en medio de palabras si no se encuentra un límite mejor.

Sin límite rígido — la herramienta corre completamente en tu navegador. Textos muy grandes (más de 1 millón de caracteres) pueden hacer que tu navegador se ralentice durante el procesamiento, pero no hay restricción del lado del servidor.

Sí. La URL se actualiza automáticamente mientras escribes. Copia el enlace desde la barra de direcciones o usa el botón Compartir — quien lo abra verá tus datos ya cargados.