Divisor de Texto para IA — RAG e Embeddings

Para a maioria dos modelos de embedding (text-embedding-3-small, text-embedding-ada-002, Cohere Embed), 256–512 tokens é o ponto ideal. Chunks maiores carregam mais contexto, mas podem diluir o sinal semântico. Para janelas de contexto de LLM, você pode ir até 2000–4000 tokens por chunk dependendo de quantos chunks recupera de uma vez.

Sobreposição é o número de tokens/caracteres compartilhados entre chunks consecutivos. Sem sobreposição, uma frase que cai exatamente em um limite de chunk é dividida entre dois chunks, perdendo contexto. Uma sobreposição de 10–20% (ex: 50 tokens para chunks de 512) garante continuidade entre chunks adjacentes.

Dividir por tokens é mais preciso para limites de LLM e modelos de embedding. Dividir por caracteres dá tamanhos determinísticos — útil quando o sistema downstream mede bytes ou caracteres. O modo de parágrafos é melhor para preservar a estrutura natural do documento.

Não. O divisor tenta quebrar em limites de parágrafo primeiro, depois em pontuação de fim de frase, depois em espaços de palavras. Só quebra no meio de palavras se nenhum limite melhor for encontrado.

Sem limite rígido — a ferramenta roda inteiramente no seu navegador. Textos muito grandes (acima de 1 milhão de caracteres) podem deixar o navegador lento durante o processamento, mas não há restrição do lado do servidor.

Sim. A URL é atualizada automaticamente enquanto você digita. Copie da barra de endereço ou use o botão Compartilhar — quem abrir verá seus dados exatos já preenchidos.