AIテキスト分割ツール — RAGと埋め込み向け
このツールとは AIテキスト分割ツール — RAGと埋め込み向け
テキスト分割ツール（チャンカー）は、長いドキュメントをLLMのコンテキストウィンドウや埋め込みモデルの入力サイズに合わせて小さなチャンクに分割するツールです。RAG（検索拡張生成）システム・ベクターデータベース・セマンティック検索パイプラインの構築において必須の処理ステップです。日本語テキストは単語間にスペースがないため、段落・文末記号を基準とした分割が特に効果的です。
使い方
- 分割したいテキストを入力欄に貼り付ける。
- 分割モードを選択する：トークン（LLMに最適）・文字数（厳密なサイズ管理）・段落（自然な区切り）。
- チャンクサイズ（例：512トークン）とオーバーラップ（例：50トークン）を設定する。
- テキストを分割ボタンをクリックすると各チャンクが表示される。
- 各チャンクのコピーボタンで個別にコピーする。
こんなときに便利
50ページのPDFをベクターデータベースに取り込みたいときは、テキストを貼り付けて512トークン・50トークンオーバーラップに設定してください。約80チャンクに分かれ、文の境界がそのまま保たれます。オーバーラップが切れ目の前後に十分な文脈を残すため意味が失われず、そのまま埋め込みモデルに渡せます。
よくある質問
RAGに適したチャンクサイズはどれくらいですか？
ほとんどの埋め込みモデル（text-embedding-3-small、Cohere Embedなど）では256〜512トークンが最適です。大きなチャンクはコンテキストを多く含む一方、セマンティックな精度が低下する場合があります。
オーバーラップとは何ですか？
オーバーラップは隣接するチャンク間で共有されるトークン・文字数です。オーバーラップがないと、チャンクの境界で文が切断されて文脈が失われます。10〜20%程度のオーバーラップ（例：512トークンのチャンクに50トークン）が推奨されます。
文の途中で切断されますか？
なるべく段落の区切り、次に文末記号、次に単語境界で分割します。それでも適切な区切りが見つからない場合のみ、単語の途中で切断します。