Чанкинг для RAG: размер чанка и overlap

Чанкинг — разбиение документа на фрагменты перед вычислением эмбеддингов. От границ чанка зависит, сможет ли поиск вернуть точный ответ вместе с необходимым контекстом.

Почему нельзя индексировать документ целиком

Один вектор для длинного документа усредняет сразу несколько тем. Вопрос про конкретный пункт договора может оказаться близок к документу в целом, но модель получит десятки нерелевантных страниц. Слишком маленькие чанки дают обратную проблему: нужная фраза находится, но определение, условие или заголовок остаётся в соседнем фрагменте.

Базовые параметры:

• chunk size — максимальный размер фрагмента в токенах или символах;
• overlap — часть текста, повторяющаяся между соседними чанками;
• separator — предпочтительные границы: раздел, абзац, предложение, пробел.

Универсального числа нет. Для FAQ подойдут короткие фрагменты, для юридических условий и технических инструкций часто нужен больший контекст.