Гибридный поиск в RAG: BM25, векторы и reranking

Векторный поиск хорошо находит смысловые переформулировки, но может пропускать точные артикулы, имена и редкие термины. BM25 опирается на совпадение токенов и частоты: он силён для идентификаторов и ключевых слов, но слабее понимает синонимы. Гибридный retrieval запускает оба метода и объединяет кандидатов.

Один и тот же документ хранит текст, метаданные и dense embedding; для лексического пути используется inverted index или sparse vector. По запросу система получает два ranking list, после чего выполняет fusion. Так exact match не исчезает из-за семантики, а естественная формулировка не требует точного слова из документа.

Фильтры по tenant, доступу, языку и времени применяются до выдачи контекста модели. Гибридный score не заменяет авторизацию.