Что такое RAG и как устроена RAG-система

Зачем RAG, если можно положить документы в промпт

Для нескольких коротких файлов прямой контекст действительно проще. Но большая база не помещается в окно модели, стоит дорого и содержит много нерелевантного текста. Retrieval выбирает небольшой набор фрагментов под конкретный вопрос.

RAG полезен, когда данные часто обновляются, должны оставаться внутри компании или когда ответу нужны проверяемые источники. Он не всегда нужен: для стабильной классификации, перевода или генерации текста без собственной базы знаний retrieval может только усложнить систему.

Основные точки отказа:

• документ не попал в индекс;
• chunking разорвал важный контекст;
• embedding-модель плохо отражает предметную область;
• нужный чанк не вошёл в top-k;
• LLM проигнорировала найденный текст или придумала вывод сверх источников.

Поэтому качество RAG нельзя оценивать только по красоте финального ответа.