Что такое RAG и как устроена RAG-система

Как оценивать RAG

Сначала проверяют retrieval: нашёлся ли нужный документ и на какой позиции. Для этого используют Recall@k, Precision@k и MRR. Затем отдельно оценивают генерацию: отвечает ли текст на вопрос, подтверждается ли контекстом и корректно ли указывает источники.

Хороший минимальный тестовый набор содержит реальные вопросы пользователей, ожидаемые документы и критерии ответа. После каждого изменения chunk size, embedding-модели или промпта набор прогоняют заново.

Практическая архитектура должна также хранить метаданные: источник, дату, владельца, уровень доступа. Фильтр прав применяется до передачи текста модели. Иначе качественный поиск может превратиться в утечку закрытого документа.

RAG — это поисковая система плюс генератор. Если retrieval не нашёл доказательство, модель не должна уверенно компенсировать его выдумкой.