В RAG есть ссылки, но ответ не подтверждён: как проверять цитаты

Ссылка после предложения создаёт ощущение доказательства, даже если документ говорит о другом. Отдельно проверяйте доступность страницы, нахождение нужного фрагмента и связь каждого утверждения с этим фрагментом. Проверка «в ответе присутствует хотя бы одна ссылка» контролирует оформление, а не достоверность.

Особенно легко ошибка появляется в составном ответе: модель правильно цитирует срок возврата, а затем добавляет несуществующее условие о бесплатной доставке под той же ссылкой.

Сценарий и ожидаемое поведение

Данные ниже вымышлены: они показывают способ разбора, а не измерения действующего сервиса.

Три утверждения требуют трёх отдельных решений, даже если оформлены одним абзацем. Для внутреннего контроля удобно хранить идентификатор фрагмента и диапазон текста, на котором основана цитата. Пользователю показывают удобную ссылку, а проверяющему — конкретное основание.

Нельзя считать неподтверждённое утверждение автоматически ложным. Возможно, оно верно по другому документу. Но текущая система не представила достаточного основания, и это самостоятельный класс ошибки.

Проверочный протокол

Разбейте ответы тестового набора на проверяемые утверждения. Для каждого отметьте источник, наличие прямого основания и пропущенные условия. Добавьте отрицательные примеры: подходящее название документа, устаревшая версия и правильная ссылка с нерелевантным фрагментом.

При генерации передавайте стабильные обозначения источников. После генерации проверьте, что все упомянутые идентификаторы действительно присутствовали в контексте. Это ловит выдуманные ссылки, но не заменяет смысловую проверку. Результаты анализируйте отдельно от качества поиска: нужный документ мог быть найден, а ответ всё равно исказил его.

Когда нужна другая схема

Автоматический судья также ошибается, особенно при неявных выводах и юридических формулировках. Спорные случаи требуют человеческой разметки. Не обещайте полную защиту от выдумок только благодаря наличию цитат.

Идентификаторы и метаданные фрагментов помогают сохранить происхождение текста; истинность утверждений проверяется отдельным протоколом. Официальная документация помогает уточнить технический механизм; предложенный диагностический протокол — наш учебный пример.

Если хотите связать этот разбор с системной практикой, посмотрите программу Vector DB & RAG Developer на Latorn: она охватывает векторный поиск с фильтрами, гибридную выдачу и оценку RAG. Перед оплатой сопоставьте требования курса со своим опытом и задачей проекта.

Следующий шаг: RAG на практике: документы, поиск и качество ответов. По смежным вопросам: Как обновлять документ в RAG, чтобы старые чанки не оставались в ответах, Кэш ответов RAG: как не вернуть чужой или устаревший ответ.