Ragas: как построить автоматическую систему оценки RAG-проектов

Урок 1: RAGAs – автоматическая оценка Retrieval-Augmented Generation проектов

Шаг 1: Почему оценка RAG-систем сложна? Retrieval-Augmented Generation (RAG) системы состоят из нескольких компонентов – модуль поиска знаний и модуль генерации на основе LLM. При ответе на запрос пользователя сначала извлекаются релевантные фрагменты из базы знаний, затем LLM генерирует ответ с учётом этих фрагментов. Оценить качество такой цепочки непросто: нужно учитывать и насколько хорошо сработал поиск (нашёл ли он правильный контекст), и насколько корректно модель использовала этот контекст, и общее качество ответа. Проверять всё вручную – медленно и дорого. Кроме того, сбор идеального тестового датасета для RAG – сам по себе вызов. Исследователи отмечают, что оценивание RAG-приложений затруднено из-за взаимодействия нескольких компонентов и сложности сбора тестовых данных. Необходимо многомерное автоматическое решение, которое сможет быстро измерять качество RAG по разным критериям без полной зависимости от людей.

Шаг 2: Классические подходы и метрики. Ранее для оценки генеративных моделей использовали метрики вроде ROUGE или BLEU, сравнивающие сгенерированный текст с эталонным ответом. Однако в открытых задачах FAQ/чат-бота таких «идеальных» ответов может не быть, и совпадение слов не гарантирует полезность. Появились специальные подходы для RAG. Например, концепция RAG-триады метрик предлагает отдельно измерять (1) качество извлечения, (2) соответствие ответа фактам из контекста и (3) полезность ответа. Одно из недавних решений – фреймворк ARES (Automated RAG Evaluation System). Он автоматически генерирует синтетические данные и дообучает небольшие модели-судьи для оценки релевантности контекста, фактической точности и соответствия ответа. ARES показывает, что можно достичь качества оценки близкого к GPT-4, используя комбинацию небольшого количества разметки и большого объёма синтетических данных. Тем не менее, порог входа для ARES довольно высок (требуется генерация данных и обучение своих моделей). Нужен более простой в применении подход.

Шаг 3: Подход RAGAs: LLM-оценка без эталонов. В 2023–2025 гг. разработан фреймворк RAGAs (Retrieval-Augmented Generation Assessment), позволяющий автоматически оценивать качество RAG-системы без наличия ручных разметок. Идея RAGAs в том, что сам большой языковой модуль может выступать судьёй: фреймворк задаёт ему специальные промпты, чтобы он проанализировал связку вопрос – найденный контекст – ответ модели и выдал оценку по нескольким показателям. Таким образом, RAGAs стремится быть reference-free – не требующим правильного ответа для сравнения. Для работы RAGAs достаточно собрать набор из: (a) question – пользовательский запрос, (b) contexts – тексты, извлечённые из базы знаний для ответа, (c) answer – сгенерированный моделью ответ, (d) ground_truth – опционально, правильный ответ (если имеется) для отдельных метрик. Далее подключается LLM, который по специальным шаблонам оценивает качество. Такой подход существенно ускоряет цикл тестирования RAG-моделей: не нужно ждать ручной оценки, при каждом обновлении системы можно автоматически запускать RAGAs и сразу видеть, стала ли система лучше.