Плохой OCR ломает поиск RAG: как отличить ошибку распознавания от поиска

Если из скана извлекли «возврат в теченне 1О днеи», поисковик работает уже с искажённым основанием. Разработчик может менять эмбеддинги и промпт, не замечая, что дата, отрицание или единица потерялись до индексирования. Сначала сравните изображение страницы и текст, который получил загрузчик.

Особое внимание уделяйте символам, меняющим решение: «не», десятичной запятой, номеру пункта и буквам внутри числового кода. Красивый читаемый абзац не гарантирует точного извлечения.

Где возникает ошибка

Данные ниже вымышлены: они показывают способ разбора, а не измерения действующего сервиса.

Нормализация способна исправить часть шумов, но автоматическая замена букв цифрами создаёт новые ошибки. Для артикула буква О может быть настоящей буквой. Поэтому сохраняйте исходное изображение и связь извлечённого фрагмента со страницей.

Низкое качество распознавания лучше отмечать явно. Помощник может предложить открыть оригинал или запросить более качественный документ вместо уверенного вывода по сомнительному числу.

Как воспроизвести проблему

Создайте контрольный набор страниц с числами, таблицами и отрицаниями. Разметьте важные поля вручную. Проверьте последовательно точность извлечения, наличие правильного фрагмента в индексе и качество ответа. Такая цепочка показывает первый сломанный этап.

Сохраняйте версию распознавателя и параметры подготовки изображения. После смены инструмента пересмотрите именно сложные страницы, а не только среднюю длину полученного текста. Для критических полей добавьте контроль допустимых форматов и явное подтверждение человеком. Ошибки извлечения учитывайте отдельно от ошибок языковой модели.

Что учитывать при переносе

Доля распознанных символов не описывает риск конкретного ответа: одна потерянная частица может быть важнее десятков опечаток. Выбор ручной проверки зависит от последствий, а не только от общего процента качества.

Метаданные фрагмента позволяют хранить страницу и признаки извлечения; исправление OCR не является функцией векторной близости. Официальная документация помогает уточнить технический механизм; предложенный диагностический протокол — наш учебный пример.

Если хотите связать этот разбор с системной практикой, посмотрите программу Vector DB & RAG Developer на Latorn: она охватывает векторный поиск с фильтрами, гибридную выдачу и оценку RAG. Перед оплатой сопоставьте требования курса со своим опытом и задачей проекта.

Следующий шаг: RAG на практике: документы, поиск и качество ответов. По смежным вопросам: Многоязычный RAG: как проверить поиск русских вопросов по английским документам, Маскирование персональных данных ломает RAG: как сохранить нужные связи.