OCR с правилами или мультимодальная модель: как выбрать обработку документов
Когда компании нужно извлекать суммы, даты и реквизиты из документов, выбор часто формулируют слишком широко: «какая нейросеть лучше читает PDF?». Практический вопрос другой: документ однотипный или каждый раз новый, есть ли сканы низкого качества, какие поля обязательны и что происходит при сомнении. OCR-система распознаёт изображение в текст и обычно хорошо сочетается с правилами по известным полям. Мультимодальная языковая модель может интерпретировать сложный макет, но её гибкость добавляет вариативность. Эти подходы не обязательно конкурируют: иногда надёжный маршрут использует их последовательно.
Где выигрывает OCR с проверками
Если в потоке много счетов одного формата, правила способны искать фиксированные подписи, зоны документа и типы полей. Система получает стабильную схему: сумма должна быть числом, дата — календарной датой, ИНН — проходить проверку длины и контрольной структуры. Такой механизм легко протестировать на большом наборе одинаковых форм. Когда поставщик меняет шаблон, контроль может остановить обработку вместо молчаливой подстановки нового значения.
Преимущество предсказуемости особенно важно для бухгалтерских документов и операций, где нужен журнал происхождения поля. Для каждой извлечённой суммы полезно сохранять координаты фрагмента и исходное изображение страницы. Тогда сотрудник может проверить конкретную область, а не перечитывать весь файл. Недостаток — чувствительность к новым макетам, сканам, повороту страницы и необычным обозначениям. Часть ошибок даст OCR, часть — ручные правила, поэтому нужны метрики по полям, а не оценка «документ обработался».
Когда полезна vision-модель
Мультимодальная модель способна интерпретировать более сложный контекст: например, отличить итоговую сумму от промежуточной, найти значение в таблице со сдвинутыми колонками или объяснить, почему рядом стоят два похожих числа. Это удобно при разнообразных входных файлах и на этапе обработки исключений. Но свободное объяснение не всегда совпадает с требуемым машинным форматом. Модель может выбрать визуально похожее поле, преобразовать сумму или опустить пустое значение, не показывая, насколько уверена.
Поэтому запрос должен требовать строгую структуру и явно разрешать ответ «не найдено». Сначала извлекайте значение вместе с точной цитатой или координатой, затем проверяйте тип, диапазон, арифметику и перекрёстные связи отдельным кодом. Если исходник не позволяет однозначно разобрать поле, задача должна попасть в очередь ручной проверки. Не поручайте модели самостоятельно подтверждать собственную интерпретацию тем же промптом: это не независимая проверка.
Сравнение по работе, а не по демонстрации
Возьмите набор реальных обезличенных документов, размеченный человеком по каждому полю. Разделите его на простые стандартные формы и сложные исключения. Сравните OCR с правилами, vision-модель и комбинированный путь на одной выборке. Считайте точное совпадение каждого поля, долю остановленных документов, время ручной проверки, стоимость обработки и число опасных ошибок, которые система пропустила. Отдельно отметьте случаи, где сумма прочитана неверно, но всё же прошла проверку формата.
Не используйте только точность по символам. Для бизнеса ошибка в одной цифре счёта может быть важнее десятков корректно распознанных слов. Подберите пороги по уровню риска: название товара можно показать как черновик, банковские реквизиты требуют более строгого контроля. Проверьте также разницу между качественным цифровым PDF и фотографией, сделанной под углом. Все варианты должны пройти одинаковую предобработку или честно отмечаться как отдельные сценарии.
Часто лучший ответ — гибрид
Можно начать с OCR, правил и проверки контрольных сумм, а к vision-модели отправлять только документы, которые не разобрались по шаблону. Это ограничивает затраты и сокращает область, где генеративная интерпретация имеет право повлиять на результат. При этом нужно следить, чтобы сложные документы не исчезали из статистики: если половина нестандартных форм постоянно отправляется на ручную проверку, измеряйте именно их долю.
Гибрид должен оставлять сотруднику исходную страницу, распознанный текст, найденные поля и причину остановки. Если используется облачный сервис, проверьте правила передачи документов и хранения. При локальной модели оцените требования к памяти и обновлению. Для обезличенных таблиц полезен также гайд по проверке прогноза спроса: в обоих случаях автоматике нужен baseline и измеримый критерий принятия результата.
Практическая рекомендация
Для стабильного потока с известными бланками начните с OCR и правил, а сложные исключения передайте человеку. Для переменных документов проведите тест мультимодальной модели, но требуйте структуру, цитату исходного фрагмента и отдельную валидацию. Для обоих сценариев ведите журнал ошибок и пересматривайте набор примеров после изменения шаблона или модели. Проверить варианты моделей для документов можно через каталог моделей; для предметной задачи важнее тестировать на собственных обезличенных файлах, чем сравнивать абстрактные рейтинги.
FAQ
Vision-модель всегда точнее OCR? Нет; универсального преимущества без проверки на конкретном наборе документов нет.
Можно ли автоматически отправлять найденные реквизиты в платёж? Для финансовых действий нужен отдельный контроль и подтверждение уполномоченным сотрудником.
Что делать с некачественным сканом? Зафиксировать низкое качество и запросить оригинал или ручную проверку, а не позволять системе угадывать.