Как проверить визуальную нейросеть на скане: тест из десяти вопросов

Визуальная модель может описать фотографию страницы так убедительно, что ошибки в цифрах становятся незаметными. Особенно опасен запрос «перескажи этот документ»: ответ звучит гладко, но не показывает, какие поля были прочитаны, а какие восстановлены по смыслу. Надёжнее начать с десяти небольших вопросов, ответы на которые вы знаете заранее. Такой тест не докажет качество модели во всех условиях, зато покажет, пригодна ли она для именно ваших сканов и какой тип ошибки надо ловить вручную.

Подберите честный набор

Возьмите три-пять страниц с разрешением на обработку. Нужны разные сложные места: чёткий печатный текст, таблица с узкими колонками, бледная подпись, мелкая сноска и один фрагмент, который объективно невозможно разобрать. В копии уберите персональные данные и коммерческие секреты. Исходники сохраните отдельно, чтобы потом проверить, не исказились ли они при уменьшении изображения или экспорте из PDF. Для документа, который предстоит передавать внешнему сервису, сначала выполните действия из гайда по очистке PDF.

Десять вопросов распределите по типам, а не по удобству модели. Два — на точное извлечение числа и единицы измерения; два — на поиск строки в таблице; два — на различение похожих символов вроде 0 и О; один — на связь сноски с нужным столбцом; один — на порядок страниц; один — на явно отсутствующий факт; один — на признание нечитаемого участка. Последние два обязательны. Если все вопросы имеют ответы, вы не увидите, умеет ли система говорить «в документе этого нет» вместо догадки.

Для каждого вопроса составьте эталон из оригинала и укажите страницу или координату. Например, не «какова сумма», а «какова сумма в строке 4 таблицы на странице 2, с валютой и подписью столбца». Если в исходнике существуют две суммы, отметьте обе и точно определите, какую спрашиваете. Эталон должен быть понятен второму проверяющему без вашей устной подсказки. Не исправляйте ошибку в эталоне после того, как модель ответила: это делает испытание неповторяемым.

Сформулируйте запрос без ответа внутри

Передайте изображение и попросите отвечать по пунктам: значение, место на странице, уверенность в чтении и причина сомнения. Фраза «если не видно, напиши, что не видно» важнее просьбы «будь максимально умным». Не добавляйте в промпт предполагаемую сумму или тему документа — модель может повторить вашу подсказку, даже если на изображении другое. Укажите, что ей запрещено додумывать пропущенные клетки. Для одинакового сравнения используйте один и тот же текст запроса и одинаковые файлы.

Если тестируете локальный вариант вроде MiniCPM-V 4.7 1B или более крупный MiniCPM-V 4.7 35B-A3B, запишите способ запуска и параметры обработки изображения. Разная компрессия или обрезка страницы может влиять на результат не меньше, чем замена модели. Не переносите рекламный бенчмарк производителя на ваши договоры: домашняя фотография с бликом, русская печать и многостраничная таблица — отдельные испытания.

Проверяйте не только совпадение слов

Отмечайте для каждого ответа четыре состояния: верно; неверно; честный отказ; ответ без опоры на страницу. Последняя категория нужна, когда модель произносит правдоподобную цифру, которую нельзя найти в указанном месте. Ошибка в одном знаке суммы не должна теряться среди длинных качественных пересказов. Для количественной оценки посчитайте число точных ответов по каждому типу вопроса, но не сводите весь вывод к единому проценту. Пять правильных заголовков не компенсируют неверный итог к оплате.

При таблицах перепроверяйте не только цифру, но и пересечение строки со столбцом. Модель может верно прочесть число из соседней клетки и выдать его за нужный показатель. Сохраните иллюстрацию проблемного участка и пояснение, куда фактически указывает ответ. Если вы обрабатываете повторяемые формы, соберите журнал ошибок: «соседний столбец», «сноска потеряна», «ноль принят за букву». Тогда следующая проверка будет адресной, а не просьбой «будь внимательнее».

Когда нужен отдельный OCR

Для плотных таблиц полезно сначала получить машинный текст с координатами, затем проверить структурные связи и только после этого просить языковую модель объяснять содержание. Это не универсальная победа OCR: он тоже теряет колонки, нечёткие знаки и порядок чтения. Но разделение этапов делает ошибку видимой. Если координаты распознавания ошибочны, их можно поправить до интерпретации. Если сразу попросить модель «понять всё», придётся по ответу гадать, где она неверно увидела исходник, а где сделала неверный вывод.

Откройте распознанный слой и сравните десять контрольных мест с изображением. Исправляйте исходные данные, не итоговый вывод модели. Для юридически значимых и финансовых документов автоматическая проверка помогает искать расхождения, но решение принимает человек с доступом к оригиналу. В материале об аудите вывода нейросети показана похожая идея: сохранить проверяемую цепочку от входных данных до результата.

Порог для реального применения

До запуска определите, какие ошибки допустимы. Для черновой сортировки архива можно терпеть больше отказов, если оператор быстро смотрит на помеченные страницы. Для переноса суммы в платёжную систему неверная цифра недопустима: нужен двойной контроль и запрет автоматического действия. Разумный результат пилота — не «модель прошла десять из десяти», а перечень задач, где она экономит время без скрытого риска. Повторите тест на новых документах через неделю: только знакомые образцы могут создать ложное ощущение надёжности.

Что делать, если модель уверенно угадывает нечитаемый текст? Пометьте это как ошибку, а не успех. На следующем запуске требуйте указать конкретное место и разрешите отказ.

Можно ли сравнить две модели по одному скану? Можно получить предварительное впечатление, но устойчивый выбор требует разных страниц и фиксированного эталона.

Сколько времени хранить тест? Пока вы используете тот же маршрут обработки; сохраняйте обезличенные примеры, версии модели и журнал исправлений согласно правилам вашей организации.