Как проверить извлечение из документов нейросетью: выборка, поля и журнал ошибок

Нейросеть умеет быстро превратить пачку документов в таблицу, но именно такая скорость делает ошибку незаметной. В счёте может исчезнуть отрицание, в договоре — срок, в заявке — одна цифра в телефоне. Красиво оформленный CSV не доказывает, что данные верны. Ниже — маршрут, который позволяет проверить извлечение до того, как таблица попадёт в CRM, отчёт или оплату.

Шаг 1. Назовите поля и цену ошибки

Начните с одного типа документа и пяти–семи полей. Например: номер, дата, сумма, ИНН, срок поставки и статус подписи. Не просите модель «вытащить всё важное»: такой запрос нельзя честно проверить. Для каждого поля запишите, что считается точным совпадением, а что допустимо как пустое значение. Сумма и реквизиты требуют точного соответствия, название компании иногда можно нормализовать, а сомнительное поле должно получить метку «проверить».

Отдельно разделите ошибки по последствиям. Неверный комментарий может исправить оператор, неверная сумма способна создать финансовую проблему. Поля высокой критичности не должны автоматически менять данные; нейросеть лишь предлагает значение. Внутренний гайд по проверке ответа нейросети полезен как общий принцип: источник и вывод должны быть видны рядом.

Шаг 2. Соберите неудобную тестовую папку

Не берите первые десять идеальных PDF. В выборку нужны сканы под углом, таблицы на нескольких страницах, печати, рукописные пометки, старые шаблоны и документы с похожими цифрами. Добавьте два файла, в которых нужного поля нет вовсе. Именно отсутствие хорошо показывает, склонна ли система угадывать. Обезличьте реальные данные или используйте разрешённые тестовые копии.

Для каждого документа вручную создайте эталонную строку. Это скучная работа, но без неё вы не узнаете реальную точность. Полезно, чтобы эталон заполнял не тот человек, который потом выбирает модель: так меньше риска подогнать проверку под удобный ответ.

Шаг 3. Зафиксируйте формат ответа

Попросите модель вернуть строго заданные столбцы и отдельную графу уверенности или причины сомнения. Нельзя принимать свободный пересказ документа вместо структуры. Если поле не видно, допустимый ответ — пустое значение с отметкой; недопустимый — правдоподобная догадка. Для дат задайте единый формат, для денежных сумм — валюту и разделитель, для идентификаторов — запрет на удаление ведущих нулей.

Перед массовым запуском прогоните три документа вручную и посмотрите на сырой ответ. Проверяйте, не смешивает ли система строки таблицы и не переносит ли реквизит с предыдущей страницы. Если документация приходит в нескольких версиях, полезно начать с наведения порядка в базе знаний, а не надеяться, что модель сама угадает актуальный шаблон.

Шаг 4. Считайте не средний процент, а опасные промахи

Сравните каждую ячейку с эталоном. Отдельно посчитайте: точные совпадения, допустимые пустые значения, неверные значения и уверенные ответы там, где нужно было признать неопределённость. Общая точность в 95% ничего не значит, если пять процентов приходятся на суммы или даты. Выведите метрику для каждого критичного поля и перечень документов, на которых система ошиблась.

Найдите паттерны. Если ошибки появляются только на плохих сканах, улучшите распознавание или ввод. Если модель путает колонку «итого» и «без НДС», добавьте правило выбора и повторите тест. Не исправляйте каждую строку в промпте по отдельности: это превращает инструкцию в хрупкий список исключений.

Шаг 5. Оставьте человеку удобную очередь проверки

В проверку должны попадать не все документы подряд, а рискованные поля: низкая уверенность, сумма выше порога, необычный шаблон, конфликт с существующей записью. Рядом показывайте фрагмент оригинала и предложенное значение. Оператору не нужно искать страницу вручную и верить модели на слово. Любое исправление сохраняйте с причиной: «неверная дата», «поле отсутствует», «другой договор».

Такой журнал становится материалом для улучшения. Через неделю посмотрите, какие причины повторяются, и поменяйте схему, качество скана или инструкцию. Если задача касается публичного текста, добавьте отдельную проверку формулировок: редактура текста нейросети не заменяет фактологический контроль.

Шаг 6. Подключайте автоматизацию по частям

Сначала ограничьтесь выгрузкой в черновую таблицу. После двух стабильных недель можно автоматизировать некритичные поля, но оставить стоп для денег, договоров и персональных данных. При смене модели, OCR или шаблона повторите прежнюю тестовую папку. Исторический результат нельзя переносить на новую конфигурацию: изменился даже один слой — изменился эксперимент.

Итог хорошей проверки не «модель читает документы». Итог — список конкретных полей, на конкретной выборке, при конкретном маршруте контроля. Он позволяет владельцу процесса решить, что безопасно ускорить, а что лучше оставить человеку.

Частые вопросы

Можно ли оценивать только на нескольких документах? Можно для первого фильтра, но нельзя для решения об автоматизации. Обязательно добавьте неудобные варианты и новые шаблоны.

Нужно ли передавать моделью весь договор? Нет. Передавайте только необходимый фрагмент и соблюдайте правила хранения данных.

Что делать при низкой уверенности? Не заставлять модель выбирать. Отправить поле в очередь человеку вместе с исходным фрагментом.