Гайд: как проверить визуальную модель решений на рабочей выборке

Визуальную модель легко оценить по одной удачной картинке. В работе это почти ничего не говорит: реальный поток содержит плохой свет, обрезанные края, старые версии файлов и случаи, где нужно не угадывать, а остановиться. Ниже — маршрут пилота, в котором модель только готовит рекомендацию, а не совершает действие.

1. Опишите единственный выбор

Сформулируйте задачу в ограниченном виде: «видна ли обязательная маркировка», «какой из трёх типов файла перед нами», «нужна ли ручная проверка». Не берите оценку качества человека, юридическую трактовку или медицинский вывод. У каждого класса должно быть человеческое определение и пример на границе. Если эксперты спорят о разметке, сперва договоритесь о правиле — модель не устранит разногласие.

2. Подготовьте честную выборку

Соберите обезличенные изображения из обычного рабочего потока: понятные, затемнённые, с отражением, частично перекрытые, с мелким текстом. Отметьте версию, источник и разрешение. Не используйте только презентационные фото: так вы проверите способность повторять демо, а не решать задачу. Часть набора отложите до финальной проверки и не используйте при настройке инструкций.

3. Сделайте выход проверяемым

Попросите модель возвращать класс, уверенность, короткое основание и статус «не хватает данных». Для оператора обязательно показывается исходная картинка; нельзя требовать веры в пересказ. Порог не выбирают по максимальному количеству ответов: его выбирают по цене ошибки. Если пропуск опасен, больше случаев отправляют в ручную очередь.

4. Разберите ошибки, а не среднее

После прогона откройте все уверенные ошибки и все случаи отказа. Причина может быть в нечётком классе, качестве файла, языке текста на картинке или в неполном входе. Не исправляйте правило задним числом на том же тесте. Сохраните сложный пример и проверьте новую настройку на другой выборке. Так команда не примет подгонку под известные картинки за улучшение.

5. Оставьте человека в контуре

Первый результат — не автоматизация, а измерение. Считайте время до подтверждённого решения, долю ручных отмен и тяжёлые ошибки. Если улучшение устойчиво, можно оставить рекомендацию в интерфейсе. Публикация, отправка клиенту, финансовое действие и изменение данных должны иметь отдельное подтверждение. Для моделей и альтернатив используйте каталог, а для проверки итоговых текстов — чек-лист редактора.

Вопросы и ответы

Можно ли тестировать только на скриншотах хорошего качества?

Нет. Добавьте реальные неудобные случаи, иначе результат не перенесётся в поток.

Что делать, если модель уверенно отвечает неверно?

Оставить пример в контрольном наборе, проверить определение класса и понизить право модели на действие.

Достаточно ли одной метрики?

Нет. Смотрите и точность, и тяжесть ошибки, и время человеческой проверки.