Практика: собираем eval-набор для мультимодальной модели

Мультимодальная модель может ошибаться не только в тексте: она неверно читает мелкую подпись, путает строки таблицы или уверенно описывает объект вне кадра. Поэтому eval-набор должен проверять не красоту ответа, а связь между входом и подтверждаемым результатом.

Состав набора

Сделайте пять папок: изображения с понятными объектами, изображения с мелким текстом, таблицы, документы и намеренно неоднозначные примеры. Для каждого файла добавьте ожидаемый ответ, допустимую погрешность и список недопустимых догадок.

Правило цитаты

Если модель утверждает факт из картинки или документа, она должна указать, где его нашла. Для изображения подойдёт координатная область или описание фрагмента, для документа — страница и строка. Отсутствие подтверждения считается отдельной ошибкой, даже если фраза случайно верна.

Проверка изменений

После каждого обновления модели запускайте тот же набор. Сравнивайте не только точность, но и формат, число отказов, время ответа и необходимость повторного запроса. Храните результаты в журнале с датой и версией.

Безопасность

Обезличьте документы и не используйте реальные паспорта, счета и медицинские сведения. Для действий через инструменты оставьте только тестовый аккаунт. Хороший eval не должен превращаться в утечку данных.

Используйте гайд по пилоту, практику карточки модели и проверку ответа.

FAQ

Сколько файлов нужно? Начните с 25–40 разных примеров. Нужно ли оценивать стиль? Только если стиль важен для задачи. Кто ставит итоговую оценку? Владелец процесса и независимый проверяющий. Когда обновлять набор? После новой ошибки или изменения рабочего сценария.