Гайд: как проверить новый checkpoint модели на рабочей выборке
Обновление модели легко принять за улучшение, если сравнить только два красивых ответа. Надёжный пилот начинается с фиксированной выборки, одинаковых настроек и заранее описанного критерия. Ниже — короткий рабочий протокол, который подойдёт для DeepSeek-V4.1-Flash-1017 и любого другого нового checkpoint.
Подготовьте набор
Соберите 30–50 обезличенных примеров из реального процесса: обычные задачи, длинные документы, конфликтующие требования и случаи, где правильный ответ — отказ. Отдельно держите финальный тест, который не использовался для настройки промпта. В таблице сохраните идентификатор, тип ошибки и ожидаемое действие, но не реальные секреты.
Зафиксируйте среду
Запишите модель, версию API или файла весов, системную инструкцию, температуру, лимит токенов и список инструментов. Сравнение на разных настройках бесполезно. Если новая версия вызывается тем же именем, сохраните дату запроса и ответ сервера. Для локального запуска добавьте драйвер, квантование и размер batch.
Разделите метрики
Проверьте факты, формат, следование ограничениям, корректный отказ, время до первого токена и полное время. Для кода добавьте запуск тестов в песочнице; для документов — ссылку на подтверждающий фрагмент. Средняя оценка скрывает опасную ошибку, поэтому критичные категории считайте отдельно.
Проверьте безопасность
Тестовые ключи должны быть пустыми или ограниченными. Запретите запись в рабочую файловую систему и внешние платежи. Если модель предлагает выполнить действие, показывайте его человеку до запуска. При тайм-ауте не превращайте отсутствие результата в успешную метку.
Решение по итогам
Составьте короткую записку: где новая версия лучше, где хуже, сколько исправлений требует и сколько стоит корректный результат. Сохраните прежний вариант как резерв. Переключайте трафик постепенно и оставьте путь отката. Практические детали связаны с разбором резервного сценария и сравнением JSON и workflow.
FAQ
Достаточно ли десяти примеров? Для дымового теста да, для решения о запуске мало. Можно ли тестировать на клиентских данных? Только после обезличивания и разрешения. Что делать при равном результате? Выбирать более контролируемый и дешёвый маршрут. Когда прекращать пилот? Если критичные ошибки не уменьшаются или журнал не позволяет восстановить действие.