Как проверить новую ИИ-модель на своей задаче: A/B-тест без самообмана
Новая модель почти всегда выглядит лучше в первой демонстрации: ей дают удобный запрос, свежий контекст и время на красивый ответ. Рабочая проверка устроена иначе. Её цель — не подтвердить интерес к новинке, а понять, улучшит ли она конкретный маршрут без роста рисков, стоимости и ручной очереди.
Сформулируйте одно решение
Не тестируйте «интеллект». Выберите результат: извлечь обязательные поля, собрать черновик, объяснить ошибку в коде, классифицировать обращение. Для него задайте критерии: точность, отсутствие выдуманного факта, понятная остановка, задержка и допустимая стоимость. Если команда не может описать хороший результат, сравнение моделей станет голосованием по впечатлению.
Соберите неудобную выборку
В выборке должны быть реальные обезличенные задачи, включая редкие термины, пустые поля, противоречивые документы и отрицания. Ожидаемый результат отмечается заранее. Не меняйте prompt по ходу проверки для одной модели: это честная настройка только после первого раунда, когда оба варианта получают одинаковые условия.
Проведите слепую приёмку
Проверяющий по возможности не знает, какая модель создала ответ. Он отмечает соответствие источнику, опасные ошибки и время исправления. Считайте не среднюю красоту текста, а критичные промахи: неверное число, обязательство клиенту, потерянное исключение. Один такой случай может весить больше десяти гладких ответов.
Примите решение по полному процессу
Сложите задержку API, стоимость, повторные вызовы, время редактора и поддержку интеграции. Новая модель может выиграть по качеству, но проиграть по времени первой реакции; это не провал, если сценарий не интерактивный. Обновляйте маршрут постепенно и оставляйте откат. В обзоре длинных агентных задач есть те же принципы контроля, применённые к нескольким шагам.
FAQ
Сколько примеров нужно? Начните хотя бы с 20–30 разнородных случаев. Можно ли сравнить цены без теста? Нет, цена проверки меняет картину. Что делать с ничьей? Оставить текущий маршрут и повторить на более сложной выборке. Когда включать production? После измеримого выигрыша и подтверждённого отката.