Гайд: как проверить JEV-27B на очереди обращений без автоматических решений
JEV-27B стоит проверять не на абстрактном вопросе «умная ли модель», а на одной очереди, где уже есть понятный ручной маршрут. Так можно увидеть не только скорость первого ответа, но и цену ошибки. Этот гайд подойдёт для обращений, документов или внутренних заявок, если система пока ничего не отправляет и не меняет сама.
Шаг 1. Назовите разрешённое решение
Выберите один узкий выбор: «нужно уточнение», «передать в отдел А» или «нет обязательного поля». Не начинайте с оценки человека, кредитного решения, права или медицинского вывода. Для каждого класса запишите определение, пример и исключение. Если два опытных сотрудника не могут одинаково разметить кейс, модель не сделает правило надёжнее.
Шаг 2. Соберите честную выборку
Возьмите несколько десятков обезличенных случаев, включая редкие и неудобные: опечатку, отрицание, неполные данные, конфликтующий документ. Разметьте их до запуска. Отдельно оставьте контрольный набор, который не участвует в настройке порога. Сохраните дату выгрузки и версию правил — иначе через неделю невозможно понять, что именно изменилось.
Шаг 3. Настройте выход как рекомендацию
Пусть модель отдаёт класс, степень уверенности и короткое основание, но не выполняет действие. Не прячьте варианты с низкой уверенностью: они должны уходить в ручную очередь. Порог выбирают не по красивому среднему числу, а по цене ошибки. Если неверная маршрутизация задерживает клиента, порог делают осторожнее и проверяют больше случаев вручную.
Шаг 4. Проверьте каждую ошибку
Смотрите не только на количество совпадений. Откройте все ложные срабатывания и все пропуски, особенно уверенные. Бывает, что модель хорошо ловит типовые обращения, но не видит одно важное исключение. Для каждого такого случая запишите: это проблема данных, определения класса, языка запроса или самого маршрута? Не исправляйте модель задним числом без новой проверки на отложенной выборке.
Шаг 5. Решите, продолжать ли
Считайте время до подтверждённого решения, долю ручных возвратов и тяжёлые ошибки. Если улучшение не подтверждается, сузьте задачу или остановите пилот. Локальные веса и открытая лицензия не снимают требований к хранению данных, журналам и правам доступа. Для следующего шага полезен разбор источников в агенте и обзор Sonnet 5.5: сравнивать стоит процесс, а не названия моделей.
Вопросы и ответы
Можно ли использовать один тестовый набор постоянно?
Нет. Он полезен для регрессии, но нужен и новый набор, чтобы не принять настройку под известные примеры за качество.
Нужно ли показывать вероятность пользователю?
Только если команда заранее понимает, как её читать. Внутреннему проверяющему она полезна как сигнал, но не как доказательство.
Когда можно автоматизировать действие?
После устойчивых результатов, ограниченных прав и отдельного согласования владельца процесса.