Практика: как собрать небольшой набор тестов для ИИ без дорогой инфраструктуры
Большой тестовый стенд не нужен, чтобы заметить основные ошибки модели. Достаточно взять небольшую выборку реальных задач, обезличить её и заранее описать, какой ответ считается приемлемым. Цель — не получить красивый процент, а понять, где автоматизация обязана остановиться.
Соберите выборку
Возьмите 30–50 примеров из процесса: обычные, сложные и заведомо неразрешимые. Уберите персональные данные и добавьте идентификатор, который не раскрывает содержание. Разделите набор на разработческий и проверочный, чтобы не подгонять промпт под те же строки.
Опишите критерии
Для каждого типа задачи задайте обязательные поля, допустимый формат и условия отказа. В классификации важен не только правильный класс, но и запрет на опасную уверенность. В генерации оцените фактические утверждения, следование ограничениям и возможность проверить источник. Два независимых редактора должны обсудить спорные примеры до запуска.
Проведите повторяемый прогон
Зафиксируйте версию модели, промпт, температуру и набор инструментов. Сохраните полный ответ, время и ошибку API. Повторите тест после каждого изменения; иначе улучшение может оказаться результатом другой выборки. Отдельно измеряйте корректные отказы, потому что модель, которая честно говорит «не знаю», часто безопаснее той, что отвечает на всё.
Разберите провалы
Не исправляйте каждый пример новой инструкцией. Сначала сгруппируйте причины: неполный контекст, неверная форма, устаревший источник, конфликт ролей, ошибка инструмента. Для каждой группы назначьте действие — добавить поле, ограничить права, обновить документ или оставить ручную проверку. Такой список полезнее одного среднего балла.
Свяжите результат с гайдом по приёмке агента и обзором локального поиска, чтобы отдельно оценивать модель и данные.
FAQ
Сколько примеров достаточно для первого прогона? Тридцать — разумный минимум, если они разнообразны. Нужен ли эталонный ответ? Нужны критерии и подтверждённый результат, а не обязательно один текст. Можно ли тестировать на боевых данных? Только после обезличивания и с разрешением владельца. Что считать улучшением? Меньше критичных ошибок и больше корректных отказов при сопоставимом времени проверки.