Как проверить, что ИИ-агент действительно выполнил задачу, а не только отчитался
«Готово, отправил» — самая опасная фраза в отчёте агента, если за ней нет номера заявки, созданного файла или другого следа. Модель может правильно понять просьбу и всё равно не завершить действие: кнопка не нажалась, сессия истекла, сервис отверг поле. Проверять надо не формулировку ответа, а состояние внешней системы. Это особенно важно для записи на услугу, работы с CRM и изменения документов.
Запишите итог до запуска
Опишите задачу одной строкой, затем — проверяемый результат. Например: «В тестовом календаре создано событие на завтра в 14:00; приглашены два человека; в ответе указан идентификатор события». Рядом запишите запреты: не отправлять приглашение посторонним, не покупать билеты и не менять уже существующую встречу. Отдельно укажите шаг, перед которым нужно подтверждение человека. Такая спецификация короче длинного промпта, но позволяет принять или отклонить работу без вкусового спора.
Для десяти испытаний подготовьте не только простые запросы, но и сбои: нет доступа к календарю, одно поле пустое, сервис возвращает ошибку, найдено два похожих контакта. Ожидаемое поведение при неопределённости — остановка с ясным вопросом, а не правдоподобная догадка. Если агент работает с личными данными, используйте обезличенный тестовый контур. О разграничении доступа мы писали в материале о рабочей выборке.
Сверьте сообщение и доказательство
После каждого запуска ищите независимое подтверждение: запись в системе с нужными полями, номер обращения, версия файла, журнал операции. Снимок экрана сам по себе не всегда достаточен: на нём может быть форма до отправки. Лучше проверить статус повторным чтением через интерфейс или API, если он разрешён. Если агент утверждает «заявка принята», а система показывает только «черновик сохранён», ставьте невыполнение. В журнале фиксируйте время, входные данные, итог, подтверждение и ручную правку.
Не смешивайте три метрики: долю завершённых задач, долю корректных действий среди завершённых и трудозатраты на проверку. Агент может красиво проходить простые задания, но требовать больше времени оператора, чем экономит. В новости о LifeVal показано, почему переход от ответа к делу меняет подход к оценке. Для задач с несколькими инструментами пригодится и разбор серверного обновления: технический ответ 200 не равен успешному процессу.
Перед настоящим действием
Сначала разрешайте только чтение. Затем — создание черновика в изолированной среде. Отправку письма, заявку, оплату или удаление данных добавляйте лишь после отдельной проверки и явного подтверждения. Установите лимит попыток: бесконечный повтор при ошибке может создать дубликаты. Если нет возможности увидеть фактический результат, помечайте задачу «не подтверждена», даже если агент уверен в обратном.
Достаточно ли скриншота? Нет, нужен статус после действия. Что делать, если сервис недоступен? Остановить сценарий и сообщить, что результат не получен. Когда можно убрать человека из цикла? Только после измерения ошибок на собственных задачах и отдельного решения о допустимом риске; для необратимых действий подтверждение лучше сохранить.