Пилот компьютерного ИИ-агента: как проверить маршрут до выдачи доступов
Компьютерный агент особенно легко переоценить: демонстрация с несколькими точными кликами выглядит убедительно, пока не появляется другое окно, пустое поле или устаревшая инструкция. Поэтому первый пилот строится вокруг одного маршрута, где результат можно проверить, а ошибка не отправит письмо, не удалит запись и не изменит деньги.
1. Опишите границы одним предложением
Не «обрабатывать заявки», а «в тестовой CRM открыть запись, сравнить дату и статус с таблицей и вернуть список различий». Укажите разрешённые страницы, учетную запись без чувствительных данных и запрет на внешнее действие. Если задача не помещается в это описание, её пока нельзя автоматизировать одним запуском.
2. Подготовьте контрольный набор
Соберите пять нормальных примеров и три сложных: пустое поле, похожее название и всплывающее окно. В наборе должна быть ситуация, где правильный ответ — остановиться и попросить человека. Иначе вы измерите только способность повторять самый лёгкий сценарий.
3. Разделите наблюдение и действие
Агент может прочитать экран и сформировать черновик, но отправку, публикацию и изменение статуса оставьте оператору. Такой разрыв не замедляет пилот: он показывает, действительно ли модель поняла задачу до того, как ошибка станет необратимой.
4. Ведите короткий журнал
Для каждого запуска достаточно записать версию модели, вход, ожидаемый исход, фактический маршрут и причину вмешательства. Скриншот ошибки без контекста мало помогает; полезнее заметка «модель выбрала архивную карточку из-за одинакового названия». Через несколько запусков станет видно, что исправлять — инструкцию, интерфейс или саму постановку.
5. Примите решение по доказательствам
Расширять сценарий стоит только если агент корректно выполняет нормальные примеры, останавливается на неопределённости и даёт проверяемый след. Сравнивайте не число кликов, а время до подтверждённого результата. Для основы можно использовать наш материал о проверке ответов и собрать отдельную карточку разрешённых действий для каждого процесса.
FAQ
Нужен ли агенту полный доступ к компьютеру? Нет: первая проверка сильнее, когда доступов меньше.
Можно ли проверять на живой базе? Лучше на обезличенной копии или тестовом контуре.
Кто должен подтверждать расширение? Владелец процесса и тот, кто отвечает за данные и риск действия.