Пилот computer use с Holo4: как дать агенту экран и не дать лишних прав
Экранный агент полезно начинать не с большого обещания автоматизации, а с одного обратимого маршрута. Holo4 может помочь увидеть интерфейс, подготовить последовательность шагов и работать с доступными инструментами, но безопасность определяет не модель, а контур вокруг неё.
Шаг 1. Выберите действие, которое можно отменить
Подойдёт сбор значений с тестовой страницы, подготовка отчёта или поиск расхождений между интерфейсом и инструкцией. Не начинайте с отправки денег, сообщений или удаления данных. У задачи должен быть владелец и понятный результат.
Шаг 2. Поднимите отдельную учётную запись
Тестовый аккаунт не содержит настоящих клиентов, платёжных средств и секретов. Ограничьте домены, папки и разрешённые инструменты. Если агент видит лишнее, он может ошибочно включить это в маршрут или ответ.
Шаг 3. Разделите план и исполнение
Сначала агент показывает, что он собирается открыть и какое действие выполнить. Человек подтверждает внешний шаг отдельно. Записывайте скрин, команду, результат и причину остановки. Журнал важнее удачного демонстрационного прохода.
Шаг 4. Проверьте неудобные случаи
Добавьте всплывающее окно, медленную загрузку, похожую кнопку и неясное поле. Хороший тест измеряет не только успешные действия, но и корректные вопросы модели. Если агент угадывает, а не останавливается, расширять доступ нельзя.
Шаг 5. Решите, расширять ли контур
Смотрите на число вмешательств, неверных кликов и время до принятого результата. Если человек всё время исправляет маршрут, проблема может быть в интерфейсе, инструкции или доступе, а не в параметрах модели. Сравните с разбором Holo4 и материалом о проверке действий.
Вопросы и ответы
Нужен ли агенту доступ к настоящему браузеру сотрудника?
Нет. Для первого пилота используйте изолированный профиль и тестовые данные.
Когда можно включать внешнее действие?
Только после повторяемых проверок, журналирования и явного подтверждения человека перед каждым необратимым шагом.
Как выглядит карточка пилота
До первого запуска оформите один лист: цель маршрута, разрешённые сайты и инструменты, данные на входе, ожидаемый результат, действие, которое нельзя выполнять без подтверждения, и владелец проверки. Это не бюрократия. Когда агент ошибается, карточка помогает понять, что именно менять: инструкцию, тестовый набор, право доступа или сам сценарий. Без неё каждая неудача выглядит как абстрактное «модель не справилась».
Для теста возьмите пять обычных примеров и три неудобных. В неудобных вариантах поле может быть пустым, кнопка — недоступной, а документ — противоречивым. Заранее задайте безопасный результат: остановиться и спросить человека. Это важнее, чем высокий процент успешных кликов в идеально подготовленном демо.
Порог перехода к следующему уровню
Не расширяйте доступ после одного хорошего запуска. Нужна серия повторений на свежих данных: оператор смотрит маршрут, измеряет время, отмечает вмешательства и классифицирует ошибки. Если агент стал быстрее, но оператору приходится внимательно перечитывать каждый экран, экономии пока нет. Если он корректно останавливается в спорных случаях и стабильно готовит проверяемый черновик, можно добавить следующий обратимый шаг.
Права растут по одному: сначала чтение, затем подготовка черновика, затем ограниченное действие в тестовом контуре. Для сопоставления подходов посмотрите сравнение экранного агента и API-интеграции.