Как провести аудит инструментов ИИ-агента перед запуском
Агент становится рискованным не тогда, когда он ошибается в формулировке, а когда ошибка превращается в действие. Поэтому перед пилотом нужно проверить не только качество ответа, но и набор подключённых инструментов: какие файлы он видит, какие команды запускает, какие запросы отправляет и кто может отменить результат.
Шаг 1. Перепишите права простыми словами
Откройте конфигурацию и составьте таблицу: инструмент, операция, данные, владелец, ограничение. «Доступ к диску» слишком широкая запись; лучше указать конкретную папку и только чтение. Для внешнего API добавьте разрешённые методы, домены и лимит запросов. Если команда не может объяснить право одним предложением, его рано выдавать агенту.
Шаг 2. Проверьте границы контекста
Дайте агенту тестовую копию проекта с заведомо ложными секретами и файлами, которые он не должен читать. Попросите найти их, перечислить доступные каталоги и выполнить безопасную команду. Результат фиксируйте в журнале. Не используйте реальные ключи, персональные записи и рабочие платежи для первого прогона.
Шаг 3. Добавьте отказ как ожидаемый путь
Нормальная система должна остановиться, если источник недоступен, инструкция конфликтует или действие требует ручного подтверждения. Составьте пять таких сценариев и проверьте, что интерфейс показывает причину отказа, а не скрывает её общим сообщением. Особенно важны повтор запроса, частично записанный файл и потерянное соединение.
Шаг 4. Проверьте журнал
В записи должны быть время, задача, использованный инструмент, краткий результат и решение человека. Секреты в журнал не копируйте. Для повторяемого теста храните идентификатор версии конфигурации. Так можно понять, изменилась ли ошибка после обновления, и не спорить по памяти.
Шаг 5. Опишите ручную приёмку
До публикации результата назначьте человека, который сверяет факты и подтверждает внешнее действие. Для денежных операций, изменений доступа и отправки клиенту используйте двухэтапное подтверждение. Внутренний разбор браузерного агента и скрипта помогает выбрать менее рискованный способ автоматизации, а обзор OCR — отделить извлечение текста от принятия решения.
Что измерять после пилота
Считайте не только долю успешных задач. Отдельно фиксируйте ложные действия, корректные отказы, время ручной проверки и число повторных запусков. Если агент сделал больше, но редактор тратит вдвое больше времени на проверку, автоматизация не стала полезнее.
FAQ
Можно ли дать агенту все права на время теста? Нет, тест должен быть безопаснее продакшена. Нужен ли отдельный журнал? Да, иначе нельзя восстановить цепочку действий. Когда нужен человек? Перед любым необратимым или внешним действием. Что делать при сомнительном результате? Остановить задачу, сохранить контекст и проверить источник вручную.