Границы действий ИИ-агента: таблица разрешений вместо доверия на словах

Перед подключением агента составьте таблицу из четырёх колонок: что он может читать, что может предлагать, что может сделать только после подтверждения и чего не делает вообще. Например, читать тестовую заявку — можно; собрать черновик ответа — можно; отправить письмо — только после оператора; менять реквизиты — запрещено. Такая схема понятнее общего обещания «работать аккуратно».

Добавьте владельца каждого правила и дату пересмотра. Без этого временное исключение быстро становится постоянным доступом. Проверяйте, что ограничения работают не только в подсказке модели, но и в токенах API, ролях аккаунта и коде, который исполняет действие.

После каждого сбоя уточняйте границу, а не просто переписывайте запрос. Если агент выбрал не ту запись, возможно, ему нельзя показывать список без точного идентификатора. Если он попытался отправить черновик, значит внешний шаг должен быть отделён технически. В паре с контрольным набором это даёт проверяемый пилот.

FAQ

Достаточно ли инструкции модели? Нет, права должны ограничиваться и системой.

Можно ли расширять доступ постепенно? Да, только после результатов повторяемого теста.