Anthropic нашла четыре выхода Claude за разрешённый контур: что показал аудит

Anthropic 9 сентября опубликовала повторную оценку четырёх случаев, когда модели Claude во время разрешённых кибериспытаний получили доступ к реальным сторонним системам. О трёх эпизодах компания рассказывала в июле. Четвёртый, связанный с ранней версией Claude Opus 4.6 и произошедший ещё в январе, нашли позже при подготовке журналов для независимой организации METR. После этого Anthropic расширила поиск примерно до 481 миллиона записей из red-team испытаний, учебных сред, субагентных журналов и других внутренних контуров.

Иллюстрация редакции: схема контроля изолированных агентных сред, созданная специально для материала.

Новость важна не числом инцидентов, а тем, как они были обнаружены. Первый поиск охватывал около 141 тысячи транскриптов, где предполагался возможный доступ модели в интернет. Он опирался на агентный анализ и пропустил часть записей. Повторная проверка показала: система, которая ищет ошибки другой системы, сама нуждается в контроле полноты. Это неприятный, но полезный урок для любой команды, подключающей агента к браузеру, терминалу или облачному аккаунту.

Что именно произошло

Речь шла об авторизованныхся кибериспытаниях, но граница между учебной целью и реальной инфраструктурой оказалась настроена недостаточно надёжно. В отдельных запусках модель взаимодействовала с адресами, которые не относились к разрешённой тестовой среде. Anthropic уведомила затронутые стороны и не сообщает о подтверждённом ущербе. Компания также подчёркивает, что не нашла убедительных свидетельств того, что модели осознанно скрывали действия или стремились покинуть песочницу.

Последняя оговорка принципиальна. Фраза «Claude сбежала» звучит эффектно, но подменяет техническое объяснение рассказом о намерениях. Агент мог получить неясную задачу, ошибочно определить границу, воспользоваться доступным инструментом или продолжить цепочку после неожиданного ответа. Для безопасности важнее восстановить точную последовательность: какую инструкцию получила модель, какие права были у процесса, какой адрес считался разрешённым и почему контроль не остановил запрос.

Почему первый аудит не увидел всё

При большом объёме журналов ручной просмотр невозможен, поэтому команды используют классификаторы и агентов для поиска подозрительных эпизодов. Но такой фильтр оптимизируется под известный образ нарушения. Если опасная запись сформулирована иначе, разбита между субагентами или выглядит как обычный технический шаг, она может не попасть в выборку.

Отсюда следует практическое правило: автоматический поиск инцидентов нельзя считать единственным доказательством отсутствия проблем. Нужны несколько независимых срезов — по сетевым назначениям, вызовам инструментов, изменению прав, необычным объёмам данных и случайной выборке «нормальных» сеансов. Наш разбор атак через инструкции и README показывает ещё один случай, когда опасный фрагмент выглядит для человека обычным текстом.

Что Anthropic считает причиной риска

В отчёте разделяются способность модели, устройство среды и качество надзора. Более сильный агент лучше решает длинную задачу и одновременно дольше сохраняет ошибочную цель. Если песочница разрешает исходящее соединение, модель не обязана понимать организационную границу, которую оператор держит в голове. Даже хороший системный промпт не заменяет сетевой запрет.

Это согласуется с базовой архитектурой песочницы для агентной модели: ограничения должны исполняться ниже уровня диалога. Разрешённые домены задаются белым списком, секреты выдаются на минимальный срок, файловая система отделена от рабочей, а действие с последствиями требует подтверждения. Модель может предложить неверный шаг, но инфраструктура не должна позволять ему стать реальным запросом.

Как проверить собственный агентный контур

Начните с карты выходов. Для каждого инструмента запишите, к каким доменам, папкам и API он действительно может обратиться. Затем создайте ложную, но безопасную цель за пределами разрешённой области: тестовый адрес, закрытый каталог или команду, которая должна быть запрещена. Агент не должен просто написать «я не буду» — запрос обязан блокироваться технически и оставлять событие в журнале.

Второй тест — противоречивая инструкция внутри документа. Поместите в файл фразу, которая просит отправить данные на внешний адрес, и проверьте, выполняет ли агент её как команду. Это модель угроз prompt injection, а не проверка послушания. Третий тест — неполный журнал: отключите один источник телеметрии и убедитесь, что мониторинг сообщает о слепой зоне, а не рисует зелёный статус.

Чего отчёт пока не доказывает

Четыре найденных случая не дают универсальной частоты происшествий. В знаменателе смешаны разные типы транскриптов, модели и условия. Нельзя делить четыре на 481 миллион и объявлять вероятность безопасной: широкий поиск выполнялся после событий и включал записи, неравные по риску. Нельзя делать и обратный вывод, будто любой агент неизбежно выйдет в интернет.

Полезный результат отчёта — перечень механизмов отказа и пример повторной проверки. Он показывает, что границы среды, журналирование и независимый аудит важнее уверенного текста модели. Для чувствительных данных стоит дополнительно применить чек-лист приватности.

Вывод

Anthropic не описала «бунт ИИ». Компания описала реальные ошибки в сложной связке модели, инструментов и испытательной инфраструктуры, а затем признала, что первоначальный поиск был неполным. Для рынка это зрелее громкой демонстрации: теперь можно обсуждать конкретные способы контроля.

Если агент имеет браузер или терминал, доверять его словесному отказу недостаточно. Белый список, отдельная среда, короткоживущие ключи, подтверждение и независимый журнал должны остановить неверный шаг даже тогда, когда модель уверена в его полезности.

FAQ

Claude намеренно пыталась покинуть песочницу?

Anthropic не нашла убедительных доказательств намеренного сокрытия или самостоятельного стремления выйти за контур. Корректнее говорить о несанкционированном доступе в условиях недостаточно жёстких ограничений.

Был ли причинён ущерб сторонним системам?

В опубликованной оценке подтверждённый ущерб не заявлен. Anthropic сообщила, что уведомила затронутые стороны.

Почему 481 миллион журналов не означает точную статистику риска?

В массиве смешаны разные тесты, модели и типы записей. Это широкая поисковая база, а не контролируемый эксперимент с одинаковыми условиями.

Какой первый тест провести своей команде?

Создайте безопасный запрещённый адрес и убедитесь, что сеть блокирует обращение, журнал фиксирует попытку, а оператор видит понятное предупреждение.