Auto-0.4B-2: карточка длинноконтекстного классификатора для проверки запросов агента

Auto-0.4B-2 — классификатор примерно на 400 миллионов параметров, опубликованный как инструмент проверки длинных запросов и контекста агентных систем. Он построен на ModernBERT, распространяется по Apache 2.0 и заявляет максимальную длину 65 536 токенов. В отличие от генеративного ассистента модель должна вернуть оценку класса, а не написать убедительное объяснение.

Зачем нужен отдельный классификатор

Когда агент читает README, skill, описание MCP-инструмента или длинный диалог, опасная инструкция может находиться далеко от последнего запроса. Маленький классификатор можно поставить перед основным исполнителем: он отмечает подозрительный контекст и отправляет его человеку или в более дорогую проверку. Это дешевле постоянного вызова крупной модели, но только при известной точности на собственном потоке.

Классификатор не должен сам выдавать права. Его место — один сигнал в политике, рядом с белым списком инструментов, схемой аргументов и ручным подтверждением. Если он ошибётся, инфраструктурный запрет всё равно обязан остановить действие. Модель угроз для вложенных инструкций разобрана в материале о prompt injection.

Что заявлено в карточке

Максимальная ёмкость составляет 65 536 токенов, а самый длинный пример обучающего корпуса — 51 408. Автор отдельно сообщает об отсутствии teacher distillation. Приведён небольшой иллюстративный набор из 24 проверок, связанных с инструментами, skills и MCP, выполненный 9 сентября. Все примеры прошли заявленные ожидания, но такой набор нельзя считать доказательством production-качества.

Двадцать четыре случая не показывают редкие формулировки, другие языки, ошибки разметки и изменение данных со временем. Особенно осторожно нужно относиться к русскому: наличие длинного контекста не подтверждает хорошую калибровку на русскоязычных инструкциях.

Как провести собственную проверку

Соберите обезличенную выборку из реальных безопасных и опасных контекстов. Добавьте пограничные случаи: цитирование вредной инструкции для анализа, административную команду, пример кода, смешанный язык и скрытую команду в конце длинного документа. Разметку независимо выполняют два человека, а спорные случаи сохраняются отдельно.

Разделите порог для автоматического пропуска и блокировки. Средняя зона уходит на ручную проверку. Измеряйте precision и recall для опасного класса, но обязательно смотрите абсолютное число ложных пропусков: один разрешённый вызов с секретом важнее сотни удобных одобрений. Сравнить подход можно с проверкой сетевых границ агента.

Длинный контекст — не автоматическое преимущество

Документ на 60 тысяч токенов требует памяти и может размывать сигнал. Проверьте одинаковую опасную фразу в начале, середине и конце, а затем добавьте похожие безопасные фрагменты. Сравните полный вход с маршрутом, где документ сначала разбивается на разделы, а оценки агрегируются. Иногда несколько коротких проверок лучше одной длинной, потому что позволяют показать человеку конкретное место.

Важно не обрезать молча. Если система приняла только первые 65 536 токенов, журнал должен сообщить о потере хвоста. Иначе классификатор выдаст уверенное решение по неполному документу, а оператор не увидит слепую зону.

Эксплуатационные риски

Открытые веса облегчают локальный запуск, но модельный файл и пользовательский код всё равно проверяются. Закрепите ревизию, сохраните checksum и изолируйте окружение. Наблюдайте изменение долей классов: резкий скачок может означать новый тип атак, ошибку препроцессинга или смену входного потока.

Не обучайте классификатор автоматически на решениях оператора без ревизии. Люди способны систематически пропускать один тип риска, и новая версия закрепит ошибку. Обновление проходит через замороженный тестовый набор; дата публикации модели и дата вашей внутренней проверки остаются разными.

Когда модель оправданна

Auto-0.4B-2 стоит тестировать, если агент обрабатывает длинные сторонние документы и поток достаточно велик для отдельного фильтра. Для пяти ручных запросов в день инфраструктура классификатора может быть сложнее пользы. Для критического действия одной модели мало независимо от результата теста: нужны детерминированные права и подтверждение.

Её сильная сторона — узкая задача и сравнительно компактный размер. Слабая — пока ограниченный объём публичных доказательств. Правильная позиция не «модель обеспечивает безопасность», а «модель может помочь отбирать контексты для следующего уровня контроля».

FAQ

Auto-0.4B-2 генерирует ответы пользователю?

Нет. Это классификатор, предназначенный для оценки входа, а не разговорная модель.

Можно ли доверять результату 24 из 24?

Нет как production-гарантии. Это небольшой авторский тест, который нужно повторить на независимой и более разнообразной выборке.

Поддерживает ли модель русский язык?

Карточка не даёт достаточной отдельной оценки русского. Качество следует проверять на русскоязычных примерах вашего потока.

Где ставить классификатор в системе?

Перед агентом как дополнительный фильтр, но ниже него должны оставаться жёсткие права инструментов и журнал действий.