Darwin-27B-ZTC-v2: модель, которая выбирает ответ, но не пишет объяснение

В большинстве чат-ботов ответ постепенно складывается из слов. Darwin-27B-ZTC-v2 устроена иначе: ей дают описание состояния и вопрос с заранее заданным типом ответа, а она за один проход возвращает вероятности вариантов. Текст решения она не сочиняет. Версия v2 появилась в открытом каталоге 8 октября, а 9 октября разработчики обновили карточку с результатами. Это интересная модель для маршрутизации, классификации и выбора следующего действия, но назвать её универсальным ассистентом было бы неверно. Краткая карточка Darwin находится в каталоге, а здесь — проверка того, что за «быстрым решением» скрывается на практике.

Три формы вопроса

Авторы называют первый тип noul: оценить, выполняется ли условие, то есть фактически ответить да или нет. Второй, choice, выбирает один вариант из списка. Третий, score, оценивает состояние по упорядоченной шкале. Например, в системе поддержки можно задать вопрос «требует ли письмо ручного просмотра», выбрать одну из заранее определённых очередей либо выставить уровень срочности. Это не значит, что модель сама знает правила вашей компании. Вопросы, классы и пороги создаёт человек, который отвечает за процесс.

Главное отличие от генеративного классификатора — отсутствие цикла декодирования ответа. За один проход модель формирует распределение вероятностей. Однако фраза «zero-token» не означает нулевые затраты: 27-миллиардный backbone всё равно нужно загрузить в память и выполнить вычисление. В карточке указано около 54 ГБ весов BF16 плюс дополнительные файлы для readout и конфигурации. На малом сервере такой вариант может быть дороже простого правила или компактной модели. Сравнение стоимости нужно проводить на собственном потоке и с учётом загрузки оборудования.

Что даёт рейтинг S1MB

Разработчики сообщают о первом месте v2 на System One Mosaic Benchmark по своему опубликованному снимку таблицы: 137 специализированных тестов, 102 модели с полными результатами, показатель Borda 89,58. Они раскрывают дату файла результатов и метод подсчёта. Это хорошая прозрачность, но не доказательство лидерства в любой задаче. Тест оценивает определённые типизированные решения, а не качество диалога, фактологию длинной статьи или безопасность автономного агента.

Есть важная оговорка о данных. В обучении использован train-раздел Open-Jev; 22 теста S1MB построены на test-разделе тех же типов задач. Авторы пишут, что точных тестовых строк в обучении нет, и раскрывают фильтр проверки. Даже при отсутствии точных совпадений близость постановки может влиять на перенос результатов. Поэтому в своём проекте не стоит переписывать порог уверенности из таблицы лидеров. Соберите отдельную выборку, которую разработчик не видел, и оцените её самостоятельно. Наш гайд по контрольному набору модели поможет оформить такую проверку.

Как проверить на реальном маршруте

Выберите одну узкую задачу с обратимым последствием: например, отправить входящее обращение в нужную очередь, но не закрывать его автоматически. Составьте 200–300 обезличенных примеров из разных периодов и каналов. Два сотрудника независимо размечают пограничные случаи, затем согласуют эталон. Отдельно оставьте редкие, но дорогие ошибки: жалобу, которую нельзя потерять, запрос с персональными данными, письмо не на основном языке. На этой выборке сравните v2 с текущим правилом и простой базовой моделью.

Для бинарного вопроса считайте не только общую точность. Важны пропущенные опасные случаи и ложные тревоги, из-за которых люди получают лишнюю работу. Для выбора из нескольких классов смотрите матрицу ошибок: перепутать два соседних отдела не то же самое, что направить жалобу в рекламу. Для шкалы оцените согласованность порядка и калибровку вероятностей. Если модель уверенно ошибается на вашем формате письма, высокий общий результат мало помогает.

Разработчики публикуют серверный маршрут /v1/systemone и код движка. При внедрении запишите версию весов, конфигурацию, порог, время ответа и основания ручного вмешательства. Не позволяйте вероятности превращаться в необратимое действие без контроля. В сравнении decision-модели и генеративной модели объясняется, где структурированный выход действительно полезнее свободного текста. А практика границ действий агента важна, если решение модели дальше запускает внешнее действие.

Кому модель не нужна

Если требуется объяснить клиенту решение понятными словами, Darwin сама этого не сделает. Объяснение пришлось бы строить отдельным механизмом, причём он не должен выдумывать причины после факта. Если поток маленький и правила ясные, обычная таблица условий дешевле и понятнее. Если документы длинные и вопрос зависит от цитат, сначала проверьте ограничение входного контекста и процедуру выделения нужных фрагментов. Модель не освобождает от качества исходных данных.

Итог прост: v2 заслуживает пилота там, где вопрос можно строго типизировать и измерить цену ошибки. Её рейтинг — повод протестировать, а не разрешение передать ей окончательное решение.

Вопросы по Darwin v2

Она пишет ответ пользователю? Нет. Основной выход — вероятности для заданных вариантов; пользовательский текст нужно формировать отдельно.

Означает ли zero-token бесплатный вызов? Нет. Отсутствует генерация токенов, но большой проход модели и память сервера стоят ресурсов.

Можно ли применять английскую карточку к русским обращениям? Только после отдельного теста на русскоязычных данных; опубликованный рейтинг этого не доказывает.

Стоит ли брать верхний вариант автоматически? Нет. При низкой уверенности или дорогой ошибке нужен порог и маршрут к человеку.