Decision model или чат-модель: что выбрать для классификации текста, изображения и звука
Большинство людей знакомы с нейросетью как с собеседником: задаёшь вопрос и получаешь несколько предложений. 7 октября Liquid AI выпустила d1-3B и экспериментальную d1-omni-600M — модели другого типа. Их назначение не писать длинный свободный ответ, а быстро выбрать решение из заданной структуры по входным данным. Первая принимает текст и изображения, вторая — текст вместе с изображением либо звуком. Появление этих моделей даёт полезный повод сравнить два подхода к автоматизации, не превращая сравнение в соревнование рекламных бенчмарков.
Представим службу обращений. Нужно определить, относится ли сообщение к оплате, доставке, изменению заказа или вообще не поддаётся классификации. Чат-модель может объяснить свой выбор, сформулировать черновик ответа и задать уточняющий вопрос. Decision model стремится вернуть метку быстро и предсказуемо. Она подходит для узкого маршрута, где набор классов заранее определён, а результат проверяется по правилам. Если классы меняются каждую неделю или требуется понять сложную ситуацию, лаконичная метка может оказаться недостаточной.
Сравнивайте по результату работы, а не по размеру
Число параметров полезно для оценки требований к памяти, но оно не определяет пригодность к конкретной операции. Decision model может быть очень быстрой на типовом решении и одновременно ошибаться на редких обращениях. Большая чат-модель может написать убедительное объяснение, но выбрать неправильную очередь из-за скрытого контекста. Для обоих вариантов нужен один и тот же набор реальных, обезличенных примеров с заранее утверждёнными правильными ответами. Разделите его по типам ошибок, языкам, длине сообщений и качеству входных данных.
Таблица сравнения должна содержать не только общую точность. Для срочных обращений посчитайте пропущенные случаи; для рутинных — лишние эскалации; для аудио — ошибки на шуме и разных голосах. Измеряйте задержку от получения файла до готового решения, а не только скорость одного прохода модели. Если чат-модель дополнительно вызывает инструмент и пишет пояснение, включите это время и стоимость. Если decision model требует отдельного распознавания речи или предобработки изображения, включите и их.
Когда выигрывает структурированное решение
Узкий классификатор удобен, если известны допустимые классы, действует понятное правило отказа, важна низкая задержка и человеку не нужен свободный текст. Например, система может подсказать оператору очередь для заявки и при низкой уверенности отправить её в общую ручную очередь. Но не следует автоматически отклонять заявку только из-за метки. Сначала определите цену ошибочного отказа и установите порог, после которого решение требует человека. Для чувствительных сфер — медицинской, финансовой, юридической — такая граница должна быть особенно строгой.
Новые модели Liquid AI показывают, почему важно различать публикацию бенчмарка и собственное испытание. Разработчик приводит средние показатели на семи публичных наборах, но отдельно сообщает, что для аудио-модели нет опубликованного аудио-бенчмарка и замеров скорости. Значит, фраза «мультимодальная и быстрая» не является доказательством качества распознавания ваших звонков. Поставьте рядом собственную выборку и проверьте, где модель уверенно ошибается.
Когда лучше генеративная модель
Чат-модель полезнее, когда пользователю нужно увидеть обоснование, задать дополнительный вопрос, собрать сведения из нескольких документов или получить черновик сообщения. Но объяснение, которое она написала, не следует принимать за надёжный журнал причин. Попросите указать конкретные фрагменты входных данных и проверяйте их. Если задача затрагивает изменение записи или отправку письма, разделите подготовку и действие; наш гайд по контролю агентных операций показывает, почему этот барьер важен.
Часто разумен гибрид: быстрый классификатор распределяет простые случаи, неопределённые поступают человеку или в более дорогую модель, а финальное действие подтверждается оператором. Такая схема не гарантирует экономии автоматически. Дополнительные маршруты требуют журналирования, тестов и мониторинга дрейфа. Мы подробно разбирали эти затраты в обзоре полной цены локального агента.
Минимальный честный тест
Составьте 100–200 типовых и редких примеров из своего процесса после удаления персональных данных. Разметку пусть проверят два специалиста; случаи разногласия пометьте отдельно. Запустите обе системы без изменения промпта после просмотра теста. Считайте точность по каждому классу, число критических пропусков, время и труд на исправление. Затем добавьте условие «не уверен» и повторите расчёт. Именно на этом шаге становится видно, сколько задач система действительно снимает с человека, а сколько лишь переносит в другую очередь.
Вывод не обязан быть «победителем». Для классификации статичных коротких сигналов decision model может оказаться удобнее; для объяснения и совместной работы с человеком нужен генеративный ответ. Правильный выбор определяется ценой ошибки и возможностью проверить результат, а не названием семейства модели.
FAQ
Decision model понимает речь как чат-бот? Она может использовать аудио-вход в поддерживаемой паре, но возвращает структурированное решение, а не свободную беседу.
Можно ли сравнить две модели по одному общему баллу? Нет. Ошибки разных классов и стоимость ручной проверки имеют разный вес.
Нужен ли человек при хорошем результате теста? Для критических и неопределённых случаев — да; порог и маршрут утверждаются до внедрения.