CosyVoice 2: открытая модель для потоковой озвучки
В декабре 2024 года команда FunAudioLLM, связанная с Tongyi Speech Lab Alibaba, открыла CosyVoice 2.0 — второе поколение модели синтеза речи. Релиз был ориентирован не на «голос за пять секунд», а на более техническую задачу: стабильную потоковую озвучку, где текст поступает частями, а звук начинает появляться до окончания всего запроса. В проекте также заявлены zero-shot клонирование голоса и кросс-языковые сценарии.
В старом тексте об этом релизе была неверная дата и слишком широкое обещание по языкам. Официальные материалы перечисляли китайский, английский, японский, корейский и ряд китайских диалектов. Поэтому нельзя автоматически обещать качественную русскую речь только потому, что модель умеет работать с несколькими языками. Русский текст и фамилии нужно проверять отдельным тестом, а не подменять доступность предположением.
Что нового по сравнению с первой версией
CosyVoice 2 строится вокруг потокового режима. У обычной схемы TTS модель сначала получает весь текст, затем полностью генерирует аудио. Это удобно для аудиокниги, но создаёт заметную паузу в голосовом интерфейсе. Потоковый синтез делит процесс на части: оператор или бот передаёт текст фрагментами, а пользователь слышит начало ответа раньше.
В проекте заявлена двунаправленная потоковая работа и быстрая выдача первого фрагмента. Для помощника в приложении, голосового бота или демонстрации это важнее красивого голоса в одном рекламном примере. Пользователь замечает задержку между вопросом и первым звуком; если она слишком велика, даже качественная озвучка воспринимается как сбой.
Вторая часть релиза — zero-shot клонирование: модель может использовать короткий образец голоса без длительного обучения отдельного диктора. Это упрощает прототип, но не освобождает от контроля. Сходство голоса, разборчивость текста и эмоциональная подача — три разные характеристики. Ролик может звучать похоже на образец, но неправильно произносить название продукта или расставлять ударения.
Кому подойдёт открытая модель
Открытый код и опубликованные веса дают разработчику возможность запускать синтез в своей среде и не передавать каждый фрагмент текста в сторонний облачный интерфейс. Это может быть важно для внутреннего голосового меню, обучающего прототипа или системы, где в сценариях встречаются рабочие данные. Параметры и варианты развертывания собраны в карточке CosyVoice 2.
Однако «можно запустить локально» не означает «можно запустить на любом ноутбуке». Нужны подходящая среда, зависимости, место для моделей и время на настройку. Для команды без опыта эксплуатации иногда безопаснее сперва сделать небольшой тест в изолированной среде, чем сразу подключать модель к клиентскому каналу. Открытая лицензия тоже не заменяет проверку условий конкретного использования: демонстрационный проект и коммерческий сервис могут иметь разные требования.
Как проверить модель до рабочего запуска
Возьмите набор из двадцати коротких фраз. В него должны войти имена, адреса, суммы, сокращения, вопросительные предложения и обычные разговорные реплики. Не используйте реальную переписку клиентов: составьте безопасный тестовый набор. Отдельно подготовьте фразы на тех языках, которые важны вашему продукту.
Слушайте результаты в двух режимах: единым текстом и по частям. Во втором случае проверьте, не ломается ли интонация на границе фрагментов и не повторяет ли модель последние слова. Для голосового бота это часто ценнее тембра: пользователь простит нейтральный голос, но не терпит паузу посреди имени или дважды произнесённый номер заказа.
Фиксируйте четыре показателя: время до первого звука, ошибки в словах, совпадение с образцом голоса и число ручных правок. Эти заметки превращают «вроде звучит хорошо» в решение, которое можно сравнить с другим инструментом. Если вы рассматриваете облачный вариант как альтернативу, сравнение с ElevenLabs v3 имеет смысл проводить на одном и том же наборе фраз и одинаковой длине образца.
Потоковая речь требует отдельной проверки задержки
В потоковом режиме измеряйте не только время до первого звука. Запишите задержку между соседними фрагментами, число пауз и поведение при медленном соединении. Короткий первый ответ может скрывать длинную остановку после второй фразы, из-за которой диалог кажется сломанным. Проверьте также отмену: если пользователь перебил бота, уже поставленный в очередь звук не должен продолжать воспроизводиться. В тестовом интерфейсе зафиксируйте размер буфера и момент, когда текст отправляется следующей порцией. Эти параметры относятся к приложению вокруг модели и могут изменить впечатление сильнее, чем сама версия CosyVoice.
Голос нельзя брать «для теста» без согласия
Самый важный риск не технический. Запись коллеги, клиента или публичного человека не становится свободным материалом для клонирования только потому, что её можно скачать. Нужны явное согласие и понятный сценарий использования. В рабочем пилоте лучше начать с собственного голоса участника команды или с лицензированного образца и хранить подтверждение согласия рядом с проектом.
Не используйте клон для разговоров от имени реального человека без ясной маркировки. Это может ввести слушателя в заблуждение, навредить репутации и создать юридические риски. Те же принципы нужны при публикации видео и аудио: разбор ИИ-фейков объясняет, почему реалистичность сама по себе не делает синтетический материал нейтральным.
Вывод редакции
CosyVoice 2 остаётся полезным историческим примером того, как открытые модели TTS вышли за пределы офлайновой озвучки и начали решать задачу короткой задержки. Его не стоит выбирать по одному демо и тем более по обещанию «поддерживает все языки». Сначала измерьте речь на своих фразах, ограничьте доступ к данным и зафиксируйте согласие на голос. Тогда выбор модели будет опираться на рабочую проверку, а не на впечатление от образца.