Mercury 2.5: обзор диффузионной языковой модели со скоростью до 1107 токенов в секунду

Mercury 2.5 — производственная языковая модель Inception, выпущенная 8 сентября. Её главное отличие от привычных чат-моделей — диффузионное декодирование: ответ уточняется блоками, а не строится строго по одному токену слева направо. Компания заявляет до 1107 токенов в секунду на распространённых ускорителях NVIDIA, контекст 260 тысяч токенов, параллельные вызовы инструментов и структурированный JSON. Стандартная цена указана как 0,20 доллара за миллион входных и 0,75 доллара за миллион выходных токенов; на старте действует временная скидка.

Иллюстрация редакции: широкая параллельная генерация сопоставлена с последовательным декодированием.

Почему скорость здесь не просто число

В обычном чате разница между двумя и пятью секундами неприятна, но терпима. В голосовом агенте пауза разрушает разговор. В поисковом конвейере один пользовательский запрос может породить десятки вспомогательных обращений: переписать запрос, выбрать документы, извлечь факты, проверить формат. Задержки складываются. Поэтому быстрая модель интересна не тем, что выводит длинный ответ мгновенно, а тем, что делает серию коротких служебных шагов в пределах одного взаимодействия.

Inception приводит производственные примеры поиска, голосовых систем и кодовых субагентов. Это полезные ориентиры, но не универсальные гарантии. Сеть, очередь, длина входа, reasoning-режим и инструменты влияют на задержку сильнее одной пиковой цифры.

Что означает диффузия для текста

Диффузионная модель начинает с заготовки, где части ответа ещё неизвестны, и постепенно восстанавливает их за несколько проходов. Это позволяет уточнять несколько позиций параллельно. Авторегрессионная модель подтверждает следующий токен на основе уже выданных и движется последовательно. В теории первый подход лучше использует параллельное железо; на практике важны качество реализации и число шагов уточнения.

Пользователю необязательно знать математику метода, но нужно понимать возможный след: ранний черновик может менять разные части строки одновременно, а потоковая выдача ощущается иначе. Для JSON и инструментов особенно важно проверить, что высокая скорость не повышает долю оборванных структур и неверных параметров.

Возможности и заявленные ограничения

Mercury 2.5 поддерживает регулируемое рассуждение, параллельные tool calls и ответы по схеме. Контекст 260K позволяет передавать большой набор документов, но размер окна не равен качеству поиска в нём. Тест должен включать факты в начале, середине и конце, противоречащие версии и запрос на отказ при отсутствии сведений.

Компания сравнивает качество с экономичными вариантами крупных поставщиков и говорит о сорокапроцентном росте относительно Mercury 2. Это данные разработчика. Для решения о внедрении нужны собственная выборка и слепая оценка, описанная в нашем руководстве по проверке рейтингов моделей.

Где модель выглядит уместно

Первый сценарий — переписывание поисковых запросов и короткое ранжирование. Второй — голосовой помощник, где модель классифицирует намерение и формирует следующую реплику. Третий — кодовый оркестратор: сжатие контекста, поиск нужного инструмента и подготовка небольшого структурированного ответа. Во всех трёх случаях задача повторяется много раз, а единичная задержка влияет на весь продукт.

Для финального юридического вывода, сложного исследования или текста, где важна стилистическая точность, скорость сама по себе не является причиной миграции. Можно оставить сильную медленную модель на финальном шаге, а Mercury использовать на маршрутизации и подготовке.

Практический тест за один день

Соберите сто реальных обезличенных запросов: сорок коротких, сорок с документами и двадцать с инструментами. Зафиксируйте правильный ответ или критерий. Измерьте время до первого полезного фрагмента, общее время, число повторов, валидность JSON и стоимость успешного результата. Пиковые токены в секунду запишите отдельно — эта метрика не заменяет пользовательскую задержку.

Проведите прогон в одинаковое время и с одинаковым числом параллельных запросов. Увеличьте нагрузку, чтобы увидеть хвост P95 и P99. В голосовом сценарии дайте пять реплик с перебиванием и проверьте, можно ли отменить устаревший ответ. В агентном — ограничьте права и журналируйте каждый вызов.

Цена без маркетинговой ловушки

Стартовая скидка привлекательна, но бюджет следует считать по стандартной цене и всему конвейеру. Добавьте повторы, embeddings, поиск, хранение журналов, проверку человеком и запас на пики. Дешёвый миллион токенов не помогает, если модель чаще вызывает дорогой инструмент или выдаёт ответ, который оператор переписывает с нуля.

Сравнивайте стоимость одной принятой операции: верно классифицированного обращения, подтверждённой карточки или завершённого поиска. Это честнее, чем стоимость одного вызова.

Итог обзора

Mercury 2.5 предлагает редкое сочетание: необычная архитектура уже упакована в API с большим контекстом, JSON и инструментами. Самый сильный кандидат — повторяемые короткие вызовы, где задержки складываются. Самый опасный способ оценки — запустить один эффектный длинный ответ и принять скорость вывода за качество продукта.

Редакционный вывод: модель заслуживает пилота рядом с текущим решением, но не слепой замены. Поставьте её на конкретный слой, измерьте хвост задержки и цену успешной операции, а затем решите, где параллельное декодирование действительно меняет опыт пользователя.

FAQ

Mercury 2.5 открыта для локального запуска?

Анонс описывает доступ через API и партнёрские платформы, а не публикацию открытых весов для обычного локального развёртывания.

1107 токенов в секунду получит каждый пользователь?

Нет. Это заявленный показатель в определённой инфраструктуре. Реальная скорость зависит от нагрузки, сети, длины контекста и режима рассуждения.

Подходит ли она для голосового бота?

Да, низкая задержка делает сценарий перспективным, но отдельно проверяются перебивания, потоковая выдача, безопасность инструментов и качество речи на ваших диалогах.

Стоит ли переносить на неё весь продукт?

Начните с одного повторяемого слоя — маршрутизации, переписывания запросов или структурирования. Сравните качество и полную стоимость до расширения.