LFM2.5-VL-DSpark

LFM2.5-VL-DSpark — не самостоятельный чат, а компактный вспомогательный компонент для LFM2.5-VL-3B. Он предлагает блоки токенов, которые затем проверяет основная визуально-языковая модель. Такой speculative decoding может сократить время генерации после обработки изображения, но не делает распознавание точнее и не заменяет проверку исходника.

Разработчик заявляет около 280 миллионов параметров у чернового блока и небольшую добавку к памяти целевой модели. Показатели скорости зависят от устройства, длины ответа, движка, картинки и степени принятия черновых токенов. На тяжёлых сканах большая часть задержки может приходиться на обработку изображения, поэтому прирост генерации не равен ускорению всей задачи.

Для пилота возьмите одинаковый набор обычных и неудобных изображений, сравните базовый и ускоренный режимы на одном оборудовании, а затем посчитайте время до проверенного результата, критичные ошибки, память и ручные правки. Модель полезна для эксперимента с локальным визуальным контуром; все реквизиты, цены и выводы по документам должен сверять человек.