FreeToken 0.2.1: когда локальной модели нужны изображения, а не только текст

26 октября вышла FreeToken 0.2.1 — версия движка для локального запуска моделей, в которой добавлен приём изображений для ряда GGUF-семейств. Это полезно не человеку, который ищет готовый онлайн-редактор фото, а разработчику, собирающему собственный сервис разбора сканов, кадров или интерфейсов. Важная деталь релиза: одного файла языковой модели недостаточно. Для визуального входа нужен совместимый файл mmproj, который обрабатывает изображение перед передачей в текстовую часть. Если этот компонент отсутствует или не соответствует модели, приложение может запуститься и отвечать текстом, но не видеть картинку.

Что именно заявлено в выпуске

В журнале версии указана поддержка визуального ввода для конкретных GGUF-семейств: несколько вариантов Qwen3.5, Qwen3.6 и Qwen3.8, Gemma 4, GLM-5.3-Flash и экспериментальная визуальная ветка DeepSeek-V4 Flash. Поддержка неодинакова. Например, некоторые архитектуры Qwen3-VL в этом выпуске перечислены лишь как текстовые, а для отдельных сборок DeepSeek названы ограничения на старые конверсии. Поэтому общая фраза «FreeToken теперь принимает любое изображение с любой моделью» неверна. Перед загрузкой сверяйте точное имя архитектуры, тип GGUF и наличие подходящего проектора.

Разработчики также добавили чтение нескольких новых архитектур, обработку модели Flint и режим переноса таблицы эмбеддингов в оперативную память хоста. Последний может освободить видеопамять для других частей модели, но использует передачу данных по шине и не обязан ускорять каждый компьютер. Приведённый разработчиком выигрыш в одном режиме — результат конкретной конфигурации, а не обещание скорости на обычном ноутбуке. Для первого рабочего теста лучше игнорировать тонкую настройку производительности и доказать, что визуальный вход вообще работает корректно.

Минимальный маршрут проверки

Подготовьте три файла: модель GGUF из поддерживаемого семейства, предназначенный для неё mmproj и своё тестовое изображение без личных данных. Сохраните контрольные суммы файлов и точные названия. Поместите проектор рядом с моделью либо явно укажите его при запуске — конкретный синтаксис зависит от версии локальной команды. В журнале старта найдите строку о загруженном проекторе. Если её нет, не переходите к оценке качества картинки: вероятно, сервер работает в текстовом режиме.

Сделайте простой тест из двух изображений, которые невозможно различить по тексту запроса. На первом красная чашка слева от синей книги, на втором предметы поменяны местами. Задайте одинаковый вопрос: «Что находится слева?» Если обе картинки дают один и тот же ответ или модель рассуждает только по словам вопроса, визуальный тракт надо проверять. Затем отправьте фото с маленькой надписью, но не выдавайте ошибку чтения текста за полный провал зрения: OCR мелких букв — отдельная сложная задача. Сохраните и сам файл, и запрос, и ответ, и лог сервера.

Для реальной работы возьмите три типа входа: хороший скан, размытый снимок и изображение, где ответа нет. Пусть модель указывает, что видно непосредственно, а что предположено. Например, по фотографии повреждённой коробки она может описать вмятину, но не должна из неё выводить виновника или стоимость ущерба. Для документов действуют те же ограничения: проверка извлечения из исходника важнее красивого резюме. Хороший результат локального запуска — не отсутствие ошибок, а возможность быстро найти источник каждой ошибки и повторить испытание.

На что уйдут ресурсы

Визуальный проектор загружается отдельно. Даже если текстовая модель квантована, это не гарантирует столь же малый расход памяти у визуальной части. В выпуске прямо отмечено, что башня зрения может работать в более высокой точности. Оцените свободную видеопамять до запуска, посмотрите журнал загрузки и измерьте задержку на изображениях разных размеров. Если процесс вытесняет другие программы или начинает переносить данные в медленную память, «локально» не означает «быстро».

Не стоит путать локальность с автоматической безопасностью. Приложение может сохранять изображения и ответы в логах, системном каталоге или интерфейсе, доступном по сети. Для внутреннего пилота ограничьте адрес прослушивания, проверьте права на папки и не используйте реальные паспорта, медицинские записи или клиентские документы до проверки всей цепочки. Если задача состоит лишь в редком ручном чтении картинки, содержание собственного сервера может оказаться избыточным. Сравните его с другим вариантом на одинаковом тестовом наборе и считайте время до принятого человеком ответа.

Что отличает этот релиз от новой модели

FreeToken — движок исполнения, а не сам набор знаний. Его новая функция расширяет способ подать вход на совместимые модели, но не улучшает их зрение автоматически. Качество зависит от выбранных весов, проектора, исходного изображения и формулировки задания. Поэтому при сообщении о результате пишите полную связку, а не только название движка. В нашей карточке новой открытой модели Nanbeige отдельно показано, почему весам, памяти и условиям запуска нужен собственный разбор. Смешивать свойства движка и модели — удобная, но опасная ошибка.

Частые вопросы

Нужен ли mmproj для обычного текста? Нет, текстовый режим может работать без него; для заявленного визуального ввода совместимый проектор необходим.

Будет ли работать любой GGUF с картинками? Нет. Поддерживаются перечисленные архитектуры и конверсии, для ряда форматов в журнале версии указаны исключения.

Можно ли автоматически публиковать описание фото? Не стоит. Сначала проверьте факты на оригинале и отделите наблюдение от догадки модели.

Это бесплатный облачный сервис? Нет, речь о локальном движке; вычисления, хранение и обслуживание собственной среды остаются на стороне пользователя.