Как подобрать размер открытой модели под своё железо
Размер открытой модели часто принимают за прямой показатель качества: чем больше миллиардов параметров, тем лучше. На практике важнее связка из четырёх вещей — архитектура, точность, длина контекста и скорость на вашем компьютере. Большая модель, которая постоянно уходит в оперативную память и отвечает по минуте, может оказаться менее полезной, чем компактная, работающая устойчиво.
Что скрывается за обозначением 7B или 32B
Буква B означает миллиарды параметров. Это не оценка интеллекта и не рейтинг, а примерный объём чисел, из которых состоит модель. Две модели одного размера могут заметно отличаться на русском языке, коде или работе с таблицами. Поэтому число помогает прикинуть требования к памяти, но не заменяет тест на своих задачах.
Перед загрузкой определите роль модели. Для классификации коротких обращений хватит компактного семейства. Для длинного технического текста важнее контекст и устойчивость к терминологии. Для кода имеет значение, как модель продолжает незавершённый фрагмент и объясняет ошибку. Запишите два-три сценария, чтобы не выбирать конфигурацию «на всякий случай».
Считайте не только VRAM
Вес модели занимает видеопамять, но запуску также нужны кэш контекста, служебные буферы и память операционной системы. Чем длиннее запрос, тем больше резерв. Приблизительная формула для первого ориентира: число параметров умножается на размер числа в выбранной точности, затем добавляется запас на контекст и загрузчик. Для точного расчёта используйте калькулятор VRAM, а результат проверяйте фактическим запуском.
Не путайте объём видеопамяти с общей оперативной памятью. Если часть весов не помещается в VRAM, программа может выгрузить их в RAM или на диск. Это позволяет запустить модель формально, но резко увеличивает задержку и создаёт конкуренцию с браузером и другими приложениями. Для постоянной работы лучше оставить запас, а не заполнять память до последнего мегабайта.
Как работает квантование
Квантование хранит параметры с меньшей точностью. Q8 обычно близок к исходному качеству, Q6 и Q5 дают компромисс, Q4 заметно уменьшают размер и часто подходят для домашнего запуска. Но одинаковая надпись Q4 у разных форматов не гарантирует одинаковый результат: важны метод квантизации, конкретный загрузчик и чувствительность модели к сжатию. Базовые понятия собраны в материале что такое квантизация моделей.
Выбирайте квант под задачу, а не по минимальному размеру файла. Если модель пишет юридические формулировки или код, потеря точности может стоить дороже нескольких гигабайт. Для черновых идей, локального поиска и сортировки документов Q4 часто рациональнее. Сохраните название файла и параметры, чтобы потом понимать, какую версию вы сравнивали.
Практичная лестница размеров
Модели 1–3B запускаются на большинстве современных ноутбуков и подходят для простых преобразований текста. Диапазон 7–9B обычно становится первым универсальным вариантом: он справляется с диалогом, кратким анализом и несложным кодом при умеренном расходе памяти. 14–32B дают более устойчивое рассуждение и лучше держат сложные инструкции, но требуют серьёзной видеокарты либо распределения нагрузки. 70B и крупнее имеет смысл рассматривать только при конкретной причине: несколько пользователей, важная точность или исследовательский эксперимент.
Не принимайте эти границы за гарантию. На скорость влияют размер контекста, формат файла, число потоков и температура устройства. Для ориентира можно изучить карточку Qwen4, а затем выбрать уменьшенную версию и сравнить её с полной на одном наборе примеров.
Тест за вечер
Установите один загрузчик и не меняйте одновременно модель, квант и параметры. Подготовьте десять обезличенных заданий: пять обычных, три сложных и два с намеренной неоднозначностью. Измерьте время до первого токена, скорость генерации, пиковое потребление памяти и число остановок. Проверьте, соблюдает ли модель формат JSON или таблицы, не теряет ли отрицания и умеет ли сказать «не знаю».
Повторите тест с коротким и длинным контекстом. Если скорость падает в несколько раз, именно контекст, а не размер весов, является вашим узким местом. Оставьте 15–20 процентов памяти свободной, закройте лишние приложения и проверьте нагрев. Результат запишите в журнал вместе с версией драйвера и загрузчика.
Когда лучше отказаться от локального запуска
Если устройство перегревается, модель отвечает слишком медленно или команда не готова обновлять зависимости, облачный сервис может быть практичнее. Сравнить оба подхода помогает гайд об облачной и локальной модели. Для чувствительных данных всё равно нужны обезличивание, права доступа и защита резервных копий: локальный диск сам по себе не является политикой безопасности.
Правильный размер — тот, который выдерживает ваши реальные задания с понятной скоростью, запасом памяти и повторяемым качеством. Начните с меньшего кванта, измерьте результат, а затем увеличивайте модель только при доказанной пользе.
Как принять решение без гадания
Сведите измерения в одну строку для каждой версии: «модель — квант — контекст — скорость — ошибки — температура». Затем назначьте порог, после которого запуск считается непригодным: например, ответ дольше минуты, перегрев или потеря обязательного поля. Если две конфигурации проходят порог, выбирайте ту, что оставляет больше свободной памяти и проще обновляется. Это важнее разницы в одном балле синтетического теста.
Храните исходные задания и дату замера. После обновления драйвера или загрузчика повторите только контрольный набор, а не сравнивайте впечатления «до и после». Так вы поймёте, изменилась ли модель или просто условия запуска.