Как выбрать видеокарту для локальной нейросети: проверять не цифру, а весь запуск

Видеокарту для локальной нейросети часто выбирают как игровую: смотрят на поколение, число ядер и результаты в тестах. Для текста, изображений и небольших мультимодальных моделей порядок приоритетов другой. Карта может быть быстрой в игре, но бесполезной для нужного веса, если он не помещается в доступную память. А большой объём памяти не спасёт, если драйвер или программа запуска не поддерживают нужный формат.

Поэтому сначала описывают рабочий сценарий, а уже потом сравнивают железо. Нужно ли отвечать на короткие вопросы, обрабатывать длинные документы, генерировать изображения или держать несколько запросов одновременно? От ответа зависят модель, контекст, скорость и допустимый шум компьютера.

Зафиксируйте задачу и модель-кандидат

Запишите один конкретный результат: «суммировать обезличенный отчёт», «создать десять эскизов», «проверить небольшой фрагмент кода». Выберите не абстрактную «большую модель», а конкретный вариант весов и формат, в котором он доступен. Один и тот же набор параметров может существовать в полном виде, сжатом варианте и сборке для другого ускорителя.

Уточните, нужен ли длинный контекст. Память расходуется не только на веса, но и на рабочие данные диалога. Короткий вопрос и документ на сотни страниц предъявляют к карте разные требования. Сравнение размеров открытых моделей и ограничений железа разобрано в материале как выбрать размер открытой модели.

Поймите, что означает объём VRAM

Видеопамять хранит веса модели, промежуточные вычисления и часть контекста. Упрощённая оценка по числу параметров полезна только для первого отбора. Реальный расход зависит от точности, квантизации, длины запроса, программы запуска и того, остаются ли на карте другие процессы.

Если модель почти полностью занимает VRAM, система может запуститься, но отвечать рывками: часть данных уйдёт в оперативную память, а обмен по шине станет узким местом. Оставляйте запас для контекста и обычной работы Windows. Карта, которая запускает демо на пустом компьютере, не обязательно выдержит браузер, редактор и два параллельных запроса.

Квантизация уменьшает размер весов, но не превращает любую модель в бесплатную. Сжатие может изменить качество, скорость или совместимость. Сравните несколько вариантов на своей контрольной выборке, а не выбирайте минимальный файл только по размеру. Что именно меняется при таком сжатии, объясняется в материале что такое квантизация моделей.

Сверьте экосистему до покупки

Проверьте, поддерживает ли предполагаемая программа вашу архитектуру карты и нужный формат модели. Уточните версию драйвера, операционной системы и библиотек ускорения. На практике хорошо документированная связка часто экономит больше времени, чем небольшой прирост теоретической мощности. Если для запуска нужно вручную собирать несколько несовместимых компонентов, это часть стоимости решения.

Убедитесь, что для карты есть подходящий разъём, блок питания и физическое место в корпусе. Большая модель может занимать соседний слот, а мощное охлаждение — заметно повышать шум. Проверьте длину карты, число кабелей и запас блока питания с учётом процессора и дисков. Не используйте переходник сомнительного качества ради красивой спецификации.

Для нескольких карт заранее уточните, умеет ли выбранный запуск объединять память или просто дублирует модель. Две карты с одинаковым объёмом не всегда дают удвоенную полезность. Между ними появляется обмен данными, а настройка и диагностика усложняются.

Проведите тест до решения о покупке

Если возможно, арендуйте нужную конфигурацию или используйте уже имеющийся компьютер. Возьмите пять обезличенных примеров: короткий, длинный, с таблицей, с отсутствующим фактом и с повторным запросом. Замерьте время до первого токена, скорость полного ответа, пик памяти и температуру. Запишите, сколько ручных исправлений потребовалось.

Затем повторите тест после десяти–пятнадцати минут непрерывной работы. Некоторые системы выглядят быстрыми в первом запуске, но снижают частоту из-за нагрева. Если вентиляторы постоянно работают на максимуме, добавьте шум и расход электричества в оценку. Для домашнего устройства комфортная стабильность важнее пикового результата в одном коротком запросе.

Проверьте холодный старт и восстановление после остановки. Модель должна снова загружаться после перезагрузки программы, а зависший процесс — завершаться без перезапуска всего компьютера. Сохраните журнал ошибок и точную версию окружения; он пригодится при обновлении драйвера.

Не перепутайте память с качеством

Более крупная модель может лучше удерживать сложный контекст, но отвечать медленнее и требовать больше проверки. Компактная сборка иногда выигрывает в повторяемости и удобстве. Сравнивайте две версии на одинаковом формате ответа и одном человеке-проверяющем. Считайте минуты до принятого результата, а не только токены в секунду.

Для изображений и видео добавляются свои ограничения: размер исходника, точность вычислений, время загрузки и запись результата на диск. Карта, комфортная для чата, может оказаться узким местом на генерации нескольких кадров. Отделите сценарии, которые запускаются по очереди, от тех, где требуется параллельная очередь.

Планируйте обновление и откат

Не покупайте «запас на будущее» без описания следующей задачи. Форматы и программы меняются, а модель может перейти на другой способ упаковки. Сохраните текущую рабочую конфигурацию и сделайте простой план отката: прежний драйвер, версия запуска и проверочный набор. Если обновление ломает совместимость, вы должны вернуться к рабочему варианту без потери исходных файлов.

Перед передачей компьютера другому пользователю ограничьте доступ к папкам моделей и истории запросов. Локальный запуск не отменяет пароли, резервные копии и очистку временных файлов. О границах самого локального сценария читайте в гайде как запустить нейросеть на своём компьютере.

Хорошая видеокарта — не самая дорогая и не самая игровая. Это карта, на которой конкретная модель помещается с запасом, стабильно работает в вашем формате и не превращает проверку каждого ответа в отдельный технический проект.

Посчитайте стоимость спокойного запуска

Перед покупкой сложите не только цену карты. Добавьте возможную замену блока питания, дополнительное охлаждение, электроэнергию за месяц тестов и время на настройку драйверов. Если карта требует постоянного ручного вмешательства, это тоже расход: умножьте часы на свою рабочую ставку и сравните с арендой готовой конфигурации. Иногда более медленный, но поддерживаемый вариант оказывается дешевле полного цикла.

Зафиксируйте минимальный приемлемый результат: например, «документ из двадцати страниц обрабатывается не дольше пяти минут, температура не превышает выбранный предел, повторный запуск проходит без ручного вмешательства». Если конфигурация не выполняет любой обязательный пункт, не компенсируйте это красивой скоростью на коротком запросе. Такой порог превращает покупку железа в проверяемое решение, а не в спор характеристик.