BitNet Embedding 0.6B

BitNet Embedding — семейство моделей Microsoft для превращения текста в векторы, выложенное 15 июля 2026 года в двух размерах: 0,6 млрд и 270 млн параметров. Это первые embedding-модели, построенные на однобитной архитектуре BitNet.

Суть в квантизации. Обычная модель хранит каждый вес числом с плавающей точкой. Здесь все линейные слои переведены в тернарные веса по 1,58 бита — то есть вес принимает одно из трёх значений. Активации при этом остаются в обычной точности. Результат — резкое падение требований к памяти и ускорение на процессоре: заявлено от 1,42 до 2,28 раза быстрее версии FP16 на восьми потоках для модели 0.6B и от 1,32 до 1,74 раза для 270M.

Вторая интересная деталь — выходные векторы тоже можно квантовать: в 8, 4, 2 или даже 1 бит. Это отдельный рычаг: чем грубее вектор, тем меньше места занимает база и тем хуже качество поиска. Пропорцию выбираете вы под свою задачу.

Обучали на миллиарде текстовых пар с дистилляцией от учителя в FP16.

Самая важная оговорка идёт от самой Microsoft: компания прямо не рекомендует использовать модель в коммерческих и реальных приложениях без дополнительного тестирования — она позиционируется как исследовательская. Это не формальность в лицензии, а прямое предупреждение в карточке модели, и относиться к нему стоит серьёзно.