ESMC-AR 848M + PLE: карточка авторегрессионной модели для белковых последовательностей

ESMC-AR 848M + PLE — экспериментальная авторегрессионная модель для белковых последовательностей, завершённая 10 сентября. В ней 848 446 464 параметра; обучение с нуля прошло на пяти миллиардах токенов предсказания. Репозиторий включает веса Safetensors, конфигурацию, токенизатор и код инференса. Это не обычная текстовая модель и не дообученная версия исходной ESMC-300M: автор прямо подчёркивает другую задачу и отсутствие переноса её предобученных весов.

Что делает модель

На вход подаётся последовательность аминокислот, после чего модель предсказывает продолжение по одному токену. Архитектура адаптирует блоки семейства ESMC к causal next-token prediction и добавляет PLE — крупные послойные n-граммные представления. Контекст заявлен до 2048 токенов. По умолчанию генерация ограничивает выход аминокислотами, но это технический фильтр, а не доказательство биологической корректности.

Практический смысл — исследовать вероятные продолжения и внутренние представления последовательностей. Нельзя напрямую объявлять сгенерированный белок стабильным, безопасным или функциональным. Для этого требуются вычислительные проверки, сравнение с известными данными и лабораторная валидация.

Что подтверждено карточкой

Автор указывает финальную контрольную точку 19 074, версии PyTorch 2.5.1 и Transformers 4.51.0, а также 32 слоя, скрытую размерность 1024, восемь query-heads и две KV-heads. Веса хранятся в FP32 и связаны с токенизатором, принимающим аминокислотные строки напрямую. Код требует trust_remote_code=True, поэтому перед запуском его нужно изучить и закрепить конкретную ревизию.

Модель не использует KV-cache: use_cache=False. Это влияет на скорость длинной генерации и означает, что привычная оценка производительности чат-моделей здесь неприменима. Тестовый запуск нужно строить на реальных длинах последовательностей, а не на коротком демонстрационном примере.

Чего пока нельзя заключить

В карточке нет независимой оценки биологической функции и не показано, что архитектура превосходит профильные базовые модели на практической задаче. Пять миллиардов токенов описывают объём обучения, но не качество источников, отсутствие утечек между train и test или пригодность для конкретного семейства белков. Также нельзя сравнивать 848 миллионов параметров с языковой моделью того же размера напрямую: словарь, данные и цель радикально отличаются.

Если команда хочет применить модель в исследовании, сначала формулируется проверяемая задача: например, ранжирование продолжений на отложенном наборе, а не «генерация новых белков». Нужен baseline, фиксированный датасет, метрика и специалист, который оценит биологический смысл. Общая логика контрольной выборки описана в гайде по локальному тесту модели.

Безопасный запуск

Создайте отдельное окружение без секретов и проверьте код репозитория до разрешения trust_remote_code. Закрепите хеш ревизии, версии библиотек и checksum весов. Первый прогон выполняйте без сетевого доступа, если он не нужен. Сохраните входы, параметры генерации, seed и необработанный выход.

Не отправляйте в публичный сервис закрытые исследовательские последовательности. Локальный запуск уменьшает передачу данных, но не отменяет контроль журналов, кэша и резервных копий. Для совместной работы нужна таблица происхождения каждого входа и прав на его использование.

Кому модель может быть полезна

Она интересна исследователям protein language models, разработчикам новых обучающих схем и командам, которым нужен открытый воспроизводимый checkpoint для экспериментов с causal generation. Для биолога без ML-инфраструктуры модельная карточка — скорее объект совместной работы с инженером. Для клинического или производственного решения текущих доказательств недостаточно.

Как оценить за один день

Возьмите небольшой разрешённый отложенный набор, подготовьте тривиальный baseline и две профильные модели для сравнения. Измерьте loss или заранее выбранную задачу, время, память и стабильность на нескольких seed. Просмотрите ошибки по семействам последовательностей. Если результат интересен, только потом расширяйте выборку и добавляйте дорогую биологическую проверку.

Не выбирайте модель по одной красивой последовательности. Генерация должна проходить фильтры допустимого алфавита, сходства с обучающими данными, структурной правдоподобности и последующей экспертной проверки. Каждый этап хранит свой статус, чтобы вычислительный кандидат не превратился в заявленный экспериментальный факт.

FAQ

Это модель для обычного текста?

Нет. Она работает с токенами аминокислотных последовательностей и создана для исследовательских задач биологии.

Модель доказала функциональность новых белков?

Нет. В карточке прямо отсутствует такая биологическая оценка; генерации являются кандидатами для дальнейшей проверки.

Почему нужен trust_remote_code=True?

Репозиторий использует пользовательскую реализацию архитектуры. Именно поэтому код и ревизию нужно проверить до запуска.

Можно ли использовать модель локально?

Да, веса и код опубликованы, но требования по памяти и скорости следует измерить на собственной конфигурации.