Что такое токены в нейросетях и сколько они стоят: простыми словами

Если вы пользуетесь нейросетями через API или просто видели слово «токены» в тарифах — этот гайд для вас. Разберёмся, что такое токены, зачем они нужны и как не переплачивать.

Что такое токен

Токен — это кусочек текста, на который нейросеть делит ваше сообщение. Это не буква и не слово целиком, а что-то между. Модель не «читает» текст как человек — она работает именно с токенами.

Грубые ориентиры:

• 1 токен ≈ 4 символа английского текста
• 1 токен ≈ 0,75 английского слова
• для русского языка токенов больше — кириллица «дробится» сильнее, примерно 1 токен на 2–3 символа

То есть один и тот же текст на русском «съест» больше токенов, чем на английском. Прикинуть число токенов в своём тексте можно нашим счётчиком токенов.

Почему за токены платят

Когда вы пользуетесь моделью через API, оплата идёт за токены — отдельно за вход (ваш запрос) и за выход (ответ модели). Поэтому длинные запросы и развёрнутые ответы стоят дороже.

Посчитать примерную стоимость запросов к разным моделям удобно в калькуляторе стоимости API.

Что такое окно контекста

Окно контекста — это сколько токенов модель может «удержать в голове» за один раз: ваш запрос плюс ответ. У современных моделей оно огромное — от 200 тысяч до 2 миллионов токенов. Как использовать это на практике, мы разобрали в гайде про большой контекст.

Если текст не помещается в окно — модель «забывает» начало. Поэтому для больших документов важно укладываться в лимит.

Как экономить токены

• Формулируйте кратко. Лишние вводные слова — это лишние токены. Как писать чётко, в гайде как писать промпты.
• Не передавайте лишний контекст. Вставляйте только нужные куски документа.
• Просите короткий ответ, если детали не нужны.
• Выбирайте модель под задачу. Для простого — дешёвую и быструю, для сложного — флагман. Сравнить можно в каталоге моделей.

Коротко

Токен — единица текста, с которой работает и за которую считает деньги нейросеть. Русский текст «тяжелее» английского, а размер окна контекста ограничивает объём за один запрос. Понимая это, вы будете тратить меньше и получать ответы точнее.