Что такое контекстное окно и почему ИИ «забывает» начало длинного разговора

Вы долго общаетесь с ИИ, и вдруг он путает детали, о которых вы договорились в начале, или «забывает» инструкцию из первого сообщения. Дело не в глупости модели — почти всегда виновато контекстное окно. Разберём, что это и как с ним жить.

Что такое контекстное окно

Контекстное окно — это максимальный объём текста, который модель может «держать в голове» одновременно: ваш запрос, вся предыдущая переписка и её собственные ответы. Измеряется в токенах — кусочках слов (примерно 3–4 символа русского текста на токен).

Когда пишут, что у модели «окно 200K токенов», это значит, что суммарно в неё влезает около 200 тысяч токенов — сотни страниц текста. Прикинуть, сколько токенов в вашем тексте, можно счётчиком токенов, а перевести токены в примерные размеры окна — калькулятором контекста.

Почему оно конечно

Модель не запоминает разговор «навсегда», как человек. На каждом ответе она заново прочитывает всё, что помещается в окно, — и только это. Держать бесконечный контекст дорого и технически, и по вычислениям: чем больше окно, тем больше памяти и времени на каждый ответ.

Поэтому у любой модели есть предел. Он может быть большим (миллион токенов у некоторых), но он всегда есть.

Почему ИИ «забывает» начало

Вот ключевой момент. Когда разговор становится длиннее контекстного окна, самое старое перестаёт помещаться. Модель работает по принципу скользящего окна: новое входит — старое вытесняется.

То есть ИИ не «забыл» в человеческом смысле — начало диалога просто физически выпало из того, что он видит. Он отвечает по тому, что осталось в окне, и потому путает или игнорирует то, что было в самом начале длинной переписки.

Признаки, что вы упёрлись в окно

• ИИ путает детали, о которых вы договаривались в начале длинного диалога.
• Игнорирует инструкцию из первого сообщения, хотя в начале ей следовал.
• В работе с большим документом теряет то, что было в его начале.
• Ответы становятся менее связными по мере роста переписки.

Как с этим работать

Повторяйте важное. Если инструкция критична, продублируйте её ближе к текущему сообщению, а не надейтесь, что модель помнит её из начала.

Давайте итоги. В длинном диалоге периодически просите ИИ подвести краткий итог договорённостей — и дальше опирайтесь на этот свежий итог, он снова в окне.

Начинайте новый чат для новой задачи. Не тяните один бесконечный разговор через десять разных тем — старое всё равно вытеснится, а лишний контекст мешает. Чистый чат под новую задачу работает лучше.

Режьте лишнее. Если вставляете большой документ, оставьте только нужную часть. Меньше мусора в окне — больше места и внимания на важное.

Большое окно — не панацея

Даже когда всё помещается, есть нюанс: модели склонны лучше помнить начало и конец контекста, чем середину. Информация, зарытая в глубине огромного документа, может «потеряться», хотя формально она в окне. Поэтому важное лучше ставить в начало или конец запроса, а не прятать в середину.

Что запомнить

• Контекстное окно — сколько текста модель держит одновременно, считается в токенах.
• Оно всегда конечно: новое входит — самое старое вытесняется.
• ИИ «забывает» начало не по глупости, а потому что оно выпало из окна.
• Повторяйте важное, просите итоги, начинайте новый чат под новую задачу.
• Даже в большом окне середину модель помнит хуже — ставьте важное в начало или конец.

Посчитать токены своего текста — счётчиком токенов. Прикинуть, влезет ли документ в окно модели, — калькулятором контекста.