Контекстное окно: сколько ИИ может «помнить» в разговоре

Контекстное окно - это максимальное количество текста (в токенах), которое языковая модель может учитывать одновременно: твои сообщения, свои ответы, загруженные файлы и служебные инструкции.

Простыми словами

Представь, что ты читаешь длинную книгу через окошко, вырезанное в листе картона. Видна только одна страница - всё, что раньше, осталось за краем. Контекстное окно модели - такой же вырез. Маленький вырез - модель «забывает» начало разговора. Большой - под него можно положить целую книгу.

Как это работает

1. Всё, что модель должна учесть, складывают в одну длинную ленту токенов.
2. Если лента длиннее окна, самые старые части обрезают или сжимают.
3. Модель отвечает с учётом только того, что попало в окно.
4. У современных моделей окна от десятков тысяч до миллиона и более токенов.
5. Чем сильнее окно заполнено, тем дольше и дороже модель обрабатывает запрос.

Где ты это увидишь

Размер контекстного окна пишут в описаниях моделей и тарифов: «128K», «200K», «1M токенов». Ты чувствуешь его, когда загружаешь в чат-бот большой PDF, весь код проекта или когда длинный разговор вдруг «забывает» договорённости из начала.

Важно ли это при выборе

Да, если ты работаешь с большими документами - конспектами, книгами, кодом. Тогда выбирай модель с большим окном. Мой лайфхак для длинных разговоров: периодически проси бота кратко подытожить договорённости и начинай новый чат с этого итога.

Мифы

• Миф: Большое окно - бот помнит всё идеально. На самом деле: Даже в пределах окна модель может пропустить деталь из середины длинного текста.
• Миф: Контекстное окно - это долговременная память бота. На самом деле: Нет, это только текущий разговор. Долговременная «память» - отдельная функция некоторых сервисов.

Частые вопросы

Сколько текста в 128 тысячах токенов?

Примерно как небольшая книга - сотни страниц, в зависимости от языка.

Почему бот забыл, что я говорил в начале?

Скорее всего, разговор стал длиннее окна, и старые сообщения обрезали.

Большое ли окно у локальной модели на телефоне?

Обычно меньше, чем у облачных: ей не хватает памяти устройства.

Связанные термины

Токен, Большая языковая модель, Чат-бот, Поиск с дополнением