Что такое токен в ИИ и почему за них берут деньги
Токен - это наименьшая единица текста, с которой работает языковая модель: целое короткое слово, часть длинного слова, знак препинания или пробел. Модели читают и пишут именно токенами.
Простыми словами
Помнишь, как в первом классе читали по слогам: «мо-ло-ко»? Языковая модель тоже «читает по кусочкам», только её кусочки - не слоги, а токены. Частые слова - целым токеном, редкие - несколькими. Так модель может записать любое слово, даже выдуманное, из ограниченного «алфавита» кусочков.
Как это работает
- Перед обработкой текст режут на токены специальной программой - токенизатором.
- Каждый токен получает свой номер, потому что нейросеть работает с числами.
- Модель генерирует ответ тоже по одному токену за раз.
- На английском одно слово - в среднем чуть больше токена, на русском и украинском токенов на слово обычно больше.
- Количество токенов определяет, сколько текста влезет в память модели и сколько стоит запрос.
Где ты это увидишь
О токенах ты услышишь, когда читаешь о лимитах чат-ботов, ценах на API для разработчиков или контекстном окне модели: «128 тысяч токенов», «1 миллион токенов». Скорость ИИ на устройстве тоже часто измеряют в токенах в секунду.
Важно ли это при выборе
Для обычного пользователя - нет, главное знать, что длинные документы могут «не влезть». А вот если ты программируешь и используешь ИИ через API, токены - это деньги: платишь отдельно за входные и выходные. И ещё: на ноутбуке или телефоне локальная модель, которая выдаёт 20+ токенов в секунду, уже ощущается быстрой.
Мифы
- Миф: Один токен - это одно слово. На самом деле: Не всегда. Длинное или редкое слово может занимать несколько токенов.
- Миф: На русском и английском одинаковый текст стоит одинаково. На самом деле: Часто нет: для русского обычно нужно больше токенов.
Частые вопросы
Сколько токенов в странице текста?
Примерно несколько сотен - зависит от языка и модели.
Как узнать количество токенов?
У некоторых сервисов есть онлайн-счётчики токенов, а API возвращает точное количество.
Токены в ИИ - то же самое, что криптотокены?
Нет, это совершенно разные вещи с одинаковым названием.
Связанные термины
Контекстное окно, Большая языковая модель, Промпт, Параметры модели