Понятие
Токен
Token
Токен — это кусочек текста, которым нейросеть оперирует вместо целых слов: часть слова, слово или знак. В токенах считают объём контекста и стоимость запроса.
Что это
Что такое токен
Модель не видит буквы и слова напрямую, она режет текст на токены — частые слова становятся одним токеном, редкие распадаются на несколько. В английском один токен это примерно 4 символа, в русском текст обычно дробится мельче, поэтому одна и та же мысль по-русски стоит больше токенов. Через токены измеряется и размер контекстного окна, и счёт за работу модели по API.
Отличие
Чем отличается от слова или символа
Слово — единица языка для человека, символ — единица текста для компьютера, а токен — единица восприятия для модели, и она не совпадает ни с тем, ни с другим. Вывод: нельзя на глаз посчитать «сколько слов влезет», считать надо в токенах, и именно поэтому длинные русские инструкции иногда выгоднее давать модели на английском.
Зачем сейчас
Почему это важно сейчас
Оплата по API идёт за токены, а лимиты подписок упираются в них же. Понимание, что съедает токены, прямо экономит деньги и не даёт упереться в потолок контекста посреди работы.
Практика
Статьи, где упоминается это понятие
Платформа и сообщество, где я по шагам показываю, как поставить ИИ на рутину: контент, код, продажи, аналитика. Заходи и забирай рабочие связки, которыми пользуюсь сам.
Вступить в ИИ-офисtelegram
Канал с полезными материалами про нейросети
Разборы, новые инструменты и приёмы по ИИ — то, чем пользуюсь сам, без воды. Подпишись, чтобы не потерять.
