BPE

Токенизация простыми словами: как LLM понимает текст

Разбираемся, как языковые модели разбивают текст на токены, зачем нужен BPE и почему русский язык …