Алгоритми токенізації великих мовних моделей

Abstract

This work is dedicated to the review of algorithms for text tokenization of modern large language models

Дана робота присвячена огляду алгоритмів текстової токенізації сучасних великих мовних моделей.