عملية تقسيم النص إلى وحدات صغيرة (Tokens) ليفهمها الذكاء الاصطناعي.
التوكن قد يكون كلمة، جزءاً من كلمة، أو حرفاً، ويحاسب المستخدم مالياً بناءً على عددها.