ماذا تعني توكن؟

لفظ توكن Token يصف سلسلة من الرموز لها معنى (نوع) محدد في نحو شكلي . تشكل التوكن حجر البناء في الثروة اللغوية التي يعتد عليها الـ تجزئة. في أبسط الأحوال يمكن اعتبار كل حرف منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها.