توكن
 | يفتقر محتوى هذه المقالة إلى الاستشهاد بمصادر. (فبراير 2016) |
لفظ توكن Token يصف سلسلة من الرموز لها معنى (نوع) محدد في نحو شكلي. تشكل التوكن حجر البناء في الثروة اللغوية التي يعتد عليها الـ تجزئة.
في أبسط الأحوال يمكن اعتبار كل حرف منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في اللغة العربية يمكن اعتبار عملية تقسيم الجملة الفعلية إلى فعل وفاعل ومفعول به كـ tokenization.
| توكن | |
|---|---|
| لكسيم | نوعه |
| 123 | عدد |
| foobar | اسم |
| begin | كلمة مفتاحية |
| العتاد | |
|---|---|
| بنية الأنظمة | |
| الشبكات | |
| بنية البرمجيات | |
| نظرية لغات البرمجة وأدواتها | |
| تطوير البرمجيات | |
| نظرية الحوسبة | |
| الخوارزميات | |
| رياضيات الحوسبة | |
| نظم المعلومات | |
| الأمن | |
| التفاعل الإنساني الحاسويبي | |
| تزامن | |
| الذكاء الاصطناعي | |
| تعلم الآلة |
|
| رسوميَّات | |
| الحوسبة التطبيقيَّة | |
