في اختبار صغير على ثلاث جمل عربية، قسّم tokenizer نموذج Jais-3-7B الفصحى إلى نحو 1.22 token لكل كلمة، مقابل 1.83 لـtiktoken o200k_base. الأقل يعني تقسيمًا أقصر لهذه العينة فقط.
هي تجربة فردية على نص عربي فعلي، وليست قياسًا لجودة نموذج أو سرعته أو تكلفته.
الخلاصة أولًا
- المصدر: تدوينة مطورة لـAerin Kim على مدونة Miraflow بتاريخ 20 أكتوبر 2026.
- العينة: ثلاث جمل متوازية بالإنجليزية والفصحى والمصرية والخليجية.
- المقياس: متوسط tokens لكل كلمة مفصولة بمسافة؛ الأقل يعني تقسيمًا أقصر.
- النتيجة: Jais-3-7B نحو 1.22 للفصحى مقابل 1.83 لـtiktoken o200k_base.
- الحد: لا تثبت جودة ولا سرعة ولا تكلفة.
كم tokens لكل كلمة في كل لهجة؟
| الـtokenizer: tokens لكل كلمة | الفصحى | المصرية | الخليجية |
|---|---|---|---|
| Jais-3-7B | 1.22 | 1.57 | 1.55 |
| Jais-3-0.9B | 1.48 | 1.71 | 1.70 |
| tiktoken o200k_base | 1.83 | 1.95 | 2.00 |
ماذا يعني الفرق عمليًا؟
خذ نصًا فصيحًا من 100 كلمة. بحسابنا من أرقام الجدول، يقسّمه Jais-3-7B إلى نحو 122 token، وtiktoken o200k_base إلى نحو 183. الفرق نحو 61 token، أي أن tiktoken يحتاج في هذه العينة إلى نحو 50% زيادة.
الفجوة تضيق في اللهجتين. في الخليجية يسجّل Jais-3-7B نحو 1.55 مقابل 2.00 لـtiktoken. وJais-3-0.9B الأصغر يقسّم الفصحى إلى 1.48، أي أكثر من أخيه الأكبر.
كيف أُجري الاختبار؟
تقول الكاتبة إنها شغلت سكربتًا يقارن tokenizers على ثلاث جمل متوازية لكل لهجة، مع نشر الشفرة والجمل، فيمكن فحص التجربة.
هي تقسّم النص فقط ولم تشغّل النماذج لتوليد إجابات.
كيف تُقرأ النتيجة؟
tokens أقل لكل كلمة تعني تقسيمًا أقصر في هذه الجمل. وثلاث جمل ليست متنًا ممثلًا.
ولا تثبت الأرقام جودة عربية أفضل أو نموذجًا أسرع أو فاتورة أقل، لأن أسعار token والتنفيذ تختلف بين المزودين. وtokenizer عام في هذا الاختبار ليس تلقائيًا tokenizer أحدث نماذج GPT أو Claude.
ماذا تفعل بعد ذلك؟
- اقرأ التدوينة المذكورة في المصادر وافحص الشفرة والجمل المنشورة.
- نقترح أن تعيد التجربة على نص من مجالك، مثل عقودك أو رسائل عملائك، قبل أن تبني قرارًا عليها.
- إن كانت التكلفة تهمك، قارن أسعار token وسلوك النماذج عند المزود نفسه، فالاختبار لم يقس الفواتير.
أسئلة وأجوبة حول تقسيم العربية
هل tokens أقل تعني فاتورة API أرخص؟
ليس بالضرورة. تختلف أسعار token وسلوك النماذج بين المزودين، ولم يقس هذا الاختبار الفواتير.
هل Jais أفضل بالعربية؟
لا يمكن الحكم من هذا الاختبار. هو يقيس التقسيم فقط وليس جودة الإجابات.
هل ثلاث جمل تكفي للحكم؟
لا. ثلاث جمل ليست متنًا ممثلًا، فالنتيجة تخص هذه العينة فقط.
أي tokenizer قسّم الفصحى بأقل tokens؟
Jais-3-7B بنحو 1.22 لكل كلمة، يليه Jais-3-0.9B بـ1.48 ثم tiktoken o200k_base بـ1.83.
مصطلحات بلغة مبسطة
- tokenizer: أداة تقطّع النص إلى قطع صغيرة يتعامل معها النموذج.
- token: إحدى هذه القطع، وقد تكون كلمة أو جزءًا منها.
المصادر
قُرئت الوقائع في 21 أكتوبر 2026.
