فريق من وكلاء النموذج Qwen3.8-27B حل 49 من 50 تشغيلًا على أول 10 مسائل من قائمة دراسة GVS5H، بمتوسط 9.8 من 10، مقابل 8.0 للنموذج Fable 5 في استدعاء واحد. لكن التشغيلات الخمسين هي 10 مسائل مكررة 5 مرات، والفريق استدعى النموذج 345 مرة مقابل 50 استدعاءً للطرف الآخر.
الخلاصة العملية: التجربة تثبت أن سير عمل مبنيًا على نموذج مفتوح الأوزان حل هذه العينة الصغيرة بثبات. ولا تثبت أن النموذج الصغير أذكى من النموذج Fable 5، لأنها تقارن نظامًا متعدد الاستدعاءات باستدعاء منفرد بميزانية أقل. لم نشغّل التجربة بأنفسنا؛ قرأنا ملفات نتائجها المنشورة في مستودع مشروع Memdoor ومستودع الدراسة الأصلية.
الخلاصة أولًا
- العينة: أول 10 مسائل من قائمة LiveCodeBench Hard في دراسة GVS5H، وكل مسألة شُغّلت 5 مرات، بحسب صفحة التعريف في مستودع المشروع.
- الأرقام: 49 من 50 للفريق، و48 من 50 لعمود المؤلفين، و40 من 50 للنموذج Fable 5، أي 9.8 و9.6 و8.0، بحسب ملفي النتائج في المستودع.
- الفارق بين الفريقين: تشغيل واحد من 50.
- الكلفة: 35.79 دولار للتشغيلات الخمسين، والوسيط 0.39 دولار للتشغيل، عبر مزود الاستدلال OpenRouter، بحسب صفحة التعريف الخاصة بسير العمل.
- الترخيص: ترخيص Apache 2.0 يخص مشروع Memdoor نفسه، أما النموذج ومزودو الاستدلال فلهم شروطهم.
الأرقام تمريرة بتمريرة
كل خانة تعني عدد المسائل المحلولة من 10 على الاختبارات المخفية في تلك التمريرة. عمود الفريق من ملف نتائج تشغيلات الفريق، والعمودان الآخران من ملف نتائج المؤلفين، وكلاهما منشور في مستودع المشروع.
| التمريرة | فريق Memdoor | عمود المؤلفين | النموذج Fable 5 باستدعاء واحد |
|---|---|---|---|
| 1 | 10 | 9 | 7 |
| 2 | 10 | 10 | 8 |
| 3 | 10 | 10 | 10 |
| 4 | 10 | 9 | 8 |
| 5 | 9 | 10 | 7 |
| المجموع من 50 | 49 | 48 | 40 |
| المتوسط | 9.8 | 9.6 | 8.0 |
في التمريرة 3 حل النموذج Fable 5 المسائل العشر كلها، مثل الفريق تمامًا. وخسارة الفريق الوحيدة كانت المسألة abc399_e في التمريرة 5، إذ اجتاز 32 من 44 اختبارًا مخفيًا، بحسب ملف نتائج تشغيلات الفريق. وتشرح صفحة التعريف الخاصة بسير العمل السبب: المدير اخترع مثالًا مضادًا خاطئًا، فأعاد الفريق كتابة برنامج كان صحيحًا.
ماذا بنى Memdoor بالضبط
يصف المطور مشروعه بأنه وكيل برمجة خفيف في ملف تنفيذي واحد يعمل من الطرفية. ويقول في نقاش موقع Hacker News إنه أنشأه قبل أشهر، فالجديد هو إعادة التجربة لا إطلاق الأداة.
بحسب صفحة التعريف الخاصة بسير العمل، يتكون الفريق من مخطِّط، واثنين لتوليد الأفكار، ومنفِّذ يكتب الحل، ومدير يراجع، إضافة إلى عامل إصلاح. كل وكيل يبدأ بسياق جديد، ولا يتواصل مع غيره إلا عبر الملفات. وفي أثناء الحل يتحقق سكربت من النتيجة بتشغيل الأمثلة العامة ومقارنة المخرجات، لا نموذج لغوي.
الدرجة النهائية تأتي من الاختبارات المخفية بمصحِّح المؤلفين الأصليين بعد تصويبه. ويقول المشروع إن عمود المؤلفين مأخوذ من ملفات نتائجهم بعد إعادة التصحيح، وإن عمود النموذج Fable 5 استدعاء واحد لكل مسألة من ملفات المؤلفين، ولم يُشغَّل داخل سير العمل هذا.
لماذا لا تساوي 50 تشغيلًا 50 مسألة
التمريرات الخمس تعيد المسائل العشر نفسها، فهي تقيس الثبات ولا توسّع العينة. ويظهر ذلك في ملف نتائج المؤلفين: أخطاء النموذج Fable 5 العشرة كلها جاءت من 3 مسائل. فشل في المسألة 3717 في 4 تمريرات، وفي المسألة abc399_e في 4 تمريرات، وفي المسألة arc196_a في تمريرتين، وحل المسائل الباقية، وعددها 7، في كل تمريرة.
بعبارة أخرى، الفارق بين 40 و49 تصنعه 3 مسائل. لو استُبدلت هذه المسائل بغيرها لتغيرت الصورة، ولا نعرف في أي اتجاه.
وأثر حجم العينة واضح عند المقارنة بالدراسة الأصلية. على 100 مسألة تذكر صفحة التعريف في مستودع دراسة GVS5H أن فريق النموذج Qwen3.8-27B بلغ 92.4% مقابل 90.4% للنموذج Fable 5، أي فارق نقطتين. وفي عينة Memdoor يبدو الفارق 18 نقطة: 98% مقابل 80%، بحسابنا من الجدول أعلاه.
فريق مقابل استدعاء واحد: نظامان بميزانيتين مختلفتين
هذه النقطة تحدد كيف تقرأ العنوان. بحسب ملف نتائج تشغيلات الفريق، استهلك كل تشغيل بين 5 و22 استدعاءً، والمجموع 345 استدعاءً للتشغيلات الخمسين، أي نحو 7 استدعاءات للتشغيل في المتوسط. أما النموذج Fable 5 فأُعطي استدعاءً واحدًا لكل مسألة، أي 50 استدعاءً. ويذكر ملف الملاحظات في المستودع أن الفريق أنتج 15.3 مليون رمز من المخرجات.
والوقت جزء من الميزانية أيضًا. يذكر ملف الملاحظات أن الوسيط 40 دقيقة من وقت النموذج للتشغيل، وأن أطول تشغيل بلغ 4 ساعات. فالمقارنة بين نموذج صغير معه وقت ومحاولات ومراجعة، ونموذج كبير بفرصة واحدة.
ويوضح اختبار آخر في المستودع نفسه هذا الفارق. على 100 مسألة ومع إطفاء التفكير، حل الاستدعاء المنفرد 35 من 100 والفريق 47 من 100، بحسب صفحة التعريف في مجلد ذلك الاختبار. والفريق هناك سير عمل من 11 مهمة، كل دور فيها استدعاء. ويقول المشروع إن الفارق بين الطريقتين هو النتيجة المهمة، لا الرقم المطلق.
كم كلّف الفريق، وما الذي لا نعرفه عن كلفة Fable 5
الأرقام من ملف الملاحظات: 35.79 دولار للتشغيلات الخمسين، ترتفع إلى 38.77 دولار مع 16 محاولة أوقفها حد زمني. الوسيط 0.39 دولار للتشغيل، بينما المتوسط نحو 0.72 دولار بقسمة 35.79 على 50. وسبب الفارق تشغيلات ثقيلة: أغلى تشغيلين كلّفا 4.24 دولار و3.44 دولار، للمسألتين arc196_c وarc196_d في التمريرة 4.
لم ينشر المشروع كلفة استدعاءات النموذج Fable 5 على المسائل نفسها، فلا يمكن من هذه التجربة الحكم على أي الخيارين أرخص للمهمة المنجزة. وهذا ما تشرحه مقالتنا عن النموذج الأرخص الذي قد يكلّف أكثر لكل مهمة منجزة: سعر الرمز وحده لا يكفي، والمهم عدد الاستدعاءات والرموز حتى يكتمل الحل. ولمقارنة أسعار الواجهات البرمجية نفسها، راجع دليل أسعار نماذج الذكاء الاصطناعي وكلفة الواجهات البرمجية.
ويذكر ملف الملاحظات أن الاستدعاءات توزعت على 3 مضيفين عبر مزود الاستدلال OpenRouter: 203 لدى المضيف Modal، و27 لدى المضيف CoreWeave، و115 لدى المضيف Wafer. ويذكر أن 3 تشغيلات نُقلت في منتصفها إلى نسخة من النموذج بدقة 8 بت. أي أن البيئة لم تكن واحدة طوال التجربة.
ما علاقة هذا بدراسة GVS5H الأصلية
الدراسة منشورة باسم مختبر أبحاث شركة Persis Capital Inc.، وتختبر أسلوبًا تسميه التنسيق الذاتي القائم على سجل مشترك، دون تدريب إضافي. نسخ جديدة من النموذج نفسه تقسم المسألة وتتشارك نظام ملفات فيه الخطة والملاحظات والحل الحالي.
نطاقها أوسع: أحدث 100 مسألة صعبة من مقياس LiveCodeBench، و11 نموذجًا مفتوحًا ومغلقًا. وتذكر صفحة التعريف في مستودعها أن النموذج Qwen3.8-27B ارتفع من 66.8% إلى 92.4%، وأن فريق النموذج Qwen3.8 Flash Next بلغ 93.0% مقابل 90.4% للنموذج Fable 5 بنسبة 9% من الكلفة، وأن بعض النماذج لم يتحسن أو تراجع.
إذن ما فعله مشروع Memdoor إعادة تطبيق جزئية على 10 مسائل من 100 داخل أداة أخرى، ولا تنتقل نسب الدراسة إليه. وترخيص الدراسة مختلف: الشفرة بترخيص MIT، والورقة والبيانات بترخيص CC BY 4.0.
ما الذي تثبته النتيجة وما الذي لا تثبته
| تثبته بحسب الملفات المنشورة | لا تثبته |
|---|---|
| أن فريق Memdoor حل 49 من 50 تشغيلًا على العينة. | أن النموذج Qwen3.8-27B يتفوق على النموذج Fable 5 نموذجًا مقابل نموذج. |
| أن النتيجة قريبة من عمود المؤلفين على المسائل نفسها: 49 من 50 مقابل 48 من 50. | أن الفريق أرخص من النموذج Fable 5 لكل مسألة محلولة. |
| أن التشغيل تم عبر مزود الاستدلال OpenRouter بكلفة 35.79 دولار للمجموع. | أن الفارق نفسه سيظهر على المسائل المئة كاملة. |
| أن التصحيح تم بسكربت واختبارات مخفية، لا بنموذج لغوي. | أن النموذج لم يرَ المسائل في تدريبه. |
أما التلوث فتذكر صفحة التعريف الخاصة بسير العمل أن المسابقات من ربيع 2025، وأنه لا يمكن استبعاده لأي عمود. وأشار معلقون في موقع Hacker News إلى عمر المقياس، وإلى أن تحسين نتيجة مقياس واحد أسهل من تعميمها.
من تفيده هذه التجربة ومن يتجاوزها
- تفيدك إن كنت مطورًا يقارن بين نموذج كبير مدفوع وفريق من نموذج مفتوح الأوزان على مهام برمجة محددة، وتريد مثالًا بملفات نتائج وكلفة منشورة.
- تفيدك إن كنت تبني سير عمل بأدوار منفصلة، فهي تعرض الأدوار والتصحيح الآلي وأخطاء الفريق الفعلية.
- تجاوزها إن كنت تبحث عن حكم عام على أي النموذجين أذكى، فعينة من 10 مسائل لا تكفي لذلك.
- تجاوزها إن كان قرارك تشغيلًا محليًا على حاسوبك، فالتشغيل المنشور تم على مضيفين سحابيين عبر مزود الاستدلال OpenRouter.
إن أردت اختبار الفكرة على مهامك
هذه اقتراحاتنا التحريرية، وليست تعليمات من المشروع:
- قارن بميزانية متساوية: أعطِ النموذج الكبير عدد الاستدعاءات أو الرموز أو الدقائق نفسها، أو سجّل الفارق صراحة بجانب النتيجة.
- استخدم مسائل مختلفة، واكتب عدد المسائل المستقلة بجانب عدد التشغيلات.
- سجّل الكلفة والوقت للطرفين معًا، واحسبهما لكل مسألة محلولة.
- اختر مسائل أحدث من تاريخ تدريب النموذج إن أمكن.
- اقرأ شروط النموذج ومزود الاستدلال قبل الاستخدام التجاري، فترخيص Apache 2.0 لا يغطيها.
- انتبه لما ترسله: تحذر صفحة التعريف في مستودع المشروع من أن المضيفين المجانيين في مزود الاستدلال OpenRouter يدرّبون على ما يصلهم.
أسئلة سريعة
هل اختبر مشروع Memdoor 50 مسألة مختلفة؟ لا. اختبر 10 مسائل، وشُغّلت كل واحدة 5 مرات، والمجموع 50 تشغيلًا.
كم استدعاءً احتاج الفريق؟ احتاج 345 استدعاءً للتشغيلات الخمسين بحسب ملف نتائج تشغيلات الفريق، مقابل استدعاء واحد لكل مسألة في عمود النموذج Fable 5.
هل يشمل ترخيص Apache 2.0 النموذج؟ لا. الترخيص للمشروع نفسه، وللنموذج ولمزود الاستدلال شروطهما.
مصطلحات بلغة مبسطة
- التشغيل: محاولة واحدة لحل مسألة واحدة من أولها إلى آخرها.
- التمريرة: تشغيل المسائل العشر كلها مرة واحدة.
- الاستدعاء: طلب واحد يُرسل إلى النموذج ويعود بردّ. والاستدعاء المنفرد أن يكتب النموذج الحل في طلب واحد دون مراجعة أو إعادة محاولة.
- الاختبارات المخفية: حالات اختبار لا يراها الفريق في أثناء الحل، وعليها تُحسب الدرجة.
- التلوث: أن تكون المسائل أو حلولها ضمن بيانات تدريب النموذج، فتبدو النتيجة أعلى من قدرته الفعلية.
المصادر
- مستودع مشروع Memdoor وصفحة التعريف
- مشروع Memdoor: سير عمل الفريق وملف الملاحظات
- مشروع Memdoor: ملفا نتائج تشغيلات الفريق والمؤلفين
- مشروع Memdoor: اختبار المسائل المئة
- مشروع Memdoor: صفحة نتيجة الفريق
- موقع Hacker News: نقاش تجربة Memdoor
- مستودع دراسة GVS5H الأصلية
قُرئت المعلومات في 1 نوفمبر 2026.
