دراسة: واجهات وكلاء البرمجة ترفع الكلفة دون تحسين واضح في النتائج
خلصت دراسة لباحثين من جامعة شاندونغ إلى أن تبديل «حزمة التشغيل» لوكلاء البرمجة، مثل Claude Code وOpenCode وmini-SWE-agent، يغيّر النتائج بمقدار يقارب تباين إعادة تشغيل الإعداد نفسه، بينما قد يرفع استهلاك الرموز والتكلفة إلى ثلاثة أضعاف.
خلصت دراسة لباحثين من جامعة شاندونغ إلى أن تبديل «حزمة التشغيل» لوكلاء البرمجة، مثل Claude Code وOpenCode وmini-SWE-agent، يغيّر النتائج بمقدار يقارب تباين إعادة تشغيل الإعداد نفسه، بينما قد يرفع استهلاك الرموز والتكلفة إلى ثلاثة أضعاف.
اختبر الباحثان خمسة نماذج على 45 مسألة صعبة و447 مسألة إضافية من SWE-bench Verified. وبقي Claude Code وmini-SWE-agent ضمن أقل من نقطتين على العينة الأكبر، فيما كان تراجع OpenCode وحده ذا دلالة إحصائية، وبفارق يصل إلى تسع نقاط. وأرجعت الدراسة الكلفة أساساً إلى مطالبات النظام ووصف الأدوات الطويلة المعاد إرسالها في كل خطوة، ودعت إلى نشر إعادة تشغيل مرجعية مع مقارنات الحزم لتمييز التحسن الحقيقي من الضوضاء.
Fancy harnesses make coding agents more expensive but not better, study finds · تاريخ النشر في المصدر: