vLLM يضيف نقل KV بالدفع لتسريع الاستدلال المفصول
أضاف vLLM مفتوح المصدر موصل NIXLPushConnector لنقل ذاكرة المفاتيح والقيم (KV) بأسلوب الدفع في الاستدلال المفصول بين مرحلتي prefill وdecode. ويسجل خادم decode الكتل مسبقاً بينما يحسب خادم prefill ذاكرة KV، ما ينقل إعداد النقل خارج المسار الحرج.
أضاف vLLM مفتوح المصدر موصل NIXLPushConnector لنقل ذاكرة المفاتيح والقيم (KV) بأسلوب الدفع في الاستدلال المفصول بين مرحلتي prefill وdecode. ويسجل خادم decode الكتل مسبقاً بينما يحسب خادم prefill ذاكرة KV، ما ينقل إعداد النقل خارج المسار الحرج.
في اختبار Qwen3-32B على نشر 1P1D باستخدام مثيلات Amazon EC2 P5en وشبكة EFA، حقق نمط الدفع تحسناً يصل إلى 3 مرات في زمن أول رمز TTFT و30% في زمن الرمز الناتج TPOT مقارنة بنمط السحب. وتختلف النتائج بحسب العبء والإعدادات، بينما يبقى السحب مناسباً لتوجيه أكثر مرونة بعد prefill.
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM · تاريخ النشر في المصدر: