نقل KV ثنائي الاتجاه في vLLM يخفض زمن الاستجابة للمحادثات الطويلة
أظهرت اختبارات على vLLM أن نقل ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) ثنائي الاتجاه بين عقدتي المعالجة المسبقة والتوليد يقلص زمن أول رمز (TTFT) في أعباء العمل الوكيلة متعددة الجولات. وعلى مثيلات Amazon EC2 P5en المتصلة بـEFA، بلغ الخفض 1.6 مرة لـQwen3-32B و3.3 مرة لـzai-org/GLM-5-FP8.
أظهرت اختبارات على vLLM أن نقل ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) ثنائي الاتجاه بين عقدتي المعالجة المسبقة والتوليد يقلص زمن أول رمز (TTFT) في أعباء العمل الوكيلة متعددة الجولات. وعلى مثيلات Amazon EC2 P5en المتصلة بـEFA، بلغ الخفض 1.6 مرة لـQwen3-32B و3.3 مرة لـzai-org/GLM-5-FP8.
تتيح الآلية لعقدة المعالجة المسبقة إعادة استخدام كتل KV التي تحتفظ بها عقدة التوليد، بدلاً من إعادة حساب سجل المحادثة المتنامي في كل جولة. وتعتمد على مدة احتفاظ افتراضية قدرها 480 ثانية وعتبة إعادة حساب افتراضية تبلغ 64 رمزاً، فيما تختلف النتائج بحسب النموذج والعتاد والشبكة وعبء العمل.
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM · تاريخ النشر في المصدر: