تحسينات لنوى MoE على SageMaker AI ترفع الأداء وتخفض زمن الاستجابة
طبّقت AWS تحسينات هندسية لنوى نماذج Mixture-of-Experts المدمجة على Amazon SageMaker AI، تشمل تبديل المصفوفات لاستغلال وحدات Tensor Cores في NVIDIA Hopper. وأسفر ذلك عن رفع إنتاجية المخرجات بنسبة 2-4% على H200، وأُتيح في vLLM 0.24.0 أو أحدث.
كما أدى اختيار Triton لنماذج FP8 إلى زيادة الإنتاجية 10% ضمن حاوية LMI v28، فيما ألغت تعديلات على إعادة ترجمة Triton البرمجية تحسناً قدره 9% في زمن أول رمز TTFT على H200 بتوازٍ موترّي من 8 وحدات. وتقول AWS إن التحسينات مفتوحة المصدر ترفع الإنتاجية حتى 10% وتسرّع TTFT حتى 9%.
Mixture-of-Experts kernel engineering on Amazon SageMaker AI · تاريخ النشر في المصدر: