انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

NVIDIA تطرح إرشادات لتسريع الاستدلال طويل السياق بالانتباه المتناثر

عرضت NVIDIA تصميماً مشتركاً للانتباه المتناثر يهدف إلى خفض كلفة الاستدلال في النماذج ذات السياقات الطويلة. وتوصي باستخدام KH=1، وأبعاد رؤوس 128 أو 256، ودمج Top-k مع الفهرس، والاعتماد على FP16، واختيار كتل كبيرة للانتباه الأساسي.
رسم توضيحي مولّد بالذكاء الاصطناعي: NVIDIA تطرح إرشادات لتسريع الاستدلال طويل السياق بالانتباه المتناثر
رسم توضيحي مولّد بالذكاء الاصطناعي

عرضت NVIDIA تصميماً مشتركاً للانتباه المتناثر يهدف إلى خفض كلفة الاستدلال في النماذج ذات السياقات الطويلة. وتوصي باستخدام KH=1، وأبعاد رؤوس 128 أو 256، ودمج Top-k مع الفهرس، والاعتماد على FP16، واختيار كتل كبيرة للانتباه الأساسي.

تزداد أهمية هذه الإرشادات مع انتقال السياقات من عشرات آلاف الرموز إلى مئات الآلاف، حيث يبقى الفهرس مضطراً إلى تقييم كامل السياق رغم تقليل الانتباه الأساسي. وقالت القياسات إن إعادة استخدام اختيار الخطوة السابقة تسرّع Top-k بين 2.1 و2.4 مرة، فيما يقلل الضغط والفهرسة الهرمية ومشاركة الفهرس العمل في مرحلتي الفهرسة والاختيار.

Co-Designing Sparse Attention for Efficient Long-Context Inference · تاريخ النشر في المصدر: