NVIDIA تسرّع تحديث أوزان نماذج التعلم المعزز عبر Reshard
أعلنت NVIDIA أن تقنية Reshard ضمن NCCL M2N تقلّص نقل البيانات عند تحديث أوزان نماذج الاستدلال من وحدات تدريب GPU خلال ما بعد تدريب التعلم المعزز. وحققت في اختبارات NeMo RL تسريعاً بين 2.7 و5.7 مرات مقارنة بأسلوب الجمع ثم البث.
أعلنت NVIDIA أن تقنية Reshard ضمن NCCL M2N تقلّص نقل البيانات عند تحديث أوزان نماذج الاستدلال من وحدات تدريب GPU خلال ما بعد تدريب التعلم المعزز. وحققت في اختبارات NeMo RL تسريعاً بين 2.7 و5.7 مرات مقارنة بأسلوب الجمع ثم البث.
تتعامل التقنية مع التحديث كنقل بين توزيعات DTensor، فتنقل الأجزاء المطلوبة فقط وتحد من النقل الشبكي المكرر عبر نطاقات NVLink. وتكتسب أهميتها مع وصول حمولة التحديث إلى نحو 10 تيرابايت للنماذج المفتوحة الأكبر، بينما شكّلت أوزان الإسقاط في الطبقات الأمامية قرابة 95% من المعلمات. وسجّل نموذج Qwen3.8 2.4T BF16 زمناً قدره 4.3 ثوانٍ في اختبار تحديث مستقل.
Accelerating Reinforcement Learning Weight Refit with the Reshard Collective · تاريخ النشر في المصدر: