NVIDIA Dynamo تستهدف تسريع تدريب التعلم المعزز عبر توزيع الاستدلال
أعلنت NVIDIA أن منصة Dynamo توفر طبقة خدمة لتنسيق توليد الـrollouts الموزعة في تدريب التعلم المعزز، عبر توجيه يراعي ذاكرة KV وحمل العاملين، وتحديثات أوزان ModelExpress. كما تدعم تكاملات مفتوحة المصدر مع verl وNeMo RL وSlime وprime-rl.
أعلنت NVIDIA أن منصة Dynamo توفر طبقة خدمة لتنسيق توليد الـrollouts الموزعة في تدريب التعلم المعزز، عبر توجيه يراعي ذاكرة KV وحمل العاملين، وتحديثات أوزان ModelExpress. كما تدعم تكاملات مفتوحة المصدر مع verl وNeMo RL وSlime وprime-rl.
تقول الشركة إن إعادة استخدام الأوزان في ذاكرة وحدات GPU ونقل التحديثات التفاضلية المضغوطة يقللان زمن نقل الأوزان وحركة الشبكة. وتكتشف المنصة تعطل العاملين وتعيد توجيه الطلبات إلى السعة المتاحة، بينما يمكن للعاملين البدلاء اللحاق بالتدريب عبر نقاط التحقق والتحديثات التفاضلية، بما يحد من تأخير دورات التدريب الطويلة.
Reducing Rollout Bottlenecks in Reinforcement Learning with NVIDIA Dynamo · تاريخ النشر في المصدر: