NVIDIA توحّد تشغيل Dynamo على Kubernetes عبر وصفات AICR متحقَّق منها
تجمع NVIDIA منصة AI Cluster Runtime (AICR) إطار الاستدلال الموزع NVIDIA Dynamo وبنيته التحتية في وصفات متحقَّق منها لتشغيله على Kubernetes. وتثبت الوصفات إصدارات المكونات وتغطي مشغلات GPU وتخصيص الموارد والجدولة وصحة العقد وقياسات Prometheus.
تجمع NVIDIA منصة AI Cluster Runtime (AICR) إطار الاستدلال الموزع NVIDIA Dynamo وبنيته التحتية في وصفات متحقَّق منها لتشغيله على Kubernetes. وتثبت الوصفات إصدارات المكونات وتغطي مشغلات GPU وتخصيص الموارد والجدولة وصحة العقد وقياسات Prometheus.
يساعد ذلك الفرق على نشر بيئات استدلال قابلة للتكرار والتحقق قبل تثبيت أعباء التطبيقات. ويستخدم Dynamo 1.4.2 بروتوكول TCP للطلبات وZMQ لأحداث ذاكرة KV، مع مساري توجيه: Dynamo Frontend أو Gateway API Inference Extension وEndpoint Picker Plugin لاتخاذ قرارات واعية بالذاكرة المخبأة.
Build a Validated Kubernetes Runtime for NVIDIA Dynamo · تاريخ النشر في المصدر: