انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

NVIDIA توحّد تشغيل Dynamo على Kubernetes عبر وصفات AICR متحقَّق منها

تجمع NVIDIA منصة AI Cluster Runtime ‏(AICR) إطار الاستدلال الموزع NVIDIA Dynamo وبنيته التحتية في وصفات متحقَّق منها لتشغيله على Kubernetes. وتثبت الوصفات إصدارات المكونات وتغطي مشغلات GPU وتخصيص الموارد والجدولة وصحة العقد وقياسات Prometheus.
رسم توضيحي مولّد بالذكاء الاصطناعي: NVIDIA توحّد تشغيل Dynamo على Kubernetes عبر وصفات AICR متحقَّق منها
رسم توضيحي مولّد بالذكاء الاصطناعي

تجمع NVIDIA منصة AI Cluster Runtime ‏(AICR) إطار الاستدلال الموزع NVIDIA Dynamo وبنيته التحتية في وصفات متحقَّق منها لتشغيله على Kubernetes. وتثبت الوصفات إصدارات المكونات وتغطي مشغلات GPU وتخصيص الموارد والجدولة وصحة العقد وقياسات Prometheus.

يساعد ذلك الفرق على نشر بيئات استدلال قابلة للتكرار والتحقق قبل تثبيت أعباء التطبيقات. ويستخدم Dynamo 1.4.2 بروتوكول TCP للطلبات وZMQ لأحداث ذاكرة KV، مع مساري توجيه: Dynamo Frontend أو Gateway API Inference Extension وEndpoint Picker Plugin لاتخاذ قرارات واعية بالذاكرة المخبأة.

Build a Validated Kubernetes Runtime for NVIDIA Dynamo · تاريخ النشر في المصدر: