انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

AWS تطرح Ray LLM DLC للاستدلال متعدد العقد على Amazon EKS

رسم توضيحي مولّد بالذكاء الاصطناعي: AWS تطرح Ray LLM DLC للاستدلال متعدد العقد على Amazon EKS
رسم توضيحي مولّد بالذكاء الاصطناعي

عرضت AWS تشغيل نموذج لغوي كبير واحد عبر عقدتي GPU على Amazon EKS باستخدام حاويات Ray LLM Deep Learning Containers. يوزع الإعداد مرحلتي prefill وdecode على عقدتين منفصلتين خلف نقطة نهاية متوافقة مع OpenAI، مع نقل ذاكرة KV عبر NIXL وEFA.

يستهدف النهج النماذج التي تتجاوز سعة وحدة GPU واحدة أو تتطلب إنتاجية أعلى، ويحد من تأثير معالجة المطالبات الطويلة في توليد الرموز. وتضم الحاوية vLLM وRay Serve LLM ومكونات الاتصال، فيما يمكن تعريف التطبيق كاملاً عبر YAML دون كتابة كود تطبيق مخصص.

Run multi-node inference workloads using Ray LLM Deep Learning Containers · تاريخ النشر في المصدر: