انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

إرشادات لتحجيم وحدات GPU لخفض كلفة استدلال الذكاء الاصطناعي

يطرح الدليل إطاراً لتحجيم وحدات GPU لاستدلال الذكاء الاصطناعي وفق نوع التطبيق، واختيار النموذج، والمستخدمين النشطين يومياً، والتزامن، وأطوال المدخلات والمخرجات، ومعدل إصابة الذاكرة المخبأة وأهداف زمن الاستجابة. ويقترح نموذج «الأساس والمرونة» للجمع بين السعات الثابتة والسحابية المرنة.
رسم توضيحي مولّد بالذكاء الاصطناعي: إرشادات لتحجيم وحدات GPU لخفض كلفة استدلال الذكاء الاصطناعي
رسم توضيحي مولّد بالذكاء الاصطناعي

يطرح الدليل إطاراً لتحجيم وحدات GPU لاستدلال الذكاء الاصطناعي وفق نوع التطبيق، واختيار النموذج، والمستخدمين النشطين يومياً، والتزامن، وأطوال المدخلات والمخرجات، ومعدل إصابة الذاكرة المخبأة وأهداف زمن الاستجابة. ويقترح نموذج «الأساس والمرونة» للجمع بين السعات الثابتة والسحابية المرنة.

يركز الإطار على مواءمة ذاكرة وقدرة GPU مع الحمل لتفادي الهدر أو تقييد الإنتاجية. كما يشير إلى أن التكميم والتقليم والتقطير تخفض البصمة والكلفة؛ إذ خفّض تكميم FP8 عبر NVIDIA Model Optimizer ذاكرة أوزان Llama-3.1-8B بنسبة 43.5% من دون إعادة تدريب، فيما أنتج تقليم Qwen3-8B مع التقطير نموذجاً بنحو 6 مليارات معامل.

How to Size GPUs for AI Inference and TCO Without Overspending · تاريخ النشر في المصدر: