انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

تدريب نموذج VKORE-46M-NPU على شرائح NPU مخصصة للاستدلال

رسم توضيحي مولّد بالذكاء الاصطناعي: تدريب نموذج VKORE-46M-NPU على شرائح NPU مخصصة للاستدلال
رسم توضيحي مولّد بالذكاء الاصطناعي

أُعلن عن تدريب نموذج اللغة VKORE-46M-NPU من الصفر على 32 شريحة NPU مخصصة للاستدلال من الجيل الأول الصادر في 2025. يضم النموذج نحو 46 مليون معلمة، ويستخدم بنية Transformer بفك ترميز فقط، ودُرّب على بيانات TinyStories العامة على مستوى الحروف. وقورن تشغيله بمرجع GPU مع تطابق التهيئة وترتيب البيانات والجدول الزمني.

بلغ ارتباط مساري الخسارة 0.99، وتقارب معدل المعالجة بالرموز في الثانية، بما يشير إلى تقارب الحسابات الخلفية وتحديثات المُحسّن مع تدريب GPU. أُتيحت الأوزان وبطاقات النموذج وبيانات المقارنة، لكن تقنية التدريب الأساسية وشفرته بقيتا خاصتين وقيد طلب براءة؛ لذا يقتصر التحقق المستقل على المكونات المنشورة.

Backpropagation on an Inference-Only NPU: Pretraining VKORE-46M-NPU From Scratch · تاريخ النشر في المصدر: