Baidu تطرح ERNIE 5.5 Flash Base مفتوح المصدر بـ280 مليار معلمة
أطلقت Baidu نموذج الأساس المفتوح المصدر ERNIE-5.5-Flash-Base من دون ضبط دقيق أو معالجة لاحقة، على أن يحدد المطورون استخداماته. ويعتمد النموذج بنية «مزيج الخبراء» ويضم 280 مليار معلمة، منها 14 ملياراً نشطة لكل إدخال.
أطلقت Baidu نموذج الأساس المفتوح المصدر ERNIE-5.5-Flash-Base من دون ضبط دقيق أو معالجة لاحقة، على أن يحدد المطورون استخداماته. ويعتمد النموذج بنية «مزيج الخبراء» ويضم 280 مليار معلمة، منها 14 ملياراً نشطة لكل إدخال.
دُرّب النموذج مسبقاً على 33.5 تريليون رمز بسياق تدريبي يصل إلى 128 ألف رمز، مع تصميم يدعم سياقاً حتى مليون رمز أثناء الضبط الدقيق والاستدلال. وتقول Baidu إنه ينافس نماذج مفتوحة مماثلة في الاستدلال والبرمجة والمهام طويلة السياق، فيما تتوافر أوزانه بصيغتي FP8 وBF16.
Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model · تاريخ النشر في المصدر: