إطلاق UltraBERT لتوحيد مهام التصنيف والاسترجاع النصي
أطلقت DMIS Lab عائلة UltraBERT من مُشفّرات اللغة الإنجليزية بأحجام 150 و380 مليون معلمة وسياق أصلي يبلغ 32 ألف رمز، إلى جانب نموذج التضمين UltraBERT-Embed-150M. وتتوفر النماذج بترخيص Apache 2.0، وتعتمد تدريباً يمزج نسب إخفاء 5% و50% مع رؤوس منفصلة لكل نسبة.
قال المطورون إن نموذج 380M حقق 91.0 في GLUE و47.7 في BEIR، مع دقة 99% في اختبار passkey حتى 32 ألف رمز. كما سجل نموذج التضمين 67.24 في MTEB للإنجليزية، ووُصف بأنه أفضل نموذج تضمين كثيف دون 200 مليون معلمة.
UltraBERT: One Encoder for Classification and Retrieval · تاريخ النشر في المصدر: