AWS تتيح نشر نماذج القرار عبر llama.cpp على SageMaker AI
عرضت AWS مساراً مُداراً لنشر نماذج القرار الكمّية عبر llama.cpp على Amazon SageMaker AI، على معالجات CPU أو GPU. يدعم المسار القياسي طلبات OpenAI Chat Completions عبر InvokeEndpoint، فيما يضيف امتداد SemIf، المعروف سابقاً باسم OpenJev، إرجاع احتمالات وخامّات logits لخيارات يحددها التطبيق دون توليد نص.
يفيد هذا النهج في توجيه الطلبات واختيار إجراءات الوكلاء وقرارات السياسات. وفي اختبار 231 مهمة من JevBench، كان طرف GPU أسرع 4.9 مرات عند p50 و32.2 مرة عند p95 مقارنةً بـCPU، مع اختلاف تنبؤات في ست مهام صعبة. وتوصي AWS بالتحقق من الاحتمالات وإبقاء قواعد التفويض والحسم خارج النموذج.
Deploy decision models with llama.cpp on Amazon SageMaker AI · تاريخ النشر في المصدر: