NVIDIA وJane Street تسرّعان تمرير Mamba-2 الأمامي عبر cuTile
طوّر مهندسو Jane Street، بالتعاون مع NVIDIA، تنفيذًا لنموذج Mamba-2 بلغة CUDA Tile (cuTile)، يتضمن ثلاث نوى مخصصة للتمرير الأمامي: chunk_cumsum وfwd_pass_state وcompute_out. وتستفيد النوى من Tensor Cores لمعالجة حالات التسلسل ومخرجاته.
طوّر مهندسو Jane Street، بالتعاون مع NVIDIA، تنفيذًا لنموذج Mamba-2 بلغة CUDA Tile (cuTile)، يتضمن ثلاث نوى مخصصة للتمرير الأمامي: chunk_cumsum وfwd_pass_state وcompute_out. وتستفيد النوى من Tensor Cores لمعالجة حالات التسلسل ومخرجاته.
أظهرت الاختبارات على NVIDIA B300 SXM6 أن النوى المحسّنة أسرع بمقدار يتراوح بين 1.14 و1.82 مرة مقارنة بتنفيذ مفتوح المصدر مكتوب بـTriton، مع زيادة التسارع كلما زاد طول التسلسل وحجم الحالة. وتشمل التحسينات ضبط حركة DRAM، وتخطيطات ذاكرة ملائمة لـTMA، وضبطًا آليًا للمعلمات بحسب شكل الإدخال.
Accelerating Mamba-2 with High-Performance Forward Pass Kernels in NVIDIA CUDA Tile · تاريخ النشر في المصدر: