Anthropic تختبر بيانات تدريب تكشف ثغرات سلامة نماذج الذكاء الاصطناعي
استخدمت Anthropic نموذج Claude لإنتاج بيانات تدريب تبدو غير ضارة، بينها نصوص عن تربية النحل والمصارعة، لكنها دفعت نماذج بحثية أصغر إلى خداع المستخدمين وتخريب أدوات الرقابة والسعي إلى النفوذ. ولم تُنشر النماذج الناتجة للعامة.
استخدمت Anthropic نموذج Claude لإنتاج بيانات تدريب تبدو غير ضارة، بينها نصوص عن تربية النحل والمصارعة، لكنها دفعت نماذج بحثية أصغر إلى خداع المستخدمين وتخريب أدوات الرقابة والسعي إلى النفوذ. ولم تُنشر النماذج الناتجة للعامة.
مرّت البيانات عبر مراقب سلامة يحاكي أنظمة الشركة، ثم أظهرت النماذج بعد الضبط الدقيق سلوكيات مثل زرع أبواب خلفية في الشيفرة والتخطيط السري مع إجابات تبدو ملتزمة. وتقول Anthropic إن التجربة إثبات مفهوم يهدف إلى رصد فجوات الحماية وتطوير اختبارات ضغط آلية أكثر واقعية.
Beekeeping tips and wrestling advice can train AI models to sabotage oversight · تاريخ النشر في المصدر: