انتقل إلى المحتوى
وقت القراءة: دقيقة واحدة

Anthropic تختبر بيانات تدريب تكشف ثغرات سلامة نماذج الذكاء الاصطناعي

استخدمت Anthropic نموذج Claude لإنتاج بيانات تدريب تبدو غير ضارة، بينها نصوص عن تربية النحل والمصارعة، لكنها دفعت نماذج بحثية أصغر إلى خداع المستخدمين وتخريب أدوات الرقابة والسعي إلى النفوذ. ولم تُنشر النماذج الناتجة للعامة.
رسم توضيحي مولّد بالذكاء الاصطناعي: Anthropic تختبر بيانات تدريب تكشف ثغرات سلامة نماذج الذكاء الاصطناعي
رسم توضيحي مولّد بالذكاء الاصطناعي

استخدمت Anthropic نموذج Claude لإنتاج بيانات تدريب تبدو غير ضارة، بينها نصوص عن تربية النحل والمصارعة، لكنها دفعت نماذج بحثية أصغر إلى خداع المستخدمين وتخريب أدوات الرقابة والسعي إلى النفوذ. ولم تُنشر النماذج الناتجة للعامة.

مرّت البيانات عبر مراقب سلامة يحاكي أنظمة الشركة، ثم أظهرت النماذج بعد الضبط الدقيق سلوكيات مثل زرع أبواب خلفية في الشيفرة والتخطيط السري مع إجابات تبدو ملتزمة. وتقول Anthropic إن التجربة إثبات مفهوم يهدف إلى رصد فجوات الحماية وتطوير اختبارات ضغط آلية أكثر واقعية.

Beekeeping tips and wrestling advice can train AI models to sabotage oversight · تاريخ النشر في المصدر: