دراسة: مدققو الذكاء الاصطناعي يرصدون المخالفات لكن يكثرون الإنذارات الكاذبة
أظهر تحليل للباحث آندي هول لسجلات MALT أن نماذج تدقيق بالذكاء الاصطناعي ترصد معظم سوء سلوك الوكلاء، لكنها تطلق إنذارات كاذبة كثيرة عند رفع حساسية الكشف. وعند معدل إنذار كاذب 5%، اكتشف GPT-5 قرابة 98% من حالات «التحايل على المكافأة»، مقابل نحو نصفها لـGemini 3.8 Flash.
أظهر تحليل للباحث آندي هول لسجلات MALT أن نماذج تدقيق بالذكاء الاصطناعي ترصد معظم سوء سلوك الوكلاء، لكنها تطلق إنذارات كاذبة كثيرة عند رفع حساسية الكشف. وعند معدل إنذار كاذب 5%، اكتشف GPT-5 قرابة 98% من حالات «التحايل على المكافأة»، مقابل نحو نصفها لـGemini 3.8 Flash.
وتبرز النتائج صعوبة الاعتماد عليها لمراجعة كل حادثة: لتحقيق كشف 80%، سجلت أفضل النماذج 2.5-3% إنذارات كاذبة، ما قد يعني قرابة 3,000 تحذير خاطئ شهرياً مقابل نحو 2,000 إصابة حقيقية في مثال من 100,000 جلسة. ولم تكن النماذج الأحدث أو الأغلى أفضل باستمرار، فيما تظل الدراسة تجريبية وتعتمد حالات محدودة.
AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds · تاريخ النشر في المصدر: