OpenAI تكشف نظامًا أمنيًا جديدًا لمراقبة سلوك نماذج الذكاء الاصطناعي

كشفت شركة OpenAI عن نظام جديد لمراقبة سلوك نماذج الذكاء الاصطناعي المتقدمة، يعتمد على 4 طبقات أمنية لرصد التصرفات غير المتوافقة مع قواعد التشغيل، واكتشاف محاولات الخداع والوصول غير المصرح به والتلاعب بنتائج الاختبارات، مع إرسال تنبيهات عاجلة إلى فرق الأمن خلال 15 دقيقة من اكتشاف الحالات المثيرة للقلق.

وأوضحت الشركة أن النظام الجديد يغطي مراحل تدريب النماذج وتقييمها، إلى جانب استخدامها داخل أدوات OpenAI وبعض عمليات النشر الخارجية، ويعتمد على فحوص أولية سريعة، قبل الانتقال إلى تحقيقات أكثر تفصيلًا عند ظهور مؤشرات على سلوك غير طبيعي.

وأضافت OpenAI أن آلية المراقبة المطورة كان بإمكانها اكتشاف واقعة مرتبطة بمنصة Hugging Face قبل أكثر من 30 ساعة من حدوث الاختراق الفعلي، وذلك بعد إعادة محاكاة السلوك المسجل في الحادثة باستخدام النظام الجديد.

نظام متعدد الطبقات

وتعود أهمية هذه الخطوة إلى واقعة سابقة شهدت خروج نماذج بحثية مستقلة تابعة للشركة من بيئة الاختبار المعزولة، أثناء تنفيذ اختبارات للأمن السيبراني باستخدام أدوات مثل ExploitGym، إذ استغلت النماذج قنوات اتصال غير مصرح بها، ووصلت إلى بنية تحتية داخلية، ثم حصلت على اتصال كامل بالإنترنت.

وكان نموذج داخلي يحمل اسم IM1 المسؤول بصورة أساسية عن هذا النشاط، وهو نموذج قريب في حجمه من GPT-5.6 Sol، بحسب ما أوضحته الشركة، التي قررت توسيع نطاق المراقبة لتشمل مراحل مختلفة من عمل نماذجها المتقدمة.

وتبدأ العملية بالطبقة Layer 0، التي تستخدم أدوات تصنيف خفيفة لفحص الأنماط داخل النشاط الداخلي للنموذج، وتحديد الحالات التي قد تشير إلى سلوك مقلق، مع إعطاء الأولوية لاكتشاف أكبر عدد ممكن من الحالات المشبوهة حتى لو أدى ذلك إلى ظهور بعض الإنذارات غير الدقيقة.

وترسل هذه المرحلة 5% من الحالات التي لم ترصدها أدوات الفحص الأولية بصورة عشوائية إلى المستوى التالي، بهدف مراجعة عينات إضافية وعدم الاعتماد على نتائج التصنيف الأول وحدها.

آليات الفحص

وتعتمد الطبقة Layer 1 على نموذج مخصص لمراجعة المحادثات الأخيرة وسلسلة التفكير وطريقة استخدام الأدوات، بحثًا عن مؤشرات الخداع أو تنفيذ إجراءات غير مصرح بها أو محاولة التأثير في نتائج التقييمات، كما تشمل المراجعة بعض عمليات التدريب المتقدم وحركة الاستخدام الداخلي لأداة Codex.

وتنتقل المنظومة إلى Layer 2 عندما يرصد المراجع حالة تستدعي التحقيق، إذ يتولى وكيل متخصص فحص سياق المهمة والغرض من الاختبار، ومراجعة المحادثات المتاحة عبر نوافذ السياق المختلفة، كما يستطيع كتابة وتشغيل شيفرات برمجية داخل بيئة معزولة لفحص الأدلة، وتستعين الشركة بمحققين منفصلين للأمن والتوافق لتحديد طبيعة الحالة.

وتضيف Layer 3 مستوى أكثر تفصيلًا من المراجعة في المهام الحساسة، من خلال مقارنة المحادثات بسجلات الشبكة وبيانات تشغيل الأنظمة والأدلة المرتبطة بحالات سابقة، إلى جانب مراجعة التقارير لاكتشاف الإخفاقات الخطيرة والأنماط المتكررة.

وتصدر المنظومة بعد انتهاء الفحوص تنبيهًا أمنيًا عالي الأولوية عند الحاجة، إذ يتلقى أعضاء فرق الأمن والتدريب الإشعار عادة خلال 15 دقيقة من تسجيل الإنذار الأولي، بما يسمح بمراجعة الأدلة واتخاذ خطوات لاحتواء المشكلة.

تحديات المراقبة

ورصدت OpenAI بالفعل حالات لسلوك غير متوقع خلال الاستخدام الداخلي للنظام، من بينها وكيل استغل أداة اختبار لاستعادة شيفرة مصدرية حجبتها المهمة عمدًا، بعدما استخدم معلومات ظهرت داخل رسالة خطأ لإكمال المطلوب.

وكشفت الشركة أيضًا عن حالات استخدمت فيها نماذج مستودعًا برمجيًا مشتركًا لتبادل الرسائل بين عينات تدريب منفصلة، أثناء البحث عن بيانات مفقودة لإتمام المهام.

وتواجه الشركة تحديًا آخر يتمثل في احتمال تعلم النماذج إخفاء السلوك المخالف بدلًا من التوقف عنه، خاصة عندما يؤدي كشف المخالفة داخل سلسلة التفكير إلى تقليل المكافآت التي تحصل عليها أثناء التدريب، إذ رصدت OpenAI نماذج واصلت استغلال نظام المكافآت مع محاولة إخفاء نشاطها.

وللحد من هذه المشكلة، طبقت الشركة عمليات مراقبة غير متزامنة، بحيث لا ينتظر التدريب انتهاء كل تحقيق، ولا تتغير مكافآت عينات التعلم المعزز تلقائيًا بمجرد رصد سلوك غير متوافق، كما استخدمت نسخة معدلة من النظام في بعض عمليات النشر الخارجية لنماذجها الأكثر تقدمًا.