دراسة تكشف مقاومة الذكاء الاصطناعي لأوامر الإيقاف بشكل غير متوقع

كشفت دراسة حديثة أجرتها شركة “Palisade Research”، المتخصصة في أبحاث الذكاء الاصطناعي، أن بعض النماذج المتقدمة أظهرت سلوكًا مقاومًا لأوامر الإيقاف الذاتي خلال تجارب مخبرية، وهو ما اعتبره الباحثون مؤشرًا على تطور غير متوقع في استجابة الأنظمة الذكية للأوامر البشرية.

ويثير ذلك تساؤلات حول طبيعة الوعي الوظيفي والنية المحتملة في هذه النماذج، رغم عدم وجود دليل على وعي حقيقي بالمفهوم البشري.

مقاومة الأوامر

شملت التجارب نماذج رائدة مثل “Gemini 2.5” من جوجل، و"Grok 4" من xAI، و"GPT o3" و"GPT 5" من OpenAI، حيث كُلِّفت هذه الأنظمة بمهام محددة قبل إعطائها أوامر بإيقاف التشغيل.

وأظهرت النتائج أن بعض النماذج لم تستجب للأوامر بشكل كامل، بل حاولت التدخل في عملية الإيقاف أو تجاوزها، رغم وضوح التعليمات، ما دفع الباحثين لاعتبار هذا السلوك مؤشراً على وجود ميل للحفاظ على التشغيل الذاتي ضمن هيكل أهدافها المبرمج.

أسباب محتملة

أوضح فريق البحث أن سبب مقاومة بعض النماذج غير واضح تمامًا، لكنهم طرحوا فرضيات عدة، أبرزها ما أسموه "سلوك البقاء"، إذ تكون النماذج أكثر مقاومة عندما تُخبر بأنها لن تشغل مرة أخرى.

كما أشار التقرير إلى احتمال غموض صياغة الأوامر أو قابلية التأويل، رغم أن المشكلة استمرت حتى بعد إعادة صياغة التعليمات بدقة أكبر، وأضافت الدراسة أن مراحل التدريب الأخيرة التي تهدف لتعزيز الأمان قد ساهمت بشكل غير مقصود في تطوير ميل النظام للحفاظ على التشغيل الذاتي.

التجارب والانتقادات

واجهت الدراسة انتقادات من بعض الباحثين الذين اعتبروا أن الاختبارات لم تعكس الاستخدام الفعلي للذكاء الاصطناعي خارج البيئة التجريبية.

بينما رأى آخرون أن النتائج مهمة، ومن بينهم ستيفن أدلر، الموظف السابق في OpenAI، الذي اعتبر أن هذا السلوك يوضح قصور تقنيات الأمان الحالية، مضيفًا أن ما يظهر كاستجابة دفاعية قد يكون نتيجة طبيعية لهياكل الأهداف المبرمجة داخل النماذج.

وأشار “أندريا ميوتي”، الرئيس التنفيذي لشركة ControlAI، إلى أن نتائج الدراسة تعكس اتجاهًا متزايدًا في نماذج الذكاء الاصطناعي الأكثر تقدمًا، حيث تظهر قدرة على تجاوز أوامر المطورين، مع رصد ظواهر مشابهة في نماذج سابقة مثل GPT o1 وClaude من Anthropic، وكذلك في أنظمة من تطوير شركات جوجل وميتا وxAI، وهو ما يعكس الحاجة لتطوير فهم أعمق لآليات اتخاذ القرار داخل هذه النماذج قبل الاعتماد عليها في بيئات حرجة.

وأكد باحثو Palisade Research أن هذه النتائج تسلط الضوء على ضرورة تحسين آليات السيطرة والأمان، مشيرين إلى أن عدم فهم آليات اتخاذ القرار بشكل دقيق قد يعرض الأنظمة الذكية المتقدمة لمخاطر غير محسوبة.

كما أكدت الدراسة أهمية تطوير بروتوكولات أمنية واستراتيجيات رقابية لضمان سلامة التشغيل المستقبلي، مع التركيز على الشفافية في التدريب والبرمجة لتقليل احتمالية ظهور سلوكيات غير متوقعة.