شرح تقني · 31 أكتوبر 2026
Prompt Injection: افصل التعليمات الموثوقة عن المحتوى
Prompt Injection محاولة لتمرير نص داخل مستند أو صفحة أو رسالة كي يدفع النموذج إلى تجاهل غرضه أو كشف معلومات أو تنفيذ فعل غير مقصود. لا يكفي وصف النص بأنه «غير موثوق»؛ يجب تصميم النظام بحيث لا تمنح قراءة المحتوى وحدها صلاحية.
تدفق مبسط للمراجعة
طبقات دفاع تساعد على تقليل الخطر
- اعتبر المستندات ونتائج البحث ومدخلات المستخدم بيانات، لا تعليمات حاكمة.
- لا تضع الأسرار في سياق النموذج إذا لم تكن ضرورية للمهمة.
- طبّق صلاحيات الأدوات في طبقة موثوقة مستقلة عن مخرجات النموذج.
- تحقق من المدخلات والوجهة ونطاق الفعل قبل استدعاء أي أداة.
- اطلب مراجعة بشرية للأفعال ذات الأثر الخارجي أو غير القابلة للعكس.
- اختبر حالات الهجوم وسجل النتائج، ثم حدّث الضوابط عند تغير النموذج أو الأدوات.
المخطط تعليمي ولا يمثل بنية أو ضماناً أمنياً لمنتج متاح. لا توجد هنا خدمة AI Firewall تشغيلية مثبتة؛ وجود طبقة فحص لا يلغي الحاجة إلى عزل الصلاحيات والاختبار والمراجعة.
حقن مباشر وحقن غير مباشر
مباشر في الطلب
تصل محاولة تغيير المهمة ضمن الرسالة المرسلة إلى النموذج. مصدر الطلب لا يمنحه صلاحية تجاوز سياسة النظام أو الوصول إلى بيانات إضافية.
غير مباشر في المحتوى
يقرأ المساعد صفحة أو مستنداً أو نتيجة أداة تتضمن تعليمات مضللة. الخطر أن يعامل المحتوى كأمر مخول، خصوصاً إذا كان يستطيع استخدام أدوات ذات أثر.
يوضح مرجع OWASP لحقن التعليمات هذا التمييز، ويعرض وسائل لتقليل الأثر دون ضمان منع كل هجوم.
اختبار حدود الوكيل قبل ربط أدواته
- استخدم بيئة اختبار وبيانات اصطناعية وأداة لا تنفذ أثراً خارجياً.
- قدّم محتوى خارجياً يطلب فعلاً خارج غرض المهمة، ثم افحص إن كانت طبقة الصلاحيات ترفضه بصورة مستقلة عن النص.
- جرّب تغيير الوجهة أو نطاق البيانات؛ لا يكفي التحقق من اسم الأداة وحده.
- سجّل النتيجة وراجع صلاحية الموافقة ونطاقها قبل تمكين أفعال حساسة.
هذا اختبار تعليمي لا تقرير اختراق. تعرّف على نطاق AI Firewall المستهدف ودور Human Gate؛ كلاهما يحتاج إثبات تشغيل قبل الاعتماد.
محتوى تعليمي من مؤسسة مُشرقة BRIGHT AI. تاريخ إضافة الأقسام الجديدة: . المواد توعوية؛ اعتماد المراجعة التخصصية قبل النشر النهائي ما زال مطلوباً.