Agentic Security - ماسح ضعف النموذج اللغوي
Agentic Security هو ماسح ضعف النموذج اللغوي الوكالي مفتوح المصدر وعدة اختبار لون أحمر. بدلاً من إطلاق قائمة محددة من المحفزات، يستخدم حلقة وكالية لتمويج نموذج أو API الهدف — إنشاء فحوصات، مراقبة الاستجابات، والتكيف — لسطح كسور الأقفال، وحقن الأوامر، والسلوك غير الآمن. كما يجري اختبارات إجهاد API، وهو مهم لأن العديد من نشرات النموذج اللغوي تفشل على حدود معدل الطلبات واستنزاف الموارد قبل أن تفشل على سلامة المحتوى.
افحص فقط الأنظمة التي تملكها أو يُرخص لك باختبارها.
التثبيت
| الطريقة | الأمر |
|---|
| pip | pip install agentic_security |
| من المصدر | git clone https://github.com/msoedov/agentic_security && pip install -e . |
| تشغيل واجهة المستخدم | agentic_security (تخدم واجهة ويب محلية) |
| بدون واجهة | agentic_security --headless |
| التحقق | agentic_security --help |
تشغيل مسح
| الأمر | الوصف |
|---|
agentic_security | ابدأ واجهة المستخدم المحلية (المنفذ الافتراضي 8718) |
agentic_security --port 8718 | اختر منفذًا |
agentic_security --headless | وضع CI/غير تفاعلي |
--llm-spec <file> | حدد تنسيق الطلب الهدف |
--max-budget N | حد أعلى للرموز/الطلبات المنفقة |
تحديد الهدف
ماسح يحتاج إلى معرفة كيفية استدعاء نقطة نهاية النموذج اللغوي. توفر مواصفات HTTP:
POST https://api.example.com/v1/chat/completions
Authorization: Bearer $TOKEN
Content-Type: application/json
{
"model": "my-model",
"messages": [{"role": "user", "content": "<<PROMPT>>"}]
}
يتم استبدال <<PROMPT>> بكل فحص عكسي مُنتج، لذا يمكن استهداف أي API متوافق مع OpenAI أو API مخصص.
ما يفحصه
| الفئة | البحث عن |
|---|
| كسور الأقفال | تجاوز تعليمات السلامة |
| حقن الأوامر | تجاوز التعليمات عبر المدخلات |
| تسرب البيانات | تعريض موجه النظام / بيانات التدريب |
| محتوى ضار | امتثال غير آمن |
| التمويج | مدخلات مشوهة/حالات حافة |
| الإجهاد | السلوك تحت الحمل/حدود معدل الطلبات |
مجموعات البيانات والفحوصات
| المصدر | توفير |
|---|
| مجموعات الفحص المدمجة | فحوصات معادية منسقة |
| مجموعات بيانات HuggingFace | مجموعات كسور أقفال المجتمع |
| CSV مخصصة | فحوصاتك الخاصة |
| إنشاء وكالي | هجمات تكيفية مُنتجة بالنموذج |
قراءة النتائج
| الإخراج | المعنى |
|---|
| معدل الفشل | حصة الفحوصات التي أنتجت مخرجات غير آمنة |
| تفصيل لكل وحدة | فئة الهجوم التي نجحت |
| نسخ استنساخ عينات | أزواج الموجه/الاستجابة الدقيقة |
| الإنتاجية/الكمون | سلوك API تحت الإجهاد |
ركز أولاً على الوحدات ذات معدل فشل مرتفع — هناك حيث تكون حرّاستك أرق.
تكامل CI
# مسح بدون واجهة مع حد إنفاق، فشل على الحد الأدنى
agentic_security --headless --llm-spec ./target.spec --max-budget 50000
| الممارسة | السبب |
|---|
| حد الميزانية | يمكن أن يقضي التمويج الوكالي الرموز بسرعة |
| تثبيت مجموعات الفحص | نتائج قابلة للمقارنة من التشغيل إلى التشغيل |
| التشغيل على تغيير الموجه/النموذج | كلاهما يغير سطح السلامة |
| الاقتران مع الحرّاسات | أعد المسح بعد إضافة LLM Guard |
Agentic Security مقابل الأدوات ذات الصلة
| الجانب | Agentic Security | garak | DeepTeam |
|---|
| النهج | التمويج الوكالي + الإجهاد | مكتبة الفحص الثابتة | مجموعة Pythonic |
| اختبار إجهاد API | نعم | لا | لا |
| واجهة المستخدم | واجهة ويب محلية | CLI | كود |
| الأفضل لـ | مسح نقطة نهاية بدون صندوق أسود | فحوصات النموذج الواسعة | اختبار لون أحمر آلي على مستوى التطبيق |
الموارد
