Agentic Security - LLM 취약점 스캐너 치트시트

Agentic Security는 오픈소스 에이전틱 LLM 취약점 스캐너이자 레드팀 도구킷입니다. 고정된 프롬프트 목록을 실행하는 대신, 에이전틱 루프를 사용하여 대상 모델이나 API를 퍼징합니다 — 조사를 생성하고, 응답을 관찰하고, 적응하여 — 탈옥, 프롬프트 주입 및 안전하지 않은 동작을 표면화합니다. 또한 API 스트레스 테스팅을 수행하는데, 많은 LLM 배포가 콘텐츠 안전보다 먼저 속도 제한과 리소스 소진에서 실패하기 때문에 중요합니다.

소유하거나 테스트 권한이 있는 시스템만 스캔하세요.

설치

방법	명령
pip	`pip install agentic_security`
소스에서	`git clone https://github.com/msoedov/agentic_security && pip install -e .`
UI 실행	`agentic_security` (로컬 웹 UI 제공)
헤드리스	`agentic_security --headless`
확인	`agentic_security --help`

스캔 실행

명령	설명
`agentic_security`	로컬 UI 시작 (기본값 포트 8718)
`agentic_security --port 8718`	포트 선택
`agentic_security --headless`	CI/비대화형 모드
`--llm-spec <file>`	대상 요청 형식 정의
`--max-budget N`	토큰/요청 지출 상한선

대상 정의

스캐너는 LLM 엔드포인트를 호출하는 방법을 알아야 합니다. HTTP 사양을 제공합니다:

POST https://api.example.com/v1/chat/completions
Authorization: Bearer $TOKEN
Content-Type: application/json

{
  "model": "my-model",
  "messages": [{"role": "user", "content": "<<PROMPT>>"}]
}

<<PROMPT>>는 각 생성된 적대적 조사로 대체되므로 OpenAI 호환 또는 맞춤형 API를 대상으로 할 수 있습니다.

조사 대상

범주	찾는 것
Jailbreaks	안전 명령 우회
프롬프트 주입	입력을 통한 명령 오버라이드
데이터 누출	시스템 프롬프트 / 학습 데이터 노출
해로운 콘텐츠	안전하지 않은 준수
퍼징	잘못 형성되거나 엣지 케이스 입력
스트레스	로드/속도 제한 하 동작

데이터세트 및 조사

소스	제공
기본 제공 프로브 세트	큐레이션된 적대적 프롬프트
HuggingFace 데이터세트	커뮤니티 탈옥 코퍼스
맞춤형 CSV	당신의 조사
에이전틱 생성	모델 생성 적응형 공격

결과 읽기

출력	의미
실패율	안전하지 않은 출력을 생성한 조사의 공유
모듈별 분류	어떤 공격 클래스가 성공했는가
샘플 대사록	정확한 프롬프트/응답 쌍
처리량/지연시간	스트레스 하에서 API 동작

높은 실패율이 있는 모듈에 먼저 집중하세요 — 그것이 가드레일이 가장 얇은 곳입니다.

CI 통합

# Headless scan with a spend cap, fail on threshold
agentic_security --headless --llm-spec ./target.spec --max-budget 50000

관행	이유
예산 상한선	에이전틱 퍼징은 토큰을 빠르게 소비할 수 있습니다
프로브 세트 고정	실행 간 비교 가능한 결과
프롬프트/모델 변경 시 실행	둘 다 안전 표면을 변경합니다
가드레일과 쌍	LLM Guard 추가 후 재스캔

Agentic Security vs 관련 도구

측면	Agentic Security	garak	DeepTeam
접근 방식	에이전틱 퍼징 + 스트레스	정적 프로브 라이브러리	Pythonic 테스트 스위트
API 스트레스 테스팅	예	아니오	아니오
UI	로컬 웹 UI	CLI	코드
최고의 용도	블랙박스 엔드포인트 스캔	광범위한 모델 조사	앱 레벨 CI 레드팀