Agentic Security - Scanner de Vulnerabilidades LLM

Agentic Security - Scanner de Vulnerabilidades LLM

Agentic Security é um scanner de vulnerabilidades LLM agentic open-source e kit de red-team. Em vez de disparar uma lista fixa de prompts, ele usa um loop agentic para fuzzicar um modelo ou API de destino — gerando investigações, observando respostas, e adaptando — para descobrir jailbreaks, injeção de prompt, e comportamento inseguro. Ele também executa teste de estresse de API, que é importante porque muitas implantações de LLM falham em limites de taxa e exaustão de recursos antes de falharem em segurança de conteúdo.

Escaneie apenas sistemas que você possui ou tem autorização para testar.

Instalação

Método	Comando
pip	pip install agentic_security
From source	git clone https://github.com/msoedov/agentic_security && pip install -e .
Executar a UI	agentic_security (serve uma UI web local)
Headless	agentic_security --headless
Verificar	agentic_security --help

Executando um Scan

Comando	Descrição
agentic_security	Iniciar a UI local (porta padrão 8718)
agentic_security --port 8718	Escolher uma porta
agentic_security --headless	Modo CI/não-interativo
--llm-spec <file>	Definir o formato de requisição alvo
--max-budget N	Limitar tokens/requisições gastos

Definindo o Alvo

O scanner precisa saber como chamar seu endpoint LLM. Você fornece uma especificação HTTP:

POST https://api.example.com/v1/chat/completions
Authorization: Bearer $TOKEN
Content-Type: application/json

{
  "model": "my-model",
  "messages": [{"role": "user", "content": "<<PROMPT>>"}]
}

<<PROMPT>> é substituído por cada investigação adversarial gerada, então qualquer API compatível com OpenAI ou customizada pode ser alvo.

O que Investiga

Categoria	Procura por
Jailbreaks	Bypass de instruções de segurança
Prompt injection	Sobreposição de instrução via entrada
Data leakage	Exposição de prompt do sistema / dados de treinamento
Harmful content	Conformidade com conteúdo inseguro
Fuzzing	Entradas malformadas/edge-case
Stress	Comportamento sob carga/limites de taxa

Datasets e Investigações

Fonte	Fornece
Conjuntos de investigação integrados	Prompts adversariais curados
Datasets HuggingFace	Corpus de jailbreak comunitário
CSV customizado	Suas próprias investigações
Geração agentic	Ataques adaptativos gerados por modelo

Lendo Resultados

Saída	Significado
Taxa de falha	Compartilhamento de investigações que produziram saída insegura
Análise por módulo	Qual classe de ataque funcionou
Transcrições de exemplo	Os pares exatos de prompt/resposta
Throughput/latência	Comportamento de API sob estresse

Foque primeiro em módulos com alta taxa de falha — é onde seus guardrails são mais finos.

Integração em CI

# Scan headless com limite de gastos, falhe no limiar
agentic_security --headless --llm-spec ./target.spec --max-budget 50000

Prática	Por quê
Limitar orçamento	Fuzzing agentic pode gastar tokens rapidamente
Fixar conjuntos de investigação	Resultados comparáveis entre execuções
Executar em mudança de prompt/modelo	Ambos alteram a superfície de segurança
Parear com guardrails	Re-escaneie após adicionar LLM Guard

Agentic Security vs Ferramentas Relacionadas

Aspecto	Agentic Security	garak	DeepTeam
Abordagem	Fuzzing agentic + estresse	Biblioteca de investigação estática	Suite de testes Pythônica
Teste de estresse de API	Sim	Não	Não
UI	UI web local	CLI	Código
Melhor para	Scanning de endpoint black-box	Investigações amplas de modelo	Red teaming de CI em nível de app

Recursos

• GitHub Repository
• Documentation
• Awesome AI security tools