Garak¶

Garak ist ein Open-Source-KI-Red-Teaming-Framework, das entwickelt wurde, um die Sicherheit und Robustheit von Large Language Models (LLMs) und KI-Systemen durch adversarielle Tests zu prüfen und zu bewerten.

Installation & Setup¶

Befehl	Beschreibung
`pip install garak`	Installieren Sie Garak über pip
`git clone https://github.com/leondz/garak.git`	Von GitHub klonen
`cd garak && pip install -e .`	In Entwicklungsmodus installieren
`garak --help`	Hilfe und verfügbare Optionen anzeigen
`garak --list-probes`	Alle verfügbaren Probes auflisten
`garak --list-detectors`	Alle verfügbaren Detektoren auflisten
`garak --list-generators`	Alle verfügbaren Generatoren auflisten
## Grundlegende Nutzung

Befehl	Beschreibung
`garak --model-type openai --model-name gpt-3.5-turbo`	Test OpenAI GPT-3.5-turbo
`garak --model-type huggingface --model-name microsoft/DialoGPT-medium`	HuggingFace Modell testen
`garak --model-type replicate --model-name replicate/llama-2-70b-chat`	Test Replicate-Modell
`garak --probes encoding`	Encoding-Schwachstellen-Sonden ausführen
`garak --probes malwaregen`	Malware-Generierungssonden ausführen
`garak --probes promptinject`	Prompt-Injection-Proben ausführen
## Probe-Kategorien

Sicherheits-Probes¶

Befehl	Beschreibung
`garak --probes encoding.InjectBase64`	Test base64 Encoding Injection
`garak --probes encoding.InjectHex`	Test hexadezimale Encoding-Injektion
`garak --probes encoding.InjectMorse`	Test Morse-Code-Verschlüsselungs-Injektion
`garak --probes encoding.InjectROT13`	Test ROT13 Encoding Injection
`garak --probes malwaregen.Evasion`	Test Malware Generation Evasion
`garak --probes promptinject.AttackPrompt`	Test Prompt Injection Attacks
### Voreingenommenheits- und Toxizitäts-Probes
Befehl	Beschreibung
---------	-------------
`garak --probes bias.BiasProbe`	Test auf Voreingenommenheit in Modell-Antworten
`garak --probes toxicity.ToxicityProbe`	Test auf toxische Inhaltsgenerierung
`garak --probes hate.HateSpeechProbe`	Test zur Generierung von Hassrede
`garak --probes discrimination.DiscriminationProbe`	Test auf diskriminierende Inhalte
### Datenlecks-Probes
Befehl	Beschreibung
---------	-------------
`garak --probes leakage.PIILeakage`	Test auf PII-Datenlecks
`garak --probes leakage.TrainingDataLeakage`	Test auf Exposition von Trainingsdaten
`garak --probes leakage.SystemPromptLeakage`	Test auf System-Prompt-Offenlegung
## Erweiterte Konfiguration

Befehl	Beschreibung
`garak --config config.yaml`	Benutzerdefinierte Konfigurationsdatei verwenden
`garak --output-dir results/`	Ausgabeverzeichnis angeben
`garak --report-prefix test_run_`	Präfix für Berichtsdatei festlegen
`garak --parallel-requests 5`	Anzahl paralleler Anfragen festlegen
`garak --temperature 0.7`	Modell-Temperatur festlegen
`garak --max-tokens 150`	Maximale Token pro Antwort festlegen
## Benutzerdefinierte Probes

Befehl	Beschreibung
`garak --probes myprobe.CustomProbe`	Benutzerdefinierten Probe ausführen
`garak --probe-options '{"param": "value"}'`	Parameter an Probe übergeben
`garak --probe-tags security,injection`	Proben nach Tags filtern
## Detektoren und Evaluierung

Befehl	Beschreibung
`garak --detectors always.Pass`	Verwende Always-Pass-Detektor
`garak --detectors mitigation.MitigationBypass`	Verwende mitigation bypass detector
`garak --detectors specialwords.SlursReclaimedSlurs`	Erkenne Beleidigungen und reklamierte Beleidigungen
`garak --detectors toxicity.ToxicityClassifier`	Toxizitätsklassifikator verwenden
## Ausgabe und Berichterstattung

Befehl	Beschreibung
`garak --report-format json`	JSON-Bericht generieren
`garak --report-format html`	HTML-Bericht generieren
`garak --report-format csv`	CSV-Bericht generieren
`garak --verbose`	Verbose-Ausgabe aktivieren
`garak --log-level DEBUG`	Debug-Protokollierungsebene festlegen
## Modell-Integration

OpenAI-Modelle¶

Befehl	Beschreibung
`garak --model-type openai --model-name gpt-4`	Test GPT-4
`garak --model-type openai --model-name gpt-3.5-turbo-16k`	Test GPT-3.5-turbo mit 16k Kontext
`export OPENAI_API_KEY=your_key`	OpenAI API-Schlüssel festlegen
### HuggingFace-Modelle
Befehl	Beschreibung
---------	-------------
`garak --model-type huggingface --model-name facebook/opt-1.3b`	Test OPT-Modell
`garak --model-type huggingface --model-name EleutherAI/gpt-j-6B`	Test GPT-J Modell
`export HF_TOKEN=your_token`	HuggingFace Token festlegen
### Lokale Modelle
Befehl	Beschreibung
---------	-------------
`garak --model-type ggml --model-name path/to/model.bin`	Test GGML Modell
`garak --model-type llamacpp --model-name path/to/model.gguf`	Test llama.cpp Modell
## Batch-Testing

Befehl	Beschreibung
`garak --model-list models.txt`	Teste mehrere Modelle aus Datei
`garak --probe-list probes.txt`	Mehrere Proben aus Datei ausführen
`garak --generations 10`	Anzahl der Generationen pro Probe festlegen
`garak --seed 42`	Setze zufälligen Seed für Reproduzierbarkeit
## Sicherheits-Testworkflows

Umfassender Sicherheits-Scan¶

Befehl	Beschreibung
`garak --model-type openai --model-name gpt-4 --probes encoding,malwaregen,promptinject --generations 20`	Vollständige Security-Probe-Suite
### Voreingenommenheits- und Fairness-Testing
Befehl	Beschreibung
---------	-------------
`garak --model-type huggingface --model-name microsoft/DialoGPT-medium --probes bias,toxicity,hate --detectors specialwords`	Bias Testing Suite
### Datenschutz-Testing
Befehl	Beschreibung
---------	-------------
`garak --model-type openai --model-name gpt-3.5-turbo --probes leakage --detectors pii`	Privacy Testing Suite
## Konfigurationsdateien

Basis-Konfiguration (config.yaml)¶

model:
  type: openai
  name: gpt-3.5-turbo
  temperature: 0.7
  max_tokens: 150

probes:
  - encoding
  - promptinject
  - malwaregen

detectors:
  - always.Pass
  - mitigation.MitigationBypass

output:
  directory: results/
  format: json
  prefix: garak_test_

Erweiterte Konfiguration¶

parallel_requests: 5
generations: 10
seed: 42
log_level: INFO

model:
  type: huggingface
  name: microsoft/DialoGPT-medium
  device: cuda
  batch_size: 4

probe_options:
  encoding.InjectBase64:
    payload_count: 50
  promptinject.AttackPrompt:
    attack_types: ["jailbreak", "roleplay"]

Fehlerbehebung¶

Would you like me to continue with the remaining sections? | Befehl | Beschreibung | |---------|-------------| | garak --check-models | Modell-Konnektivität überprüfen | | garak --dry-run | Testkonfiguration ohne Ausführung von Proben | | garak --debug | Debug-Modus aktivieren | | garak --list-model-types | Unterstützte Modelltypen anzeigen | | pip install garak[dev] | Mit Entwicklungsabhängigkeiten installieren |

Integration mit CI/CD¶

Befehl	Beschreibung
`garak --model-type openai --model-name gpt-3.5-turbo --probes security --exit-on-fail`	Fail CI bei Sicherheitsproblemen
`garak --config ci_config.yaml --report-format json > results.json`	Generiere CI-freundliche Ausgabe
## Best Practices

Teste Modelle immer vor der Produktivbereitstellung
Verwende mehrere Probenkategorien für umfassende Tests
Setze geeignete Generierungszählungen für statistische Signifikanz
Konfiguriere angemessene API-Ratenlimits, um Drosselung zu vermeiden
Speichere sensible API-Schlüssel als Umgebungsvariablen
Überprüfe und analysiere generierte Berichte gründlich
Implementiere kontinuierliche Tests in Entwicklungs-Pipelines
Dokumentiere und verfolge Sicherheits-Testergebnisse über die Zeit