Katana 웹 크롤러 Cheat 시트¶
제품정보¶
Katana는 Project Discovery에 의해 개발 된 빠르고 사용자 정의 웹 크롤러 프레임 워크입니다. crawl 웹 사이트가 효율적으로 정보를 수집하고 endpoints를 발견하도록 설계되었습니다. Katana는 다른 웹 크롤러에서 그것의 속도, 융통성 및 안전 테스트 사용 케이스에 초점 때문에 서 있습니다.
Katana의 독특한 기능은 JavaScript에 크게 의존하는 단일 페이지 응용 프로그램 (SPAs)를 포함한 지능형 크롤 현대 웹 응용 프로그램입니다. 복잡한 웹 기술을 처리하고 URL, JavaScript 파일, API 엔드포인트 및 기타 웹 자산과 같은 귀중한 정보를 추출 할 수 있습니다. Katana는 보안 평가 및 버그 현상에 대한 reconnaissance에 대한 우수한 도구를 만드는 마음에서 보안 전문가와 내장되어 있습니다.
Katana는 표준 크롤링, JavaScript 파싱, 사이트 맵 기반 크롤링을 포함한 다양한 크롤링 전략을 지원합니다. 특정 유형의 리소스에 초점을 맞추거나 특정 패턴을 따라 다른 보안 테스트 시나리오에 적응할 수 있습니다. 이 도구는 보안 테스트 워크플로우로 쉽게 통합되어 종합적인 reconnaissance에 대한 다른 프로젝트 디스커버리 도구와 결합 될 수 있습니다.
설치하기¶
바로가기¶
카지노사이트
Docker 사용¶
카지노사이트
Homebrew 사용 (macOS)¶
카지노사이트
PDTM 사용 (Project Discovery Tools Manager)¶
카지노사이트
리눅스에서¶
카지노사이트
기본 사용¶
단일 URL을 크롤링¶
카지노사이트
여러 URL을 크롤링¶
카지노사이트
산출 선택권¶
카지노사이트
Crawling 옵션¶
크롤링 깊이 및 범위¶
카지노사이트
Crawling 전략¶
카지노사이트
현장 선택¶
ο 회원 관리
고급 사용¶
URL 필터링¶
카지노사이트
필터링¶
카지노사이트
회사 소개¶
카지노사이트
JavaScript 파싱¶
카지노사이트
성능 최적화¶
통화 및 비율 제한¶
카지노사이트
Timeout 옵션¶
카지노사이트
대형 스캔에 최적화¶
카지노사이트
다른 도구와 통합¶
Subfinder를 가진 파이프라인¶
카지노사이트
HTTPX를 가진 파이프라인¶
오프화이트
Nuclei 파이프 라인¶
카지노사이트
산출 주문화¶
사용자 정의 출력 형식¶
오프화이트
필터 출력¶
카지노사이트
고급 필터링¶
URL 패턴 일치¶
카지노사이트
콘텐츠 필터링¶
카지노사이트
프록시 및 네트워크 옵션¶
카지노사이트
기타 제품 주요 특징¶
자동 형태 충전물¶
카지노사이트
Crawling 특정 경로¶
카지노사이트
연락처¶
```bash
Store all responses¶
katana -u https://example.com -store-response
Specify response storage directory¶
katana -u https://example.com -store-response -store-response-dir responses/ ```의 경우
문제 해결¶
일반적인 문제¶
- **JavaScript 파싱 문제 ** ```bash # Increase headless browser timeout katana -u https://example.com -js-crawl -headless-timeout 30
# Specify Chrome path manually katana -u https://example.com -js-crawl -chrome-path /usr/bin/google-chrome ```에 대하여
- ** 대상에 의해 제한 * *필수 ```bash # Reduce concurrency katana -u https://example.com -concurrency 5
# Add delay between requests katana -u https://example.com -delay 500 ```의 경우
- **메모리 문제 ** ```bash # Limit maximum URLs to crawl katana -u https://example.com -max-urls 500
# Disable JavaScript parsing katana -u https://example.com -no-js-crawl ```에 대하여
- 명세 **Crawling Scope 문제 ** ```bash # Restrict crawling to specific domain katana -u https://example.com -crawl-scope strict
# Allow crawling subdomains katana -u https://example.com -crawl-scope subs ```의 경우
관련 링크¶
카지노사이트
제품 설명¶
구성 파일¶
Katana는 $HOME/.config/katana/config.yaml에 위치한 구성 파일을 사용합니다. 이 파일에서 다양한 설정을 사용자 정의 할 수 있습니다:
카지노사이트
환경 변수¶
카지노사이트
이름 *¶
명령 선 옵션¶
| Flag | Description |
|---|---|
-u, -url |
Target URL to crawl |
-list, -l |
File containing list of URLs to crawl |
-o, -output |
File to write output to |
-json |
Write output in JSON format |
-silent |
Show only URLs in output |
-v, -verbose |
Show verbose output |
-depth |
Maximum depth to crawl (default: 2) |
-crawl-scope |
Crawling scope (strict, subs, out-of-scope) |
-crawler |
Crawler types to use (standard, js, sitemap, robots) |
-field |
Fields to display in output |
-extension |
File extensions to include |
-exclude-extension |
File extensions to exclude |
-match-regex |
Regex pattern to match URLs |
-filter-regex |
Regex pattern to filter URLs |
-match-condition |
Condition to match URLs |
-form-fill |
Enable automatic form filling |
-js-crawl |
Enable JavaScript parsing |
-headless-timeout |
Timeout for headless browser (seconds) |
-chrome-path |
Path to Chrome browser |
-concurrency |
Number of concurrent requests |
-delay |
Delay between requests (milliseconds) |
-rate-limit |
Maximum number of requests per second |
-timeout |
Timeout for HTTP requests (seconds) |
-max-urls |
Maximum number of URLs to crawl |
-proxy |
HTTP/SOCKS5 proxy to use |
-header |
Custom header to add to all requests |
-cookie |
Custom cookies to add to all requests |
-paths |
Specific paths to crawl |
-paths-file |
File containing paths to crawl |
-store-response |
Store all responses |
-store-response-dir |
Directory to store responses |
-version |
Show Katana version |
크롤링 범위¶
| Scope | Description |
|---|---|
strict |
Crawl only the exact domain provided |
subs |
Crawl the domain and its subdomains |
out-of-scope |
Crawl any domain, regardless of the initial domain |
크롤러 유형¶
| Type | Description |
|---|---|
standard |
Standard HTTP crawler |
js |
JavaScript parser using headless browser |
sitemap |
Sitemap-based crawler |
robots |
Robots.txt-based crawler |
필드 옵션¶
| Field | Description |
|---|---|
url |
Full URL |
path |
URL path |
method |
HTTP method |
host |
Host part of URL |
fqdn |
Fully qualified domain name |
scheme |
URL scheme (http/https) |
port |
URL port |
query |
Query parameters |
fragment |
URL fragment |
endpoint |
URL endpoint |
지원하다¶
- 공식 문서
- GitHub 저장소
- Project Discovery Discord 를 호출합니다.
*이 속임수 시트는 기본 크롤링부터 고급 필터링 및 기타 도구와의 통합에 이르기까지 Katana를 사용하는 포괄적 인 참조를 제공합니다. 최신 정보를 원하시면, 항상 공식 문서를 참조하세요. *필수