##
Высокоскоростной инструмент для пассивного сбора URL-адресов, оптимизированный для эффективного обнаружения веб-активов без активного сканирования.
* **Оптимизирован для скорости** и эффективности использования ресурсов
* Поддержка **STDIN/OUT** для лёгкой интеграции в существующие рабочие процессы
URLFinder требует **Go 1.21**. Установите его с помощью следующей команды или загрузите предварительно собранный бинарный файл со страницы релизов.
go install -v github.com/projectdiscovery/urlfinder/cmd/urlfinder@latest
Эта команда отображает справку по URLFinder. Ниже приведены некоторые распространённые флаги и параметры.
A streamlined tool for discovering associated URLs.
-d, -list string[] target domain or list of domains
-s, -sources string[] specific sources for discovery (e.g., -s alienvault,commoncrawl)
-es, -exclude-sources string[] sources to exclude (e.g., -es alienvault,commoncrawl)
-all use all sources (may be slower)
-us, -url-scope string[] in scope url regex to be followed by urlfinder
-uos, -url-out-scope string[] out of scope url regex to be excluded by urlfinder
-fs, -field-scope string pre-defined scope field (dn,rdn,fqdn) or custom regex (e.g., '(company-staging.io|company.com)') (default "rdn")
-ns, -no-scope disables host based default scope
-do, -display-out-scope display external endpoint from scoped crawling
-m, -match string[] URLs or list to match (file or comma-separated)
-f, -filter string[] URLs or list to filter (file or comma-separated)
-rl, -rate-limit int max HTTP requests per second (global)
-rls, -rate-limits value per-provider HTTP request limits (e.g., -rls waybackarchive=15/m)
-up, -update update URLFinder to the latest version
-duc, -disable-update-check disable automatic update checks
-o, -output string specify output file
-j, -jsonl JSONL output format
-od, -output-dir string specify output directory
-cs, -collect-sources include all sources in JSON output
-config string config file (default "$CONFIG/urlfinder/config.yaml")
-pc, -provider-config string provider config file (default "$CONFIG/urlfinder/provider-config.yaml")
-silent show only URLs in output
-version display URLFinder version
-nc, -no-color disable colored output
-ls, -list-sources list all available sources
-stats display source statistics
-timeout int timeout in seconds (default 30)
-max-time int max time in minutes for enumeration (default 10)
Эта команда перечисляет URL-адреса для целевого домена tesla.com.
/ /_/ / , _/ /__/ _// / _ \/ _ / -_) __/
[INF] Current urlfinder version v0.0.1 (latest)
[INF] Found 202435 urls for tesla.com in 2 minutes 37 seconds
Используйте параметры `-m` (match) и `-f` (filter), чтобы уточнить результаты на основе шаблонов URL-адресов.
1. **Включение URL-адресов, соответствующих заданным шаблонам**
Чтобы включить только URL-адреса, содержащие «shop» или «model»:
2. **Исключение URL-адресов, соответствующих заданным шаблонам**
Чтобы исключить URL-адреса, содержащие «privacy» или «terms»:
3. **Комбинированное сопоставление и фильтрация**
Чтобы найти URL-адреса, содержащие «support», но исключить те, в которых есть «faq»:
#### Использование файлов для сопоставления и фильтрации
urlfinder -d tesla.com -m include-patterns.txt -f exclude-patterns.txt
Используйте флаг `-j` или `--jsonl`, чтобы выводить результаты в формате JSONL (JSON Lines), где каждая строка представляет собой отдельный JSON-объект. Этот формат удобен для структурированной обработки больших объёмов вывода.
{"url":"
{"url":"
{"url":"
* `input`: целевой домен (например, `tesla.com`).
* `source`: источник данных для обнаружения URL-адресов (например, `waybackarchive`).
URLFinder создан с ❤️ командой ProjectDiscovery и распространяется под лицензией MIT.
The full story
This article is one source in a clustered incident — the cluster page carries the summary, timeline and every other outlet covering it.
