river_tao/OneForAll-mirror
1
0
Fork 0
mirror of https://github.com/shmilylty/OneForAll.git synced 2026-08-26 04:47:48 +08:00
Code Issues Packages Projects Releases Wiki Activity

完善收集模块说明文档

Browse Source
This commit is contained in:
shmilylty
2019-08-03 15:17:57 +08:00
parent a76db09621
commit 197712f1d1
1 changed files with 89 additions and 73 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/collection_modules.md
+89 -73
View File
@@ -1,85 +1,101 @@
# 收集模块说明 # # 收集模块说明 #
如果要使用通过API收集子域的模块请先到[config.py](../oneforall/config.py)配置相关信息，大多平台的API都是可以注册账号免费获取的。
如果你指定使用某些模块可以在[config.py](../oneforall/config.py)中设置：
```python
enable_all_module = False # 不开启所有模块
enable_partial_module = [('modules.search', 'ask')，('modules.search', 'baidu')] # 只使用ask和baidu搜索引擎收集子域
```
如果你指定使用某些模块使用代理可以在[config.py](../oneforall/config.py)中设置：
```python
enable_proxy = True # 使用代理
proxy_all_module = False # 不代理所有模块
proxy_partial_module = ['GoogleQuery', 'AskSearch'] # 只代理GoogleQuery和AskSearch模块（各个模块的source属性值）
```
以下是各个模块说明：
1. 利用证书透明度收集子域（目前有6个模块：`censys_api`，`certdb_api`，`certspotter`，`crtsh`，`entrust`，`google`） 1. 利用证书透明度收集子域（目前有6个模块：`censys_api`，`certdb_api`，`certspotter`，`crtsh`，`entrust`，`google`）
| 模块 | 是否需要代理 | 是否需要API | 其他说明 | | 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ----------- | ------------ | ----------- | -------- | | ----------- | ------------ | ----------- | -------------------------------------------------- |
| censys_api | 否 | 是 | | | censys_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| certdb_api | 否 | 是 | | | certdb_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| certspotter | 否 | 否 | | | certspotter | 否 | 否 | |
| crtsh | 否 | 否 | | | crtsh | 否 | 否 | |
| entrust | 否 | 否 | | | entrust | 否 | 否 | |
| google | 是 | 否 | | | google | 是 | 否 | |
2. 常规检查收集子域（目前有4个模块：域传送漏洞利用`axfr`，检查跨域策略文件`cdx`，检查HTTPS证书`cert`，检查内容安全策略`csp`，后续会添加检查NSEC记录，NSEC记录等模块） 2. 常规检查收集子域（目前有4个模块：域传送漏洞利用`axfr`，检查跨域策略文件`cdx`，检查HTTPS证书`cert`，检查内容安全策略`csp`，后续会添加检查NSEC记录，NSEC记录等模块）
| | | | | | 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ---- | ---- | ---- | ---- | | -------- | ------------ | ----------- | ---------------- |
| | | | | | axfr | 否 | 否 | 域传送漏洞利用 |
| | | | | | cdx | 由域名决定 | 否 | 检查跨域策略文件 |
| | | | | | cert | 否 | 否 | 检查HTTPS证书 |
| | | | | | csp | 由域名决定 | 否 | 检查内容安全策略 |
| | | | |
| | | | |
3. 利用网上爬虫档案收集子域（目前有2个模块：`archivecrawl`，`commoncrawl`，此模块还在调试，该模块还有待添加和完善） 3. 利用网上爬虫档案收集子域（目前有2个模块：`archivecrawl`，`commoncrawl`，此模块还在调试，该模块还有待添加和完善）
| | | | | | 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ---- | ---- | ---- | ---- | | ------------ | ------------ | ----------- | -------- |
| | | | | | archivecrawl | 否 | 否 | |
| | | | | | commoncrawl | 否 | 否 | |
| | | | |
| | | | |
| | | | |
| | | | |
4. 利用DNS数据集收集子域（目前有16个模块：`binaryedge_api`, `circl_api`, `hackertarget`, `riddler`, `bufferover`, `dnsdb`, `ipv4info`, `robtex`, `chinaz`, `dnsdb_api`, `netcraft`, `securitytrails_api`, `chinaz_api`, `dnsdumpster`, `ptrarchive`, `sitedossier`） 4. 利用DNS数据集收集子域（目前有16个模块：`binaryedge_api`, `circl_api`, `hackertarget`, `riddler`, `bufferover`, `dnsdb`, `ipv4info`, `robtex`, `chinaz`, `dnsdb_api`, `netcraft`, `securitytrails_api`, `chinaz_api`, `dnsdumpster`, `ptrarchive`, `sitedossier`）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| | | | | | ------------------ | ------------ | ----------- | --------------------------------------------------- |
| ---- | ---- | ---- | ---- | | binaryedge_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| | | | | | circl_api | 否 | 是 | API使用和申请见[config.py](.../oneforall/config.py) |
| | | | | | hackertarget | 否 | 否 | |
| | | | | | riddler | 否 | 否 | |
| | | | | | bufferover | 否 | 否 | |
| | | | | | dnsdb | 否 | 否 | |
| | | | | | ipv4info | 否 | 否 | |
| robtex | 否 | 否 | |
| chinaz | 否 | 否 | |
| dnsdb_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| netcraft | 否 | 否 | |
| securitytrails_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| chinaz_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| dnsdumpster | 否 | 否 | |
| sitedossier | 否 | 否 | |
5. 利用DNS查询收集子域（目前有1个模块：通过枚举常见的SRV记录并做查询来收集子域`srv`，该模块还有待添加和完善） 5. 利用DNS查询收集子域（目前有1个模块：通过枚举常见的SRV记录并做查询来收集子域`srv`，该模块还有待添加和完善）
| | | | | | 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ---- | ---- | ---- | ---- | | -------- | ------------ | ----------- | ----------------------------- |
| | | | | | srv | 否 | 否 | 枚举域名常见的SRV记录发现子域 |
| | | | |
| | | | |
| | | | |
| | | | |
| | | | |
6. 利用威胁平台数据收集子域（目前有5个模块：`riskiq`，`threatbook`，`threatminer`，`virustotal`，`virustotal_api`该模块还有待添加和完善） 6. 利用威胁平台数据收集子域（目前有5个模块：`riskiq`，`threatbook`，`threatminer`，`virustotal`，`virustotal_api`该模块还有待添加和完善）
| | | | | | 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ---- | ---- | ---- | ---- | | -------------- | ------------ | ----------- | -------------------------------------------------- |
| | | | | | riskiq | 否 | 否 | |
| | | | | | threatbook | 否 | 否 | |
| | | | | | threatminer | 否 | 否 | |
| | | | | | virustotal | 否 | 否 | |
| | | | | | virustotal_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| | | | | 7. 利用搜索引擎发现子域（目前有15个模块：`ask`, `bing_api`, `fofa`, `shodan_api`, `yahoo`, `baidu`, `duckduckgo`, `google`, `so`, `yandex`, `bing`, `exalead`, `google_api`, `sogou`, `zoomeye_api`）
8. [搜索引擎](./oneforall/modules/search)发现子域（目前有15个模块：`ask`, `bing_api`, `fofa`, `shodan_api`, `yahoo`, `baidu`, `duckduckgo`, `google`, `so`, `yandex`, `bing`, `exalead`, `google_api`, `sogou`, `zoomeye_api`）
除特殊搜索引擎，通用的搜索引擎都支持自动排除搜索，全量搜索，递归搜索。 除特殊搜索引擎，通用的搜索引擎都支持自动排除搜索，全量搜索，递归搜索。
| 模块 | 是否需要代理 | 是否需要API | 其他说明 | | 模块 | 是否需要代理 | 是否需要API | 其他说明 |
| ----------- | ---------------------- | ----------- | --------------------------------------------------- | | ----------- | ---------------------- | ----------- | ------------------------------------------------- |
| ask | 是 | 否 | | | ask | 是 | 否 | |
| baidu | 否 | 否 | | | baidu | 否 | 否 | |
| bing | 否 | 否 | | | bing | 否 | 否 | |
| bing_api | 否 | 是 | API使用和申请见[config.py](./oneforall/config.py)。 | | bing_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| duckduckgo | 是 | 否 | | | duckduckgo | 是 | 否 | |
| exalead | 否，最好使用国外代理。 | 否 | | | exalead | 否，最好使用国外代理。 | 否 | |
| fofa | 否 | 否 | | | fofa | 否 | 否 | |
| google | 是 | 否 | | | google | 是 | 否 | |
| google_api | 是 | 是 | API使用和申请见[config.py](./oneforall/config.py)。 | | google_api | 是 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| shodan_api | 否，最好使用国外代理。 | 是 | API使用和申请见[config.py](./oneforall/config.py)。 | | shodan_api | 否，最好使用国外代理。 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| so | 否 | 否 | | | so | 否 | 否 | |
| sogou | 否 | 否 | | | sogou | 否 | 否 | |
| yahoo | 是 | 否 | | | yahoo | 是 | 否 | |
| yandex | 是 | 否 | | | yandex | 是 | 否 | |
| zoomeye_api | 否 | 是 | API使用和申请见[config.py](./oneforall/config.py)。 | | zoomeye_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |