river_tao/OneForAll-mirror
1
0
Fork 0
mirror of https://github.com/shmilylty/OneForAll.git synced 2026-08-26 04:47:48 +08:00
Code Issues Packages Projects Releases Wiki Activity
Files
7c8bd44c377f4d42c9d4cf75020c10e0258f174f
OneForAll-mirror/docs/collection_modules.md
T
shmilylty 8c9e69ab9d 添加AlienVault接口说明
2019-11-30 23:28:19 +08:00

113 lines
10 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 收集模块说明 #
如果要使用通过API收集子域的模块请先到[config.py](../oneforall/config.py)配置相关信息，大多平台的API都是可以注册账号免费获取的。
如果你指定使用某些模块可以在[config.py](../oneforall/config.py)中设置：
```python
enable_all_module = False # 不开启所有模块
enable_partial_module = [('modules.search', 'ask')，('modules.search', 'baidu')] # 只使用ask和baidu搜索引擎收集子域
```
如果你指定使用某些模块使用代理可以在[config.py](../oneforall/config.py)中设置：
```python
enable_proxy = True # 使用代理
proxy_all_module = False # 不代理所有模块
proxy_partial_module = ['GoogleQuery', 'AskSearch'] # 只代理GoogleQuery和AskSearch模块（各个模块的source属性值）
```
以下是各个模块说明：
1. 利用证书透明度收集子域（目前有6个模块：`censys_api`，`certdb_api`，`certspotter`，`crtsh`，`entrust`，`google`）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ----------- | ------------ | ----------- | -------------------------------------------------- |
| censys_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| certspotter | 否 | 否 | |
| crtsh | 否 | 否 | |
| entrust | 否 | 否 | |
| google | 是 | 否 | |
| spyse_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
2. 常规检查收集子域（目前有4个模块：域传送漏洞利用`axfr`，检查跨域策略文件`cdx`，检查HTTPS证书`cert`，检查内容安全策略`csp`，后续会添加检查NSEC记录，NSEC3记录等模块）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| -------- | ---------------------- | ----------- | ------------------ |
| axfr | 否 | 否 | 域传送漏洞利用 |
| cdx | 手动设置（默认不使用） | 否 | 检查跨域策略文件 |
| cert | 否 | 否 | 检查HTTPS证书 |
| csp | 手动设置（默认不使用） | 否 | 检查内容安全策略 |
| robots | 手动设置（默认不使用） | 否 | 检查robots.txt文件 |
| sitemap | 手动设置（默认不使用） | 否 | 检查sitemap文件 |
3. 利用网上爬虫档案收集子域（目前有2个模块：`archivecrawl`，`commoncrawl`，此模块还在调试，该模块还有待添加和完善）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ------------ | ------------ | ----------- | -------- |
| archivecrawl | 否 | 否 | |
| commoncrawl | 否 | 否 | |
4. 利用DNS数据集收集子域（目前有22个模块：`cebaidu`, `binaryedge_api`, `circl_api`, `hackertarget`, `riddler`, `bufferover`, `dnsdb`, `ipv4info`, `robtex`, `chinaz`, `dnsdb_api`, `netcraft`, `securitytrails_api`, `chinaz_api`, `dnsdumpster`, `passivedns_api`, `ptrarchive`, `sitedossier`,`threatcrowd`）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| ------------------ | ------------ | ----------- | -------------------------------------------------- |
| binaryedge_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| bufferover | 否 | 否 | |
| cebaidu | 否 | 否 | |
| chinaz | 否 | 否 | |
| chinaz_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| circl_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| dnsdb | 否 | 否 | |
| dnsdb_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| dnsdumpster | 否 | 否 | |
| hackertarget | 否 | 否 | |
| ip138 | 否 | 否 | |
| ipv4info | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| netcraft | 否 | 否 | |
| passivedns_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| ptrarchive | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| riddler | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| robtex | 否 | 否 | |
| securitytrails_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| sitedossier | 否 | 否 | |
| threatcrowd | 否 | 否 | |
| ximcx | 否 | 否 | |
5. 利用DNS查询收集子域（目前有1个模块：通过枚举常见的SRV记录并做查询来收集子域`srv`，该模块还有待添加和完善）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| -------- | ------------ | ----------- | ----------------------------- |
| srv | 否 | 否 | 枚举域名常见的SRV记录发现子域 |
6. 利用威胁平台数据收集子域（目前有6个模块：`riskiq_api`，`threatbook_api`，`threatminer`，`virustotal`，`virustotal_api`该模块还有待添加和完善）
| 模块名称 | 是否需要代理 | 是否需要API | 其他说明 |
| -------------- | ------------ | ----------- | -------------------------------------------------- |
| alienvault | 否 | 否 | |
| riskiq_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| threatbook_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| threatminer | 否 | 否 | |
| virustotal | 否 | 否 | |
| virustotal_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
7. 利用搜索引擎发现子域（目前有16个模块：`ask`, `bing_api`, `fofa_api`, `shodan_api`, `yahoo`, `baidu`, `duckduckgo`, `github`, `google`, `so`, `yandex`, `bing`, `exalead`, `google_api`, `sogou`, `zoomeye_api`）
除特殊搜索引擎，通用的搜索引擎都支持自动排除搜索，全量搜索，递归搜索。
| 模块 | 是否需要代理 | 是否需要API | 其他说明 |
| ----------- | ---------------------- | ----------- | ----------------------------------------------------------- |
| ask | 是 | 否 | |
| baidu | 否 | 否 | |
| bing | 否 | 否 | |
| bing_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| duckduckgo | 是 | 否 | |
| exalead | 否，最好使用国外代理。 | 否 | |
| fofa_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| github | 否 | 否 | 在[config.py](../oneforall/config.py)设置Github邮件名和密码 |
| google | 是 | 否 | |
| google_api | 是 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| shodan_api | 否，最好使用国外代理。 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
| so | 否 | 否 | |
| sogou | 否 | 否 | |
| yahoo | 是 | 否 | |
| yandex | 是 | 否 | |
| zoomeye_api | 否 | 是 | API使用和申请见[config.py](../oneforall/config.py) |
Reference in New Issue View Git Blame Copy Permalink