This commit is contained in:
Jing Ling
2020-08-08 18:00:36 +08:00
parent 69ce692ff1
commit 4f462fcd60
76 changed files with 177 additions and 207 deletions
+5 -6
View File
@@ -33,10 +33,9 @@ class Ask(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains:
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
self.page_num += 1
if '>Next<' not in resp.text:
@@ -67,7 +66,7 @@ class Ask(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -78,4 +77,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -7
View File
@@ -8,7 +8,6 @@ class Baidu(Search):
Search.__init__(self)
self.module = 'Search'
self.source = 'BaiduSearch'
self.init = 'https://www.baidu.com/'
self.addr = 'https://www.baidu.com/s'
self.domain = domain
self.limit_num = 750 # 限制搜索条数
@@ -56,10 +55,9 @@ class Baidu(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains: # 搜索没有发现子域名则停止搜索
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
# 合并搜索子域名搜索结果
self.subdomains = self.subdomains.union(subdomains)
self.page_num += self.per_page_num
@@ -94,7 +92,7 @@ class Baidu(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -105,4 +103,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('mi.com')
run('mi.com')
+5 -6
View File
@@ -39,10 +39,9 @@ class Bing(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains: # 搜索没有发现子域名则停止搜索
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
# 合并搜索子域名搜索结果
self.subdomains = self.subdomains.union(subdomains)
# 搜索页面没有出现下一页时停止搜索
@@ -78,7 +77,7 @@ class Bing(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -89,4 +88,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+6 -8
View File
@@ -9,8 +9,7 @@ class BingAPI(Search):
self.domain = domain
self.module = 'Search'
self.source = 'BingAPISearch'
self.addr = 'https://api.cognitive.microsoft.com/' \
'bing/v7.0/search'
self.addr = 'https://api.cognitive.microsoft.com/bing/v7.0/search'
self.id = api.bing_api_id
self.key = api.bing_api_key
self.limit_num = 1000 # 必应同一个搜索关键词限制搜索条数
@@ -40,10 +39,9 @@ class BingAPI(Search):
subdomains = self.match_subdomains(resp.text)
if not subdomains: # 搜索没有发现子域名则停止搜索
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
# 合并搜索子域名搜索结果
self.subdomains = self.subdomains.union(subdomains)
self.page_num += self.per_page_num
@@ -78,7 +76,7 @@ class BingAPI(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -89,4 +87,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+2 -2
View File
@@ -60,7 +60,7 @@ class FoFa(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -71,4 +71,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -6
View File
@@ -37,10 +37,9 @@ class Gitee(Search):
subdomains = self.match_subdomains(soup.text, fuzzy=False)
if not subdomains:
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
if '<li class="disabled"><a href="###">' in resp.text:
break
@@ -60,7 +59,7 @@ class Gitee(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -71,4 +70,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('qq.com')
run('qq.com')
+2 -2
View File
@@ -92,7 +92,7 @@ class GithubAPI(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -103,4 +103,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('exmaple.com')
run('exmaple.com')
+5 -5
View File
@@ -43,9 +43,9 @@ class Google(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains:
break
if not full_search:
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
page_num += per_page_num
if 'start=' + str(page_num) not in resp.text:
@@ -80,7 +80,7 @@ class Google(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -91,4 +91,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -5
View File
@@ -38,9 +38,9 @@ class GoogleAPI(Search):
subdomains = self.match_subdomains(resp.text)
if not subdomains:
break
if not full_search:
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
self.page_num += self.per_page_num
if self.page_num > 100: # 免费的API只能查询前100条结果
@@ -74,7 +74,7 @@ class GoogleAPI(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -85,4 +85,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('mi.com')
run('mi.com')
+2 -2
View File
@@ -46,7 +46,7 @@ class ShodanAPI(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -57,4 +57,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -6
View File
@@ -34,10 +34,9 @@ class So(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains:
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
page_num += 1
# 搜索页面没有出现下一页时停止搜索
@@ -73,7 +72,7 @@ class So(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -84,4 +83,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -6
View File
@@ -31,10 +31,9 @@ class Sogou(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains:
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
self.subdomains = self.subdomains.union(subdomains)
self.page_num += 1
# 搜索页面没有出现下一页时停止搜索
@@ -71,7 +70,7 @@ class Sogou(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -82,4 +81,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -6
View File
@@ -39,10 +39,9 @@ class Yahoo(Search):
subdomains = self.match_subdomains(text, fuzzy=False)
if not subdomains: # 搜索没有发现子域名则停止搜索
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
# 合并搜索子域名搜索结果
self.subdomains = self.subdomains.union(subdomains)
if '>Next</a>' not in resp.text: # 搜索页面没有出现下一页时停止搜索
@@ -78,7 +77,7 @@ class Yahoo(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -89,4 +88,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+5 -6
View File
@@ -39,10 +39,9 @@ class Yandex(Search):
subdomains = self.match_subdomains(resp.text, fuzzy=False)
if not subdomains: # 搜索没有发现子域名则停止搜索
break
if not full_search:
# 搜索中发现搜索出的结果有完全重复的结果就停止搜索
if subdomains.issubset(self.subdomains):
break
if not full_search and subdomains.issubset(self.subdomains):
# 在全搜索过程中发现搜索出的结果有完全重复的结果就停止搜索
break
# 合并搜索子域名搜索结果
self.subdomains = self.subdomains.union(subdomains)
if '>next</a>' not in resp.text: # 搜索页面没有出现下一页时停止搜索
@@ -78,7 +77,7 @@ class Yandex(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -89,4 +88,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('example.com')
run('example.com')
+2 -2
View File
@@ -72,7 +72,7 @@ class ZoomEyeAPI(Search):
self.save_db()
def do(domain): # 统一入口名字 方便多线程调用
def run(domain):
"""
类统一调用入口
@@ -83,4 +83,4 @@ def do(domain): # 统一入口名字 方便多线程调用
if __name__ == '__main__':
do('mi.com')
run('mi.com')