优化代码结构 删除无用队列结果集参数

oneforall/modules/search/ask.py

@@ -1,8 +1,7 @@
 # coding=utf-8
 import time
-import queue
+
 from common.search import Search
-from config import logger
 
 
 class Ask(Search):
@@ -44,14 +43,12 @@ class Ask(Search):
             if '>Next<' not in resp.text:
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
-
+        self.begin()
         self.search(self.domain, full_search=True)
-
         # 排除同一子域搜索结果过多的子域以发现新的子域
         for statement in self.filter(self.domain, self.subdomains):
             self.search(self.domain, filtered_subdomain=statement)
@@ -62,25 +59,21 @@ class Ask(Search):
                 for subdomain in self.subdomains:
                     if subdomain.count('.') - self.domain.count('.') == layer_num:  # 进行下一层子域搜索的限制条件
                         self.search(subdomain)
-
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Ask(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/baidu.py

@@ -1,9 +1,9 @@
 # coding=utf-8
 import time
-import queue
-from common.search import Search
+
 from bs4 import BeautifulSoup
-from config import logger
+
+from common.search import Search
 
 
 class Baidu(Search):
@@ -65,11 +65,11 @@ class Baidu(Search):
             if self.page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -87,21 +87,18 @@ class Baidu(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Baidu(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/bing.py

@@ -1,8 +1,7 @@
 # coding=utf-8
 import time
-import queue
+
 from common.search import Search
-from config import logger
 
 
 class Bing(Search):
@@ -51,11 +50,11 @@ class Bing(Search):
             if self.page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -73,21 +72,19 @@ class Bing(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Bing(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/bing_api.py

@@ -1,9 +1,8 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.search import Search
-from config import logger
 
 
 class BingAPI(Search):
@@ -49,16 +48,13 @@ class BingAPI(Search):
             if self.page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not (self.id and self.key):
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.id, self.key):
             return
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
-
+        self.begin()
         self.search(self.domain, full_search=True)
 
         # 排除同一子域搜索结果过多的子域以发现新的子域
@@ -75,21 +71,18 @@ class BingAPI(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = BingAPI(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/duckduckgo.py

@@ -1,7 +1,7 @@
 # coding=utf-8
 import re
 import time
-import queue
+
 from common.search import Search
 from config import logger
 
@@ -47,11 +47,11 @@ class DuckDuckGO(Search):
                 break
             data.update({'s': s, 'nextParams': '', 'o': 'json', 'dc': dc, 'api': '/d.js'})
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -69,22 +69,20 @@ class DuckDuckGO(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     # return  # 暂时还有点问题
     search = DuckDuckGO(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/search/exalead.py

@@ -1,9 +1,8 @@
 # coding=utf-8
-import time
-import queue
 import random
+import time
+
 from common.search import Search
-from config import logger
 
 
 class Exalead(Search):
@@ -47,11 +46,11 @@ class Exalead(Search):
             if 'title="Go to the next page"' not in resp.text:
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -70,21 +69,19 @@ class Exalead(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Exalead(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/fofa_api.py

@@ -1,6 +1,5 @@
 # coding=utf-8
 import base64
-import queue
 import time
 
 import config
@@ -37,34 +36,30 @@ class FoFa(Search):
             self.subdomains = self.subdomains.union(subdomain_find)
             self.page_num += 1
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.email or not self.key:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+
+        if not self.check(self.email, self.key):
             return
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
         self.search()
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = FoFa(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/google.py

@@ -1,9 +1,8 @@
 # coding=utf-8
-import time
-import queue
 import random
+import time
+
 from common.search import Search
-from config import logger
 
 
 class Google(Search):
@@ -56,11 +55,11 @@ class Google(Search):
             if '302 Moved' in resp.text:
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -78,21 +77,18 @@ class Google(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Google(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/google_api.py

@@ -1,9 +1,8 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.search import Search
-from config import logger
 
 
 class GoogleAPI(Search):
@@ -48,16 +47,13 @@ class GoogleAPI(Search):
             if self.page_num > 100:  # 免费的API只能查询前100条结果
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not (self.cx and self.key):
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.cx, self.key):
             return
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
-
+        self.begin()
         self.search(self.domain, full_search=True)
 
         # 排除同一子域搜索结果过多的子域以发现新的子域
@@ -74,21 +70,18 @@ class GoogleAPI(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = GoogleAPI(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/shodan_api.py

@@ -1,10 +1,8 @@
 # coding=utf-8
-import queue
 
 import config
 # from shodan import Shodan
 from common.search import Search
-from config import logger
 
 
 class ShodanAPI(Search):
@@ -34,36 +32,29 @@ class ShodanAPI(Search):
                 self.subdomains = self.subdomains.union(subdomain_find)
             page += 1
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.key:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.key):
             return
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
-
+        self.begin()
         self.search()
-
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = ShodanAPI(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    results = queue.Queue()
-    do('qq.com', results)
+    do('example.com')

oneforall/modules/search/so.py

@@ -1,8 +1,7 @@
 # coding=utf-8
 import time
-import queue
+
 from common.search import Search
-from config import logger
 
 
 class So(Search):
@@ -46,11 +45,11 @@ class So(Search):
             if self.page_num * self.per_page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -68,21 +67,18 @@ class So(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = So(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/sogou.py

@@ -1,8 +1,6 @@
 # coding=utf-8
-import queue
 
 from common.search import Search
-from config import logger
 
 
 class Sogou(Search):
@@ -44,11 +42,11 @@ class Sogou(Search):
             if self.page_num * self.per_page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -66,21 +64,18 @@ class Sogou(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Sogou(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/yahoo.py

@@ -1,8 +1,7 @@
 # coding=utf-8
 import time
-import queue
+
 from common.search import Search
-from config import logger
 
 
 class Yahoo(Search):
@@ -52,11 +51,11 @@ class Yahoo(Search):
             if self.page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -74,21 +73,19 @@ class Yahoo(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Yahoo(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/yandex.py

@@ -1,8 +1,7 @@
 # coding=utf-8
 import time
-import queue
+
 from common.search import Search
-from config import logger
 
 
 class Yandex(Search):
@@ -25,7 +24,10 @@ class Yandex(Search):
         :param bool full_search: 全量搜索
         """
         self.page_num = 0  # 二次搜索重新置0
-        self.cookie = self.get(self.init).cookies  # 获取cookie bing在搜索时需要带上cookie
+        resp = self.get(self.init)
+        if not resp:
+            return
+        self.cookie = resp.cookies  # 获取cookie
         while True:
             time.sleep(self.delay)
             self.header = self.get_header()
@@ -48,11 +50,11 @@ class Yandex(Search):
             if self.page_num >= self.limit_num:  # 搜索条数限制
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
+        self.begin()
 
         self.search(self.domain, full_search=True)
 
@@ -70,21 +72,18 @@ class Yandex(Search):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = Yandex(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')

oneforall/modules/search/zoomeye_api.py

@@ -1,6 +1,5 @@
 # coding=utf-8
 import time
-import queue
 import config
 from common.search import Search
 from config import logger
@@ -20,7 +19,6 @@ class ZoomEyeAPI(Search):
     def login(self):
         """
         登陆获取查询taken
-        :return:
         """
         url = 'https://api.zoomeye.org/user/login'
         data = {'username': self.user, 'password': self.pwd}
@@ -59,36 +57,29 @@ class ZoomEyeAPI(Search):
             if resp.status_code == 403:
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not (self.user and self.pwd):
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.user, self.pwd):
             return
-        logger.log('DEBUG', f'开始执行{self.source}模块搜索{self.domain}的子域')
-
+        self.begin()
         self.search()
-
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
-        logger.log('DEBUG', f'结束执行{self.source}模块搜索{self.domain}的子域')
+        self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     search = ZoomEyeAPI(domain)
-    search.run(rx_queue)
+    search.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+    do('example.com')