优化代码结构 删除无用队列结果集参数

oneforall/modules/datasets/binaryedge_api.py

@@ -1,9 +1,8 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.query import Query
-from config import logger
 
 
 class BinaryEdgeAPI(Query):
@@ -30,34 +29,30 @@ class BinaryEdgeAPI(Query):
         subdomains_find = self.match(self.domain, str(resp.json()))
         self.subdomains = self.subdomains.union(subdomains_find)
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.api:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.api):
             return
         self.begin()
         self.query()
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = BinaryEdgeAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/bufferover.py

@@ -1,6 +1,6 @@
 # coding=utf-8
 import time
-import queue
+
 from common.query import Query
 
 
@@ -26,7 +26,7 @@ class BufferOver(Query):
         subdomains_find = self.match(self.domain, resp.text)
         self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -35,21 +35,20 @@ class BufferOver(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = BufferOver(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/chinaz.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import time
 
 from common.query import Query
@@ -27,7 +26,7 @@ class Chinaz(Query):
         subdomains_find = self.match(self.domain, resp.text)
         self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -36,21 +35,19 @@ class Chinaz(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = Chinaz(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/chinaz_api.py

@@ -1,9 +1,8 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.query import Query
-from config import logger
 
 
 class ChinazAPI(Query):
@@ -29,34 +28,30 @@ class ChinazAPI(Query):
         subdomains_find = self.match(self.domain, str(resp.json()))
         self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.api:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.api):
             return
         self.begin()
         self.query()
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = ChinazAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/circl_api.py

@@ -1,6 +1,6 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.query import Query
 
@@ -28,31 +28,30 @@ class CirclAPI(Query):
         subdomains_find = self.match(self.domain, str(resp.json()))
         self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
+        if not self.check(self.user, self.pwd):
+            return
         self.begin()
-        if self.user and self.pwd:
-            self.query()
-            self.save_json()
-            self.gen_result()
-            self.save_db()
-            rx_queue.put(self.results)
+        self.query()
+        self.save_json()
+        self.gen_result()
+        self.save_db()
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = CirclAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/dnsdb.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import random
 import time
 
@@ -43,7 +42,7 @@ class DNSdb(Query):
                 subdomains_find = self.match(self.domain, resp.text)
                 self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -52,21 +51,20 @@ class DNSdb(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = DNSdb(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/dnsdb_api.py

@@ -1,10 +1,9 @@
 # coding=utf-8
 import time
-import queue
+
 import config
-from common.query import Query
 from common import utils
-from config import logger
+from common.query import Query
 
 
 class DNSdbAPI(Query):
@@ -32,34 +31,31 @@ class DNSdbAPI(Query):
             subdomains_find = utils.match_subdomain(self.domain, resp.text)
             self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.api:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.api):
             return
         self.begin()
         self.query()
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = DNSdbAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/dnsdumpster.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import time
 
 from common import utils
@@ -38,7 +37,7 @@ class DNSdumpster(Query):
         if subdomains_find:
             self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -47,21 +46,20 @@ class DNSdumpster(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = DNSdumpster(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/hackertarget.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 
 from common import utils
 from common.query import Query
@@ -28,7 +27,7 @@ class HackerTarget(Query):
             if subdomains_find:
                 self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -37,21 +36,20 @@ class HackerTarget(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = HackerTarget(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/ipv4info.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 
 import config
 from common.query import Query
@@ -40,7 +39,7 @@ class IPv4InfoAPI(Query):
             if page >= 50:  # ipv4info子域查询接口最多允许查询50页
                 break
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -49,21 +48,20 @@ class IPv4InfoAPI(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = IPv4InfoAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/netcraft.py

@@ -1,6 +1,5 @@
 # coding=utf-8
 import hashlib
-import queue
 import re
 import time
 from urllib import parse
@@ -52,7 +51,7 @@ class NetCraft(Query):
             last = re.search(r'&last=.*' + self.domain, resp.text).group(0)
             self.page_num += self.per_page_num
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -61,21 +60,20 @@ class NetCraft(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = NetCraft(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/ptrarchive.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import random
 
 from common import utils
@@ -30,7 +29,7 @@ class PTRArchive(Query):
             if subdomains_find:
                 self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -39,21 +38,19 @@ class PTRArchive(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = PTRArchive(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/riddler.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import time
 
 from common.query import Query
@@ -27,7 +26,7 @@ class Riddler(Query):
         subdomains_find = self.match(self.domain, resp.text)
         self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -36,21 +35,19 @@ class Riddler(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = Riddler(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/robtex.py

@@ -1,6 +1,5 @@
 # coding=utf-8
 import json
-import queue
 import time
 
 from common.query import Query
@@ -38,7 +37,7 @@ class Robtex(Query):
                 if subdomains_find:
                     self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -47,21 +46,19 @@ class Robtex(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = Robtex(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/securitytrails_api.py

@@ -1,9 +1,8 @@
 # coding=utf-8
 import time
-import queue
+
 import config
 from common.query import Query
-from config import logger
 
 
 class SecurityTrailsAPI(Query):
@@ -33,34 +32,31 @@ class SecurityTrailsAPI(Query):
         if subdomains_find:
             self.subdomains = self.subdomains.union(subdomains_find)  # 合并搜索子域名搜索结果
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
-        if not self.api:
-            logger.log('ERROR', f'{self.source}模块API配置错误')
-            logger.log('ALERT', f'不执行{self.source}模块')
+        if not self.check(self.api):
             return
         self.begin()
         self.query()
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
+
     """
     query = SecurityTrailsAPI(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')

oneforall/modules/datasets/sitedossier.py

@@ -1,5 +1,4 @@
 # coding=utf-8
-import queue
 import time
 
 from common.query import Query
@@ -36,7 +35,7 @@ class SiteDossier(Query):
                 break
             self.page_num += self.per_page_num
 
-    def run(self, rx_queue):
+    def run(self):
         """
         类执行入口
         """
@@ -45,21 +44,19 @@ class SiteDossier(Query):
         self.save_json()
         self.gen_result()
         self.save_db()
-        rx_queue.put(self.results)
         self.finish()
 
 
-def do(domain, rx_queue):  # 统一入口名字 方便多线程调用
+def do(domain):  # 统一入口名字 方便多线程调用
     """
     类统一调用入口
 
     :param str domain: 域名
-    :param rx_queue: 结果集队列
     """
     query = SiteDossier(domain)
-    query.run(rx_queue)
+    query.run()
 
 
 if __name__ == '__main__':
-    result_queue = queue.Queue()
-    do('example.com', result_queue)
+
+    do('example.com')