river_tao/OneForAll-mirror
1
0
Fork 0
mirror of https://github.com/shmilylty/OneForAll.git synced 2026-08-26 04:47:48 +08:00
Code Issues Packages Projects Releases Wiki Activity

调整日志等级

Browse Source
This commit is contained in:
Jing Ling
2020-02-11 01:55:33 +08:00
parent 58301560d0
commit 8ba01b4527
2 changed files with 20 additions and 21 deletions
Download Patch File Download Diff File Expand all files Collapse all files
oneforall/common/database.py
+14 -14
View File
@@ -23,7 +23,7 @@ class Database(object):
:param db_path: 数据库连接或路径
:return: SQLite数据库
"""
logger.log('DEBUG', f'正在获取数据库连接')
logger.log('TRACE', f'正在获取数据库连接')
if isinstance(db_path, Connection):
return db_path
protocol = 'sqlite:///'
@@ -32,7 +32,7 @@ class Database(object):
else:
db_path = protocol + db_path
db = records.Database(db_path) # 不存在数据库时会新建一个数据库
logger.log('DEBUG', f'使用数据库: {db_path}')
logger.log('TRACE', f'使用数据库: {db_path}')
return db.get_connection()
def query(self, sql):
@@ -51,9 +51,9 @@ class Database(object):
"""
table_name = table_name.replace('.', '_')
if self.exist_table(table_name):
logger.log('DEBUG', f'已经存在{table_name}表')
logger.log('TRACE', f'已经存在{table_name}表')
return
logger.log('DEBUG', f'正在创建{table_name}表')
logger.log('TRACE', f'正在创建{table_name}表')
self.query(f'create table "{table_name}" ('
f'id integer primary key,'
f'url text,'
@@ -81,7 +81,7 @@ class Database(object):
:param list results: 结果列表
:param str module_name: 模块名
"""
logger.log('DEBUG', f'正在将{module_name}模块发现{table_name}的子域'
logger.log('TRACE', f'正在将{module_name}模块发现{table_name}的子域'
'结果存入数据库')
table_name = table_name.replace('.', '_')
if results:
@@ -106,7 +106,7 @@ class Database(object):
:return: 是否存在某表
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'正在查询是否存在{table_name}表')
logger.log('TRACE', f'正在查询是否存在{table_name}表')
results = self.query(f'select count() from sqlite_master '
f'where type = "table" and '
f'name = "{table_name}"')
@@ -124,7 +124,7 @@ class Database(object):
"""
table_name = table_name.replace('.', '_')
bak_table_name = bak_table_name.replace('.', '_')
logger.log('DEBUG', f'正在将{table_name}表复制到{bak_table_name}新表')
logger.log('TRACE', f'正在将{table_name}表复制到{bak_table_name}新表')
self.query(f'drop table if exists "{bak_table_name}"')
self.query(f'create table "{bak_table_name}" '
f'as select * from "{table_name}"')
@@ -136,7 +136,7 @@ class Database(object):
:param str table_name: 表名
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'正在清空{table_name}表中的数据')
logger.log('TRACE', f'正在清空{table_name}表中的数据')
self.query(f'delete from "{table_name}"')
def drop_table(self, table_name):
@@ -146,7 +146,7 @@ class Database(object):
:param str table_name: 表名
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'正在删除{table_name}表')
logger.log('TRACE', f'正在删除{table_name}表')
self.query(f'drop table if exists "{table_name}"')
def rename_table(self, table_name, new_table_name):
@@ -158,7 +158,7 @@ class Database(object):
"""
table_name = table_name.replace('.', '_')
new_table_name = new_table_name.replace('.', '_')
logger.log('DEBUG', f'正在将{table_name}表重命名为{table_name}表')
logger.log('TRACE', f'正在将{table_name}表重命名为{table_name}表')
self.query(f'alter table "{table_name}" '
f'rename to "{new_table_name}"')
@@ -169,7 +169,7 @@ class Database(object):
:param str table_name: 表名
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'正在去重{table_name}表中的子域')
logger.log('TRACE', f'正在去重{table_name}表中的子域')
self.query(f'delete from "{table_name}" where '
f'id not in (select min(id) '
f'from "{table_name}" group by subdomain)')
@@ -181,7 +181,7 @@ class Database(object):
:param str table_name: 表名
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'正在去除{table_name}表中的无效子域')
logger.log('TRACE', f'正在去除{table_name}表中的无效子域')
self.query(f'delete from "{table_name}" where '
f'subdomain is null or valid == 0')
@@ -192,7 +192,7 @@ class Database(object):
:param str table_name: 表名
"""
table_name = table_name.replace('.', '_')
logger.log('DEBUG', f'获取{table_name}表中的所有数据')
logger.log('TRACE', f'获取{table_name}表中的所有数据')
return self.query(f'select * from "{table_name}"')
def export_data(self, table_name, valid):
@@ -208,7 +208,7 @@ class Database(object):
if valid == 0 or valid == 1:
where = f' where valid = {valid}'
query += where
logger.log('DEBUG', f'获取{table_name}表中的所有数据')
logger.log('TRACE', f'获取{table_name}表中的所有数据')
return self.query(query)
def close(self):
oneforall/common/module.py
+6 -7
View File
@@ -170,16 +170,16 @@ class Module(object):
:return: 代理字典
"""
if not config.enable_proxy:
logger.log('DEBUG', f'所有模块不使用代理')
logger.log('TRACE', f'所有模块不使用代理')
return self.proxy
if config.proxy_all_module:
logger.log('DEBUG', f'{module}模块使用代理')
logger.log('TRACE', f'{module}模块使用代理')
return utils.get_random_proxy()
if module in config.proxy_partial_module:
logger.log('DEBUG', f'{module}模块使用代理')
logger.log('TRACE', f'{module}模块使用代理')
return utils.get_random_proxy()
else:
logger.log('DEBUG', f'{module}模块不使用代理')
logger.log('TRACE', f'{module}模块不使用代理')
return self.proxy
@staticmethod
@@ -193,7 +193,7 @@ class Module(object):
:return: 匹配出的子域集合或列表
:rtype: set or list
"""
logger.log('DEBUG', f'正则匹配响应体中的子域')
logger.log('TRACE', f'正则匹配响应体中的子域')
regexp = r'(?:\>|\"|\'|\=|\,)(?:http\:\/\/|https\:\/\/)?' \
r'(?:[a-z0-9](?:[a-z0-9\-]{0,61}[a-z0-9])?\.){0,}' \
+ domain.replace('.', r'\.')
@@ -225,7 +225,7 @@ class Module(object):
"""
if not config.save_module_result:
return False
logger.log('DEBUG', f'将{self.source}模块发现的子域结果保存为json文件')
logger.log('TRACE', f'将{self.source}模块发现的子域结果保存为json文件')
path = config.result_save_path.joinpath(self.domain, self.module)
path.mkdir(parents=True, exist_ok=True)
name = self.source + '.json'
@@ -291,7 +291,6 @@ class Module(object):
"""
将模块结果存入数据库中
:return:
"""
lock.acquire()
db = Database()