Python增量循环删除MySQL表数据的方法

概述需求场景：有一业务数据库，使用MySQL5.5版本，每天会写入大量数据，需要不定期将多表中“指定时期前“的数据进行删除，在SQLSERVER中很容易实现，写几个WHILE循环就搞定，虽然MySQL中也存在类似功能，怎奈自己不精

需求场景：

有一业务数据库，使用MysqL 5.5版本，每天会写入大量数据，需要不定期将多表中“指定时期前“的数据进行删除，在sql SERVER中很容易实现，写几个WHILE循环就搞定，虽然MysqL中也存在类似功能，怎奈自己不精通，于是采用Python来实现

话不多少，上脚本：

# Coding: utf-8import MysqLdbimport time# delete configDELETE_DATETIME = '2016-08-31 23:59:59'DELETE_ROWS = 10000EXEC_DETAIL_file = 'exec_detail.txt'SLEEP_SECOND_PER_BATCH = 0.5DATETIME_FORMAT = '%Y-%m-%d %X'# MysqL Connection ConfigDefault_MysqL_Host = 'localhost'Default_MysqL_Port = 3358Default_MysqL_User = "root"Default_MysqL_Password = 'roo@01239876'Default_MysqL_Charset = "utf8"Default_MysqL_Connect_TimeOut = 120Default_Database_name = 'testdb001'def get_time_string(dt_time):"""获取指定格式的时间字符串:param dt_time: 要转换成字符串的时间:return: 返回指定格式的字符串"""global DATETIME_FORMATreturn time.strftime(DATETIME_FORMAT,dt_time)def print_info(message):"""将message输出到控制台，并将message写入到日志文件:param message: 要输出的字符串:return: 无返回"""print(message)global EXEC_DETAIL_filenew_message = get_time_string(time.localtime()) + chr(13) + str(message)write_file(EXEC_DETAIL_file,new_message)def write_file(file_path,message):"""将传入的message追加写入到file_path指定的文件中请先创建文件所在的目录:param file_path: 要写入的文件路径:param message: 要写入的信息:return:"""file_handle = open(file_path,'a')file_handle.writelines(message)# 追加一个换行以方便浏览file_handle.writelines(chr(13))file_handle.close()def get_MysqL_connection():"""根据默认配置返回数据库连接:return: 数据库连接"""conn = MysqLdb.connect(host=Default_MysqL_Host,port=Default_MysqL_Port,user=Default_MysqL_User,passwd=Default_MysqL_Password,connect_timeout=Default_MysqL_Connect_TimeOut,charset=Default_MysqL_Charset,db=Default_Database_name)return conndef MysqL_exec(sql_script,sql_param=None):"""执行传入的脚本，返回影响行数:param sql_script::param sql_param::return: 脚本最后一条语句执行影响行数"""try:conn = get_MysqL_connection()print_info("在服务器{0}上执行脚本:{1}".format(conn.get_host_info(),sql_script))cursor = conn.cursor()if sql_param is not None:cursor.execute(sql_script,sql_param)row_count = cursor.rowcountelse:cursor.execute(sql_script)row_count = cursor.rowcountconn.commit()cursor.close()conn.close()except Exception,e:print_info("execute exception:" + str(e))row_count = 0return row_countdef MysqL_query(sql_script,sql_param=None):"""执行传入的sql脚本，并返回查询结果:param sql_script::param sql_param::return: 返回SQL查询结果"""try:conn = get_MysqL_connection()print_info("在服务器{0}上执行脚本:{1}".format(conn.get_host_info(),sql_script))cursor = conn.cursor()if sql_param != '':cursor.execute(sql_script,sql_param)else:cursor.execute(sql_script)exec_result = cursor.fetchall()cursor.close()conn.close()return exec_resultexcept Exception,e:print_info("execute exception:" + str(e))def get_ID_range(table_name):"""按照传入的表获取要删除数据最大ID、最小ID、删除总行数:param table_name: 要删除的表:return: 返回要删除数据最大ID、最小ID、删除总行数"""global DELETE_DATETIMEsql_script = """SELECTMAX(ID) AS MAX_ID,MIN(ID) AS MIN_ID,COUNT(1) AS Total_CountFROM {0}WHERE create_time <='{1}';""".format(table_name,DELETE_DATETIME)query_result = MysqL_query(sql_script=sql_script,sql_param=None)max_ID,min_ID,total_count = query_result[0]# 此处有一坑，可能出现total_count不为0 但是max_ID 和min_ID 为None的情况# 因此判断max_ID和min_ID 是否为NulLif (max_ID is None) or (min_ID is None):max_ID,total_count = 0,0return max_ID,total_countdef delete_data(table_name):max_ID,total_count = get_ID_range(table_name)temp_ID = min_IDwhile temp_ID <= max_ID:sql_script = """DELETE FROM {0}WHERE ID <= {1}and ID >= {2}AND create_time <='{3}';""".format(table_name,temp_ID + DELETE_ROWS,temp_ID,DELETE_DATETIME)temp_ID += DELETE_ROWSprint(sql_script)row_count = MysqL_exec(sql_script)print_info("影响行数：{0}".format(row_count))current_percent = (temp_ID - min_ID) * 1.0 / (max_ID - min_ID)print_info("当前进度{0}/{1},剩余{2},进度为{3}%".format(temp_ID,max_ID,max_ID - temp_ID,"%.2f" % current_percent))time.sleep(SLEEP_SECOND_PER_BATCH)print_info("当前表{0}已无需要删除的数据".format(table_name))delete_data('TB001')delete_data('TB002')delete_data('TB003')

执行效果：

实现原理：

由于表存在自增ID，于是给我们增量循环删除的机会，查找出满足删除条件的最大值ID和最小值ID，然后按ID 依次递增，每次小范围内(如10000条)进行删除。

实现优点：

实现“小斧子砍大柴”的效果，事务小，对线上影响较小，打印出当前处理到的“ID”，可以随时关闭，稍微修改下代码便可以从该ID开始，方便。

实现不足：

为防止主从延迟太高，采用每次删除SLEEP1秒的方式，相对比较糙，最好的方式应该是周期扫描这条复制链路，根据延迟调整SLEEP的周期，反正都脚本化，再智能化点又何妨！

以上所述是小编给大家介绍的Python增量循环删除MysqL表数据，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对编程小技巧网站的支持！

总结

以上是内存溢出为你收集整理的Python增量循环删除MySQL表数据的方法全部内容，希望文章能够帮你解决Python增量循环删除MySQL表数据的方法所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。