每次执行一个sql的时候都单独建立一个mysql连接,执行完就close掉,很明显这样的问题在于,频繁连接,断开mysql,这样是相当消耗系统资源的,而且增加了mysql连接失败的几率,所以万一哪个线程没有连接成功 这个线程也over了。
连接池原理- 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
- 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接
pip install DBUtils
下载地址:https://pypi.org/project/DBUtils/
参数解释:
creator, # 使用链接数据库的模块
mincached=0, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=0, # 链接池中最多闲置的链接,0和None不限制
maxshared=0, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
maxconnections=0, # 连接池允许的最大连接数,0和None表示不限制连接数
blocking=False, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=None, # 开始会话前执行的命令列表。如:["set datestyle to ...", "set time zone ..."]
reset=True,
failures=None,
ping=1, # ping MySQL服务端,检查是否服务可用。# 如:0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
# 数据库设置,同pymysql
host='localhost',
port=3306,
db='mydata',
user="root",
passwd="123456",
charset='utf8'
代码示例
# -*- coding: utf-8 -*-
# @File : dbutils_demo.py
# @Date : 2018-08-15
# @Author : Peng Shiyu
import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(
creator=pymysql, # 使用链接数据库的模块
host='localhost',
port=3306,
db='mydata',
user="root",
passwd="123456",
charset='utf8'
)
class Connect(object):
def __init__(self, pool_obj):
self.conn = pool_obj.connection()
self.cursor = self.conn.cursor()
def execute(self, query, args=None):
self.cursor.execute(query, args)
return self.cursor.fetchall()
def __del__(self):
self.cursor.close()
self.conn.close()
if __name__ == '__main__':
con = Connect(pool)
sql = "show tables"
ret = con.execute(sql)
print(len(ret))
参考: Python-DBUtils 使用mysql数据库连接池提升效率