您当前的位置: 首页 >  sql

星夜孤帆

暂无认证

  • 3浏览

    0关注

    626博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

MySQL查询优化

星夜孤帆 发布时间:2021-05-12 22:09:34 ,浏览量:3

一、查询优化 1.1 小表驱动大表

永远小表驱动大表,类似嵌套循环Nested Loop

EXISTS

SELECT ... FROM table WHERE EXISTS (subquery)

该语法可以理解为。将主查询的数据,放到子查询中做条件验证,根据验证结果(TRUE或FALSE)来决定主查询的数据结果是否得以保留。

提示

1.EXISTS(subquery)只返回TRUE 或FALSE,因此子查询中的SELECT*也可以是select 1或select'X',官方说法是实际执行时会忽略SELECT清单,因此没有区别

2.EXSTS子查询的实际执行过程可能经过了优化而不是我们理解上的逐条对比,如果担忧效率问题,可进行实际检验以确定是否有效率问题。3EXSTS子查询往往也可以用条件表达式、其他子查询或者JOIN来替代,何种最优需要具体问题具体分析。

1.2 order by关键字优化 1.2.1 尽量使用index方式排序

order by子句,尽量使用index方式排序,避免使用filesort方式排序

1.建表sql

create table tblA(
age int,
birth timestamp not null
);
 
insert into tblA(age,birth) values (22,now());
insert into tblA(age,birth) values (23,now());
insert into tblA(age,birth) values (24,now());
 
 
create index idx_A_ageBirth on tblA(age,birth);
 
select * from tblA;

2.案例

 

MySQL支持两种排序方式,filesort和index,index效率更高,它值MySQL扫描索引本身完成的排序。filesort效率较低。

order by满足两种情况,会使用index方式排序:

1.order by子句使用索引的最左前列。

2.使用where子句和order by子句里的条件列组合,满足索引最左前列时。

尽可能的在索引列上完成排序操作,遵照索引键的最佳左前缀原则。

1.2.2 双路排序和单路排序

如果不在索引列上,filesort有两种算法。双路排序、单路排序。

双路排序:

MySQL4.1之前使用的是双路排序,需要扫描两次磁盘才能得到最终数据。读取行指针和order by列,对它们进行排序,然后扫描已经排好序的列表,按照列表中的值,重新从列表中读取数据输出。

从磁盘里取排序字段,在buffer进行排序,再从磁盘取其它字段。

取一批数据,要对磁盘进行两次扫描,因为I/o是很耗时的,所以在MySQL4.1之后,出现了第二种改进的算法→单路排序。

单路排序:

从磁盘中读取查询的所有列,按照order by列在buffer对它们进行排序,然后扫描排序后的列表进行输出。它的效率更快,避免了第二次读取数据,并且把随机IO变为了顺序IO,但它会使用更多的空间,因为它把每一行都保存在了内存中。

结论及引申出的问题:

由于单路排序算法后出,所以总体而言比双路的好。

单路的弊端:

在sort_buffer中,方法B比方法A要多占用很多空间,因为方法B是把所有字段都取出,所以有可能取出的数据的总大小超出了sort_buffer的容量,导致每次只能取sort_buffer容量大小的数据,进行排序(创建tmp文件,多路合并),

排完再取sort_buffer容量大小,再排……从而多次I/O。本来想省一次l/O操作,反而导致了大量的I/O操作,反而得不偿失。

1.2.3 优化策略

1.增大sort_buffer_size参数的设置

2.增大max_length_for_sort_data参数的设置

1.2.4 小总结

1.3 group by关键字优化

1.group by实质是先排序后进行分组,遵照索引建的最佳左前缀。

2.当无法使用索引列,增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置

3.where高于having,能写在where限定的条件就不要去having限定了。

二、 慢查询日志 2.1 是什么

MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阈值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。

具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long _query_time的默认值为10,意思是运行10秒以上的语句。

由他来查看哪些SQL超出了我们的最大忍耐时间值,比如一条sql执行超过5秒钟,我们就算慢SQL,希望能收集超过5秒的sql,结合之前explain进行全面分析。

2.2 怎么玩 2.2.1 说明

默认情况下,MySQL数据库没有开启慢查询日志,需要我们手动来设置这个参数。

当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件

2.2.2 查看是否开启以及如何开启

1.默认

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启SHOW VARIABLES LIKE '%slow_query_log%';

2.开启

如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)

修改my.cnf文件,[mysqld]下增加或修改参数

slow_query_log和slow_query_log_file后,然后重启MySQL服务器。也即将如下两行配置进my.cnf文件

slow_query_log =1

slow_query_log_file=/var/lib/mysql/atguigu-slow.log

关于慢查询的参数slow_query_log_file,它指定慢查询日志文件的存放路径,系统默认会给一个缺省的文件(主机)host_name-slow.log(如果没有指定参数slow_query_log_file的话)

3.开启了慢查询日志后,什么样的sql会记录到慢查询日志里呢

这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,

命令:SHOW VARIABLES LIKE 'long_query_time%';

可以使用命令修改,也可以在my.cnf参数里面修改。假如运行时间正好等于long_query_time的情况,并不会被记录下来。也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。

4.设置慢SQL的阈值时间为3秒

set global long_query_time = 3;

5.为什么设置后看不出变化

需要重新连接或新开一个会话才能看到修改值。

SHOW VARIABLES LIKE 'long_query_time%';

show global variables like 'long_query_time';

6.记录慢SQL,并后续分析

7.查询当前系统中有多少条慢SQL记录

show global status like '%Slow_queries%';

8.配置版

slow_query_log=1;

slow_query_log_file=/var/lib/mysql/atguigu-slow.log

long_query_time=3;

log_output=FILE

2.3 日志分析工具mysqldumpslow

在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow。

2.3.1 查看mysqldumpslow的帮助信息

s:表示按照何种方式排序 c:访问次数 1:锁定时间 r:返回记录 t:查询时间 al:平均锁定时间 ar:平均返回锁定数 at:平均查询时间 t:返回前面多少条的数据 g:后面搭配一个正则匹配模式,大小写不敏感的。

2.3.2 工作常用参考

1.得到返回记录集最多的10个SQL:mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log

2.得到访问次数最多的10个SQL:mysqldumpslow -s c -t 10 /var/lib/mysql/atguigu-slow.log

3.得到按照时间排序的前10条里面含有左连接的查询语句:mysqldumpslow -s t -t 10 -g "left join" /var/lib/mysql/atguigu-slow.log

4.另外建议在使用这些命令时结合|和more 使用,否则有可能出现爆屏情况:mysqldumpslow -s r -t 10 /var/lib/mysql/atguigu-slow.log | more

三、show profile 3.1 是什么

MySQL提供的可以用来分析当前会话中语句执行的资源消耗情况,可以用于SQL调优的测量。

官网:https://dev.mysql.com/doc/refman/8.0/en/show-profile.html

默认情况下参数处于关闭状态,并保存最近15次的运行结果。

3.2 分析步骤

1.是否支持,看看当前的MySQL版本是否支持

show variables like 'profiling';

或者 
show variables like 'profiling%';

默认是关闭,使用前需要开启

2.开启功能,默认为关闭状态,使用前需开启

 

3.运行SQL

select * from emp group by id%10 limit 150000;

select * from emp group by id%20 order by 5;

 4.查看结果,show profiles

5. 诊断SQL,show profile cpu,block io for query上一步前面有问题的SQL的数字号码

type:

1.ALL--显示所有的开销信息

2.BLOCK IO--显示块lO相关开销

3.CONTEXT SWVITCHES --上下文切换相关开销

4.CPU--显示CPU相关开销信息

5.IPC--显示发送和接收相关开销信息

6.MEMORY--显示内存相关开销信息

7.PAGE FAULTS--显示页面错误相关开销信息

8.SOURCE--显示和Source_function,Source_file,Source_line相关的开销信息

9.SWAPS--显示交换次数相关开销的信息

3.3 日常开发需要注意的结论

1. convering heap to MyISAM

查询结果太大,内存不够用,往磁盘中写入

2.creating tmp table(创建临时表)

拷贝数据到临时表,用完之后再删除

select * from emp group by id%20 limit 120000;
select * from emp group by id%20 order by 5

3.Copying to tmp table on disk

将内存中的临时表复制到磁盘,危险!!!

4.locked

已上锁

四、全局查询日志 4.1 配置启用

在mysql的my.cnf中,设置如下:

#开启general_log=1

#记录日志文件的路径general_log_file=/path/logfile

#输出格式log_output=FILE

4.2 编码启用
命令:
set global general_log = 1;

set global log_output = 'TABLE';

 此后,你所编写的sql语句,将会记录到mysql库里的general_log表,可以用下面的命令查看

select * from mysql.general_log

永远不要在生产环境中开启此功能

视频教程

关注
打赏
1636984416
查看更多评论
立即登录/注册

微信扫码登录

0.0420s