MYSQL prefer_order_index 的罪责

news/2024/7/9 20:32:51 标签: mysql, 数据库, sql, mybatis, postgresql

c2426cf8cf4a93edbe1d7594593fef82.png

开头还是介绍一下群,如果感兴趣polardb ,mongodb ,sql>mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共700多人左右 1 + 2)。

最近我们在使用MYSQL 8 的情况下(8.025) 在数据库运行中出现一个问题 参数prefer_order_index 的问题, 熟悉 MYSQL的同学看到这个参数估计都是恨的牙根痒痒,这个参数的想法是好的,仅仅是限于想法是好的。

数据库中的优化器的工作就是选择更好的执行的方式来将SQL语句给出最好的方案来执行,那么评估一个SQL的好坏的方式就是代价cost 最小或者尽可能的小, cost 小了,则我们可以认为是  IOPS, CPU 的消耗都会减少,这就是我们希望看到的。

那么怎么能这样,回答可能是扫描的行数要少,那么用这个思路我们串一下。

MYSQL的优化器判断语句执行路径---- 评判执行计划的COST---- 扫描的行数少----成本低---  推出执行计划

2050becd8ac376f8dd8605c51796c118.png

所以这期就的说说在这样的优化思路下的 prefer_order_index 的参数在MYSQL 8 默认开启后的问题。 

4d832a7d4b3c84cca08e5f807a07941b.png

这个参数如果大家细心的情况下,在我们的MYSQL 5.7 也有这个参数,而且这个参数是关闭的见上图。先说说这个参数的历史,这个参数是在 MYSQL5.7.33 版本上产生的,目的就是为了要提高整体的SQL 在运行ORDER BY  LIMIT  GROUP BY 时,可以选择有序索引提高数据排序的的速度和 提高语句执行的效率。但是基于一贯的风格,这个参数虽然在MYSQL 5.7.33 中推出但默认是关闭的所以当时的使用这个版本的应用并未受到影响,而这个参数发布的版本也是MYSQL5.7 最靠后的版本,所以这边版本本身就使用的人少。

而后到了MYSQL8.X 这个参数得到了进化,除了对ORDER BY 和 GROUP BY 进行优化的后,还加入了 limit  的考虑的元素, 并且这个一开始的设定就是参数开启的状态,这个参数实际上在 8.021 的这个版本上重新启用了,并且一开始默认是开启的,这样一搞,就出现很多的SQL 运行时的故障。

我们看下面这个例子

a16da0531a4ba4d820d36117ad17d869.png

一个1000万的表,然后我们有相关的主键和索引,我们对这个表发起下面的查询方式。

3706d40e1d27b4c0d89526d2568da1c9.png

在打开这个参数后,用下面的语句来进行运算,则

sql>mysql> set optimizer_switch = "prefer_ordering_index=on";

Query OK, 0 rows affected (0.00 sec)

sql>mysql> select * from t_user where age >= 20 and age < 50 order by id limit 10;

5144daad3c5b03538c885dd764dc7993.png

sql>mysql> set optimizer_switch = "prefer_ordering_index=off";

Query OK, 0 rows affected (0.00 sec)

sql>mysql> select * from t_user where age >= 20 and age < 50 order by id limit 10;

28e6b91873b89b9aab7f31b8774f30bd.png

这里明显的结果是打开这个参数后,运行的结果会很快给出,但是关闭后,性能会较低。

所以在这样的情况下,可以证明打开对于数据查询的性能是有提高的,但是如果我们针对一些特殊的场景来看,这个参数打开后,会导致同一个SQL 部分SQL 稍许变动后,导致的执行计划不稳定的情况。

a25429ff968ed7363e661be3415e9441.png

sql>mysql> set optimizer_switch = "prefer_ordering_index=on";

Query OK, 0 rows affected (0.00 sec)

sql>mysql

sql>mysql

sql>mysql> explain select * from t_user where age > 20 and age < 22 order by id  limit 10,20;

+----+-------------+--------+------------+-------+---------------+---------+---------+------+------+----------+-------------+

| id | select_type | table  | partitions | type  | possible_keys | key     | key_len | ref  | rows | filtered | Extra       |

+----+-------------+--------+------------+-------+---------------+---------+---------+------+------+----------+-------------+

|  1 | SIMPLE      | t_user | NULL       | index | idx_age       | PRIMARY | 8       | NULL |  604 |     4.96 | Using where |

+----+-------------+--------+------------+-------+---------------+---------+---------+------+------+----------+-------------+

1 row in set, 1 warning (0.00 sec)

sql>mysql> explain select * from t_user where age > 20 and age < 22 order by id  limit 10000,10010;

+----+-------------+--------+------------+-------+---------------+---------+---------+------+-------+----------+---------------------------------------+

| id | select_type | table  | partitions | type  | possible_keys | key     | key_len | ref  | rows  | filtered | Extra                                 |

+----+-------------+--------+------------+-------+---------------+---------+---------+------+-------+----------+---------------------------------------+

|  1 | SIMPLE      | t_user | NULL       | range | idx_age       | idx_age | 2       | NULL | 49484 |   100.00 | Using index condition; Using filesort |

+----+-------------+--------+------------+-------+---------------+---------+---------+------+-------+----------+---------------------------------------+

1 row in set, 1 warning (0.00 sec)

而在MYSQL 曾经提交的BUG 中也有这个部分的身影,所以 prefer_order_index 的参数是一个双刃剑,如果你打开了这个参数,那么如果你发现一些语句突发性的变慢,不要慌张,先看看是不是这个参数打开导致的问题,尤其是 order by  limit 的SQL。

如果你想更清楚问题可以查找下面的两个BUG  OF MYSQL 

  • Bug#74602: Optimizer prefers wrong index because of low limit

  • Bug#78612: Optimizer chooses wrong index for ORDER BY

912f28ffca504096ddf142b6e0638b8d.png


http://www.niftyadmin.cn/n/267531.html

相关文章

线性结构的存储类型

线性结构的存储类型 顺序标&#xff1a;顺序标就是数组&#xff0c;也成为向量vector、高维向量及称为张量即tensor 链表&#xff1a;单链表、双链表、循环链表 线性表概念 表目、文件、索引、表的长度、空表 线性表由节点表和关系表组成二元组&#xff1b; 节点集由有限的…

人工智能实践: 基于T-S 模型的模糊推理

模糊推理是一种基于行为的仿生推理方法, 主要用来解决带有模糊现象的复杂推理问题。由于模糊现象的普遍存在, 模糊推理系统被广泛的应用。模糊推理系统主要由模糊化、模糊规则库、模糊推理方法以及去模糊化组成, 其基本流程如图1所示。

凝心聚力,携“源”出海:开源社顾问委员会2023年第一季度会议圆满举办!

2023 年 3 月 25 日&#xff0c;开源社顾问委员会&#xff08;以下简称"顾问委员会"&#xff09;第一季度会议在北京圆满召开。这是顾问委员会自 2018 年成立以来的第 17 次全体委员会议。 为增进顾问委员会成员交流&#xff0c;加强开源社社区建设&#xff0c;实现开…

易观千帆 | 金融机构如何保证用户体验长期可持续?

易观&#xff1a;用户体验正逐渐成为金融机构的命脉。 数字经济时代的到来&#xff0c;金融机构面临着来自内部和外部的双重压力。一方面&#xff0c;互联网金融企业凭借强大的技术能力以及人才优势&#xff0c;通过互联网运营的模式迅速响应客户需求&#xff0c;吸引了大量用户…

【深进1.例1】求区间和

题目描述 给定 n个正整数组成的数列 $a_1, a_2, \cdots, a_n和 m 个区间 [l_i,r_i]&#xff0c;分别求这 m 个区间的区间和。 输入格式 共 nm2 行。 第一行&#xff0c;为一个正整数 n 。 第二行&#xff0c;为 n 个正整数 a_1,a_2, \cdots ,a_n 第三行&#xff0c;为一个…

以轻量级服务器niginx为核心的JavaWeb项目:第一章 项目设计

这里写目录标题 一 需求分析与环境搭建1.需求分析2.环境搭建1.2.1首先配置mysql环境1.2.2 配置maven环境 二 打成War包&#xff0c;发到linux上 一 需求分析与环境搭建 1.需求分析 2.环境搭建 1.2.1首先配置mysql环境 先查找一下mysql环境 [roothadoop122 ~]# mysql --vers…

英语PDF好书总结

1-3-365天英语口语大全&#xff08;日常口语&#xff09;.pdf https://download.csdn.net/download/wange6906/21624184 2-365天英语口语大全&#xff08;旅游英语&#xff09;.pdf https://download.csdn.net/download/wange6906/21624184 3-365天英语口语大全&#xff08;…

显卡GPU与CUDA

文章目录 1 什么是GPU1.1 独立显卡1.2 核心显卡 2 驱动3 深度学习显卡CUDA4 GPU VS CPU5 深度学习环境配置中各软件的关系6 windows下判断有无NVIDIA GPU7 16G512G8 8核14核 1 什么是GPU GPU就是显卡Graphics Processing Unit 图像处理单元显卡主要用于在屏幕上显示图像&#…