位置: 编程技术 - 正文

MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢)

编辑:rootadmin

推荐整理分享MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql in慢,mysql开启慢sql,mysql join 慢,mysql 速度慢,mysql in慢,mysql一条数据在多少kb,mysql慢sql优化五个原则,mysql慢sql优化五个原则,内容如对您有帮助,希望把文章链接给更多的朋友!

直接切入正题吧:

通常来说,我们看到的慢查询一般还不致于导致挂站,顶多就是应用响应变慢不过这个恰好今天被我撞见了,一个慢查询把整个网站搞挂了先看看这个SQL张撒样子:

# Query_time: . Lock_time: 0. Rows_sent: Rows_examined: Rows_affected: 0# Bytes_sent: use js_sku;SET timestamp=;SELECT ss_id, ss_sa_id, ss_si_id, ss_av_zid, ss_av_fid, ss_artno,ss_av_zvalue, ss_av_fvalue, ss_av_zpic, ss_av_fpic, ss_number,ss_sales, ss_cprice, ss_price, ss_stock, ss_orderid, ss_status,ss_add_time, ss_lastmodifyFROM js_sgoods_skuWHERE ss_si_id = 0 AND ss_status > 0ORDER BYss_orderid DESC, ss_av_fid ASC;这里贴出来的就是 mysql slow log 的信息,查询时间用了高达 s!!看到慢查询我们一般第一反应是这个 语句没有用到索引? 或者是索引不合理么? 那我们会去看看执行计划:

mysql> explain SELECT -> ss_id, ss_sa_id, ss_si_id, ss_av_zid, ss_av_fid, ss_artno,-> ss_av_zvalue, ss_av_fvalue, ss_av_zpic, ss_av_fpic, ss_number,-> ss_sales, ss_cprice, ss_price, ss_stock, ss_orderid, ss_status,-> ss_add_time, ss_lastmodify-> FROM js_sgoods_sku-> WHERE ss_si_id = 0 AND ss_status > 0-> ORDER BY-> ss_orderid DESC, ss_av_fid ASC;+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+| 1 | SIMPLE | js_sgoods_sku | ref | ss_si_id | ss_si_id | 4 | const | | Using where; Using filesort |+----+-------------+---------------+------+---------------+----------+---------+-------+---------+-----------------------------+1 row in set (0. sec)

这个看起来似乎用到了索引,可是为什么扫描到行还是这么多呢? 那我们就去看看表结构了,期望能从中找到点有价值的东西:我们看到如下可用信息:KEY `ss_si_id` (`ss_si_id`,`ss_av_zid`,`ss_av_fid`) USING BTREE,`ss_si_id` int() unsigned NOT NULL DEFAULT '0' COMMENT '对应js_sgoods_info.si_id',

我们看到 索引似乎还能比较能够接受,但是我们看到 这个 ss_si_id 这个字段实际上是 goods_info 表的主键,也就是说它的离散程度应该是很大的,也就是区分度很大。其实到这一步我们基本上可以认为 是由于我们这个表里边有很多 ss_si_id=0 导致,不过我们可以进一步的来证实我们的猜想:

1. 首先我们可以先确定我们的统计信息没有问题2. 其次我们再count ss_si_id=0 的这个值有多少数据,来进一步验证我们的猜想。

那么我们先查看以下这个索引的统计信息:xiean@localhost:js_sku ::>show index from js_sgoods_sku;+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| js_sgoods_sku | 0 | PRIMARY | 1 | ss_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 1 | ss_si_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 2 | ss_av_zid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 3 | ss_av_fid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | IDX_ | 1 | ss_sa_id | A | | NULL | NULL | | BTREE | | |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

那么可以看到以下问题:我们的ss_si_id 这个字段并没有我们表面上看到的 因为关联了某个表的主键,它的Cardinality 值就应该接近于 PRIMARY 的值。而是差别比较大的,难道是 索引的统计信息不准确? 那我们尝试重新收集下索引的统计信息:xiean@localhost:js_sku ::>analyze table js_sgoods_sku;+----------------------+---------+----------+----------+| Table | Op | Msg_type | Msg_text |+----------------------+---------+----------+----------+| js_sku.js_sgoods_sku | analyze | status | OK |+----------------------+---------+----------+----------+

but ,我们再次查看 这些索引的统计信息:xiean@localhost:js_sku ::>show index from js_sgoods_sku;+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+| js_sgoods_sku | 0 | PRIMARY | 1 | ss_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 1 | ss_si_id | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 2 | ss_av_zid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | ss_si_id | 3 | ss_av_fid | A | | NULL | NULL | | BTREE | | || js_sgoods_sku | 1 | IDX_ | 1 | ss_sa_id | A | | NULL | NULL | | BTREE | | |+---------------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

我们可以看到 ss_si_id 的离散程度(Cardinality) 没有增加反而有向下波动的趋势,因为这个信息是采集部分页的来的,而每个页上边数据分布是不一样的,导致我们这个索引收集的统计信息就回有所变化。

MySQL的一条慢SQL查询导致整个网站宕机的解决方法(mysql join 慢)

好吧,到这里我们可以认为我们的 统计信息没有失效,那么我们就看数据的分别情况咯:

+--------------++----------++------------------+| ss_si_id=0; || count(*) || / |+--------------++----------++------------------+| || || 0. |+--------------++----------++------------------+

额,不看不知道,一看吓一跳:我们这个表里边 存在有大量的 ss_si_id=0 的情况,占了整个表数据量的 % !!!

好吧问题找到了,那么接下来我们需要知道,为什么这个SQL语句会导致挂站呢?

我们通过观看应用程序服务器的监控看到一些信息:我们的 goods_service 这个服务异常:异常情况如下:

1. cpu 长期占用% + 2. jstatck pid 无法dump 内存堆栈信息,必须强制dump -F3. dump 出来的内存信息发现,这个进程里边所有线程 均处于 BLOCKED 状态4. 通过jstat -gcutil 看到 FGC 相当频繁,s左右就FGC一次5. 内存占用超过了分配的内存

那么最终的原因就是因为上边的慢查询 查询了大量数据(最多有w行数据),导致goods_service 内存暴涨,出现服务无法响应,进一步的恶化就是挂占

OK,知道了为什么会挂占,那么我们是如何解决这个问题的呢?既然我们知道是由于查询了 ss_si_id=0 导致的,那么我们屏蔽掉这个SQL不就好了么。屏蔽的办法可以有多种:1. 我们程序逻辑判断一下这类型的 查询 如果 有查询 ss_si_id=0 的一律封杀掉2. 我们改改SQL配置文件,修改SQL语句

我们发现DB服务器上存在大量的 这个慢查询,而且DB服务器负载已经从 0.xx 飙升到了 + 了,随之而来的连接数也飙升的厉害, 如果再不及时处理,估计DB服务器也挂掉了

那么我们最终采取以下处理办法:1.运维配合研发修改SQL语句 我们在这个WHERE 条件中添加了一个条件: AND ss_si_id <> 0 ,在MySQL之行计划层屏蔽掉此SQL;2.DBA 开启kill 掉这个查询语句,避免DB服务器出现down机的情况,当然这个就用到了我们的 pt-kill 工具,不得不说这个工具相当好用

总结(经验与教训):1.类似这种查询 default 值的 SQL ,我们应该从源头上杜绝这类查询2.限制查询结果集大小,避免因查询结果集太大导致服务死掉

MySQL复制出错 Last_SQL_Errno:的解决方法 背景:我们在做数据迁移或者拆分的时候,使用Tablespacetranscation这种解决方案时,很有可能就会遇到从库复制出错,报:Last_SQL_Errno:那么具体错误内

MySQL 常见数据拆分办法 在生产环境中,由于业务的增长或者业务的拆分,DBA经常需要拆库操作。那么我们常见的拆库手段有哪些呢?我这里提供几种解决办法:1.使用mysqldump把

MYSQL数据库数据拆分之分库分表总结 数据存储演进思路一:单库单表单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。

标签: mysql join 慢

本文链接地址:https://www.jiuchutong.com/biancheng/347916.html 转载请保留说明!

上一篇:mysql数据库 主从复制的配置方法(mysql数据库主从数据不一致)

下一篇:MySQL复制出错 Last_SQL_Errno:1146的解决方法(mysql复制命令)

  • 下半年房产税缴纳时间
  • 坏账损失核算的两种方法
  • 购买厨房用品属于什么费用
  • 个体工商户每月需要申报个税吗
  • 利润表没有其他业务收入
  • 销售货物代垫的运费发生的增值税
  • 企业所得税汇算清缴补缴税款分录
  • 一般纳税人收到专票怎么做分录
  • 无偿捐赠设备该如何做账务处理呢?
  • 工程服务预交税款怎么账务处理?
  • 收到应收的货款的会计分录
  • 进货费用会计科目
  • 公司多久不做账会被注销?
  • 非正常原因导致的存货盘亏或毁损非正常原因是哪些
  • 职工伙食团食谱
  • 零售产品的进项税怎么算
  • 出口退税收入凭证怎么填
  • 慰问金怎么入账科目
  • 汽车销售公司买车后续维修保养
  • 物流公司转包出售合法吗
  • 为生产产品而领用材料的实际成本应计入什么账户的借方
  • 跨月发票作废怎么红冲
  • 什么是会计凭证?会计凭证有哪些作用?
  • 笔记本低电量提示
  • 个人劳动供给曲线图
  • 合并报表六大抵消分录通俗理解
  • 固定资产改扩建过程中,发生的人工费用
  • 银行存款调账怎么调
  • 第一启动盘设置为u盘
  • mac补丁安装步骤
  • php中字符串函数
  • 公司交会费有什么用
  • 零代码开发工具
  • 同业拆入属于哪个行业
  • 企业租房费用可以计入成本吗
  • 抵免法的缺点主要有以下几点
  • 伏尔塔瓦河上的纤夫
  • 使用php进行mysql数据库编程的基本步骤
  • 企业所得税按季还是按年
  • 专家坐诊信息
  • web前端 css
  • cv计算机视觉定义
  • jquery获取值的几种方法
  • openprop教程
  • 帝国cms怎么调用文章随机段落
  • java一天速成
  • 帝国cms php8.0
  • 织梦如何给栏目增加缩略图
  • 利息支出是利息费用减利息收入吗
  • 主营业务成本借贷方向增减
  • 借款可以抵扣企业所得税
  • 去年购进的货物怎么做账
  • 记账凭证摘要的填写要求有
  • 营改增无形资产
  • 主营业务成本账户属于什么账户
  • 车辆检验收费
  • 如何收信用卡付款
  • 查账征收与核定征收在哪里看
  • 银行存款会计分录需要输入哪些内容
  • 工会经费补缴的流程
  • 账户分类的作用是什么
  • 出口货物退货的原因
  • mysql格式化日期yyyy/mm/dd
  • win8 开机
  • solaris教程
  • windows 进程管理
  • linux解释
  • 苹果mac怎么查看运行数据
  • 如何解决win7系统中鼠标键盘不能用
  • linux系统怎么弄
  • 主流安卓开发
  • android sdk platform要安装吗
  • [置顶] 《借.住.情.缘》
  • jquery焦点
  • IE、FF、Chrome浏览器中的JS差异介绍
  • js插件推荐
  • python 上传文件到ftp
  • javascript编程技术
  • jquery中有几种方法可以来设置和获取样式
  • 契税纳税申报表在哪里拿
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设