|
|
51CTO旗下网站
|
|
移动端

记一次生产数据库服务器hang机故障排查,值得借鉴

最近准备对MySQL做优化,修改配置文件后MySQL无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。

作者:佚名来源:波波说运维|2019-07-25 08:30

概述

最近准备对MySQL做优化,修改配置文件后MySQL无法正常启动,猜测是个别参数问题,不过后来发现服务器一直卡死,所以重启了下服务器,也就是这个重启服务器发现了一些很奇怪的现象。

现象

在服务器重启后发现以下问题:执行一些基本命令会hang死。

记一次生产数据库服务器hang机故障排查,值得借鉴

而且发现MySQL进程无法kill掉

记一次生产数据库服务器hang机故障排查,值得借鉴

排查过程

1、查看磁盘、内存

可以发现磁盘、内存都正常

记一次生产数据库服务器hang机故障排查,值得借鉴

2、查看服务器整体情况

在用top命令的时候发现IO存在瓶颈,已经达到98%了

记一次生产数据库服务器hang机故障排查,值得借鉴

3、查看是否有异常用户操作

好吧,都是我的IP地址,那应该是MySQL的问题导致了。

记一次生产数据库服务器hang机故障排查,值得借鉴

4、计划用iotop进一步分析

本来想用iotop来分析具体是哪个进程影响的IO问题,但发现系统之前没装这工具..而目前IO满了,用yum又装不了这工具,只能选择最后一个办法了。

记一次生产数据库服务器hang机故障排查,值得借鉴

5、重启大法

重启前发现之前的配置文件是有点问题的,写了两个[mysqld],修改回正确的配置文件,禁止MySQL开机自动启动,然后重启(注意只能手动重启)。

6、重启后

重启后手动重启MySQL正常。

记一次生产数据库服务器hang机故障排查,值得借鉴
记一次生产数据库服务器hang机故障排查,值得借鉴

问题应该是在这:我之前配置文件不小心写了两个[mysqld],也就是配置文件错误了,但是服务器重启了(MySQL进程是开机自动启动的),然后MySQL进程就处于这种僵死状态,导致磁盘IO一直是满的,改好配置文件后手动重启就可以了。

【编辑推荐】

  1. 超详细的MySQL数据库参数优化,都总结在这里了
  2. 优化体系 | 我是怎么计算MySQL数据库索引长度的?
  3. 如何选择高性能NoSQL数据库
  4. 挑战 Oracle 的全球首个 AI 原生数据库 GaussDB,华为将开源
  5. 服务器挤爆!用GAN生成人像油画火了,带你一秒回到文艺复兴
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

296人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

650人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

视频课程+更多

数据中心之基础设施层技术(VXLAN等)

数据中心之基础设施层技术(VXLAN等)

讲师:郝旺11543人学习过

你必学的SSM实战案例

你必学的SSM实战案例

讲师:齐毅12305人学习过

强哥带你精通OpenStack私有云

强哥带你精通OpenStack私有云

讲师:周玉强9195人学习过

读 书 +更多

Cisco CCNA 640-802题库

Cisco 640-802 Cisco Certified Network Associate (CCNA) Testinside CCNA 640-802 V14 最新题库与Testinside CCNA 640-802 Q&A 192 ...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客