|
|
|
|
移动端

GitLab:因“大脑分裂问题” 5台PostgreSQL 3台彻底趴下

数据库复制故障让五台 PostgreSQL 服务器中的三台彻底趴下。在一起典型的故障事件中,GitLab昨天无意中触发了数据库故障切换,因此降低了性能。

作者:佚名来源:云头条|2018-04-29 18:03

技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战

数据库复制故障让五台 PostgreSQL 服务器中的三台彻底趴下。

在一起典型的故障事件中,GitLab昨天无意中触发了数据库故障切换,因此降低了性能。

由此引发的“大脑分裂问题”让这家代码收集网站试图靠单单一台数据库服务器postgres-02来服务广大用户,同时竭力恢复另外三台数据库服务器。

这个问题最初出现在美国时间周四凌晨1:30左右,因此而来的重构工作仍在继续之中。

GitLab.com的推文内容如下:

由于数据库负载,我们目前正在调查GitLab.com上的性能下降和错误。

意外的故障切换被触发后,亚历克斯•汉塞尔卡(Alex Hanselka)写道,虽然服务器群“继续追随真正的主服务器”,但这起事件显然令人痛苦:

“由于postgres-01是出岔子的主服务器,我们关闭了它。我们在调查时发现,postgres-03和postgres-04都试图追随postgres-01。正因为如此,我在写这个问题单(issue)时,我们正在postgres-03上重构复制内容,完成后又在postgres-04上重构复制内容。”

我们在继续调查GitLab上的性能下降问题。想了解详情,请参阅:https://docs.google.com/document

影响性能的还有备份(由于故障切换之前没有完整的pg_basebackup,所以需要备份);由于Sidekiq集群导致庞大的查询,GitLab只好关闭了该集群。

问题刚出来时就是这个情况:近20个小时后,故障工单还没有完结。

一开始,postgres-03的备份以每小时75GB的速度执行,直到23:00(晚上11点)后才完成。仍有其他数据库任务需要完成,但是从安德鲁•纽迪盖特(Andrew Newdigate)的帖子来看,性能开始恢复正常。

自21:30 UTC以来,持续集成/持续交付(CI/CD)队列恢复常态。现在管道以平常的速度来加以处理。

这里还附有时间表:https://docs.google.com/document

至少备份奏效了:2017年2月,备份故障让数据复制错误雪上加霜:“所以换句话说,在部署的5种备份/复制方法中,没有一个可靠地运行或一开始就设置好。”

在一台登台服务器(staging server)上发现了丢失的数据;作了深刻的反复之后,营销副总裁蒂姆•安格拉德(Tim Anglade)告诉IT外媒The Register,他深知GitLab的重要性,这是“对许多人的项目和公司来说很重要的网站。”

不得不说,切实有效的备份至少表明已汲取了一些经验教训。

【编辑推荐】

  1. 2018 年 4 月全球数据库排名:PostgreSQL 略有下降
  2. 旧 CPU 架构将在 Linux 中失去支持,可节省 50 万行代码
  3. 老码农冒死揭开行业黑幕:如何编写无法维护的代码
  4. Google 的云端数据库 Cloud SQL 开始支持 PostgreSQL
  5. PostgreSQL 万年网站终改版:更现代化且适配移动端
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

精通EJB 3.0

本书是关于EJB 3.0的专业技术教程,专注于EJB的概念、方法、开发过程的介绍。同时,本书还研究许多高端的EJB知识,使得开发者能够真正理解...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊