最复杂的数据中心!走进eBay盐湖城Topaz

原创
服务器 数据中心 新闻
我2009年加入eBay时,公司要我负责已经开始筹建的大型数据中心项目,这个项目代号叫做Topaz,这是eBay有史以来对基础设施做的最大一笔投资,我承认这是我遇到过的最复杂的数据中心建设项目。

【51CTO外电头条】我2009年加入eBay时,公司要我负责已经开始筹建的大型数据中心项目,这个项目代号叫做Topaz,预算造价达到了2.87亿美元,这是eBay有史以来对基础设施做的***一笔投资,我承认这是我遇到过的最复杂的数据中心建设项目,在过去14个月中,该项目总共花了1200万工时,但Topaz最重要的部分还不是项目本身,而是它将用来干什么,它将用来托管eBay的核心业务 – ebay.com – 全球***的在线电子商务平台,有超过9000万分布在32个国家的买家和卖家,另外还要托管eBay的支付平台Paypal.com的运营,PayPal是全球***的电子支付平台,有超过8100万注册用户,支持24种货币的支付。2009年,在eBay上销售的商品超过600亿美元,平均每秒销售金额超过2000美元,Topaz不仅是个数据中心,它更象eBay的家。

[[11375]]

图1 eBay威武的Topaz项目

我们的买家和卖家都依赖于数据中心的可靠性,Topaz项目是eBay引擎的关键组成部分,它是eBay所有业务的基石,必须是坚固、稳定和安全的,它应该象防弹装甲一样坚硬无比(51CTO相关阅读:潜入IDC!高级电信机房曝光(图文) )。

2010年5月4日,我们准时完成了Topaz项目,项目也未超支,这是一个值得纪念的日子。新的数据中心位于犹他州盐湖城郊区,采用了容错和并发维护设计,这意味着数据中心的任何部分都可以经受重大事故的冲击,可以保证数据中心的连续运营,在不影响业务的前提下,我们可以对数据中心任何组件进行检修,一切皆有备份,甚至备份本身也还有备份,虽然不会有100%真正防弹的东西,但我们已经将数据中心的可用性提升到***境界。

图2 位于盐湖城郊区的eBay数据中心于2010年5月4日正式开放

许多人都认为花巨资建设具有冗余功能的数据中心有点不值得,不仅前期投入巨大,就连运营阶段的费用也会很惊人,并且整个数据中心可能会变得非常复杂,但事实正好相反,除了负责数据中心的运营外,我还负责支付数据中心的电费,在我们的年度绩效考核目标中,数据中心的能源利用率是一项重要指标。

数据中心除了做到稳定可靠外,能源效率也同等重要,效率低下会直接影响到我的预算,在Topaz项目建设期间,我们与合作伙伴展开了深入细致的合作,Skanska负责建设,RTKL负责设计,另外还有超过40家公司紧密地围绕在一起,共同工作了一年多,在建设高峰时期,有7万名工人实行两班倒参与建设,除合作伙伴外,来自eBay税务、法律、风险、财务、采购、产品开发等部门的超过100位员工也为Topaz的成功做出了卓越的贡献。

我可以非常自豪地宣布,这个项目的所有挑战都被克服了,我们用其它同级数据中心50%的成本,建成了eBay***个具有四级容错的数据中心,在效率上,与其它同级数据中心相比提高了30%,PUE(电源使用效率)设计为1.4,既降低了经济成本,又降低了生态成本,它只会消耗需要的能源,虽然这算不上是PUE***的数据中心,但要实现这种规模的冗余,1.4已经非常不错了。#p#

eBay盐湖城Topaz细节

整个数据中心占地60英亩,分四个阶段建设,***阶段的建筑有三层楼,面积约240,000平方英尺,容纳IT设备的房间面积达到了20,000平方英尺,有三个房间为服务器提供了总负载7.2兆瓦,我们自己的发电站可以提供高达30兆瓦的总发电能力。

四期建设完成后,eBay计划将分布在其它三个州租赁的数据中心整合到一起,以降低运营成本,同时提高可靠性和效率,最重要的是,新的数据中心是可扩展的,我们可以根据公司的成长不断扩大数据中心的规模(51CTO相关阅读:走一路拍一路 闲逛Google数据中心(多图) )。

[[11376]]

图 3 数据中心内部实景

所有设备电压都工作在400V,这意味着我们不用变压器为服务器输送230V的电力,整个电力系统可以获得2%的效率增益,采用模块化的母线管道系统,可以在几分钟内完成容器的改变,在一般的数据中心,这通常需要几天时间。

我们有一个容积为40万加仑的蓄水池收集雨水,并使用了一个节水装置,允许我们使用外部空气制冷,在盐湖城这个地方至少有半年时间可以直接使用户外冷空气制冷,大大降低了制冷成本。此外,我们使用了风扇动态调节技术,可根据计算负载动态调整风扇转速,确保只消耗需要的能源。

我们也使用了独立的热通道设计,将冷热空气进行很好地隔离。支持低于1000瓦的低密度机架,也支持高于3000瓦的高密度机架(相对于披萨饼烤箱的热量)。另外,我们期望Topaz获得美国绿色建筑委员会认证的LEED金牌认证,也算是对我们所做工作的肯定。

前面已经提到,有三个房间容纳IT设备,***间是eBay在线使用,如图3所示,第二间由PayPal使用,第三间留作未来整合使用。#p#

参观新落户的数据中心

eBay为新数据中心落成举行了盛大的Party,下面分享一些照片。

[[11377]]

图 4 Party会场

图 5 象好莱坞明星一样准备了走红地毯秀

[[11378]]

图 6 eBay员工合影

在这个Party上,eBay技术运营副总裁Mazen Rawashdeh,eBay CTO James Barrese发表讲话,强调了Topaz项目对eBay和PayPal的重要性。来自Skanska的关键任务副总裁Jakob Carnemark介绍了该项目的复杂程度,***我带着我们部门的Mike和Greg对施工队伍表示感谢。

[[11379]]

图 7 分享成功

在活动结束后,我们带领所有人员参观了新落成的数据中心,搞笑的是,很多参与这个项目的人都是远程参与的,还没亲自看看它究竟是什么样子。

[[11380]]

图 8 兴致勃勃地参观

[[11381]]

图 9 参观IT设备间

#p#

不可思议的数字

下面是Topaz项目建设中统计出的一组不可思议的数字:

• 超过1200万工时
• 30兆瓦发电站
• 60,000平方英尺IT设备空间
• 长达57英里的地下电力管道
• 地下关键电力设施用掉了2百万磅铜
• 295英里铜电缆网络
• 光缆长度176,000英尺
• 用掉2006吨钢材
• 使用三维计算机建模节省了1千万美元
• 超过20万个测量点,细到了每个服务器的电源插头

[[11382]]

图 10 数据中心外景

[[11383]]

图 11 户外制冷和发电装置

这仅仅是一期建设的成果,请继续关注我们的下一期工程吧!

【51CTO.com译稿,合作站点转载请注明原文译者和出处。】

原文:EBay’s flagship data center is open for business in Utah 作者:geekism

【编辑推荐】

  1. 潜入IDC!高级电信机房曝光(图文)
  2. 走一路拍一路 闲逛Google数据中心(多图)
  3. 汗!新数据中心竟用大便发电(附图慎入) 
责任编辑:景琦 来源: 51CTO
相关推荐

2016-11-28 11:36:24

戴尔

2012-11-12 11:07:00

网络宽带

2009-05-13 09:11:18

eBay温哥华裁员

2012-07-04 11:35:30

2018-08-22 08:36:19

数据中心运维数据

2013-09-29 10:02:38

ebay燃料电池数据中心

2012-01-17 09:12:54

eBay数据中心PUE

2011-07-18 09:06:32

eBay数据中心太阳能

2013-04-07 09:59:00

虚拟化数据中心

2010-03-04 11:29:12

eBay数据中心

2015-05-18 18:22:29

Rackspace数据中心

2015-10-08 14:21:01

数据中心技能

2021-09-16 14:28:12

数字化

2014-12-24 10:47:20

施耐德绿色数据中心

2017-06-23 16:43:12

数据中心服务器存储

2010-09-02 13:21:46

2015-03-06 17:29:36

JavaScriptAngular 2

2009-10-20 10:14:00

数据中心备份

2015-11-27 10:37:10

数据中心地下数据中心

2013-07-29 14:08:17

亚马逊苹果谷歌
点赞
收藏

51CTO技术栈公众号