走進eBay鹽湖城Topaz
【51CTO外電頭條】我2009年加入eBay時，公司要我負責已經開始籌建的大型數據中心項目，這個項目代號叫做Topaz，預算造價達到了2.87億美元，這是eBay有史以來對基礎設施做的最大一筆投資，我承認這是我遇到過的最複雜的數據中心建設項目，在過去 14個月中，該項目總共花了1200萬工時，但Topaz最重要的部分還不是項目本身，而是它將用來幹什麼，它將用來託管eBay的核心業務 – ebay.com – 全球最大的在線電子商務平台，有超過9000萬分佈在32個國家的買家和賣家，另外還要託管eBay的支付平台Paypal.com的運營，PayPal 是全球最大的電子支付平台，有超過8100萬註冊用戶，支持24種貨幣的支付。2009年，在eBay上銷售的商品超過600億美元，平均每秒銷售金額超過2000美元，Topaz不僅是個數據中心，它更像eBay的家。 
圖1 eBay威武的Topaz項目
我們的買家和賣家都依賴於數據中心的可靠性，Topaz項目是eBay引擎的關鍵組成部分，它是eBay所有業務的基石，必須是堅固、穩定和安全的，它應該像防彈裝甲一樣堅硬無比。
2010年5月4日，我們準時完成了Topaz項目，項目也未超支，這是一個值得紀念的日子。新的數據中心位於猶他州鹽湖城郊區，採用了容錯和並發維護設計，這意味著數據中心的任何部分都可以經受重大事故的衝擊，可以保證數據中心的連續運營，在不影響業務的前提下，我們可以對數據中心任何組件進行檢修，一切皆有備份，甚至備份本身也還有備份，雖然不會有100%真正防彈的東西，但我們已經將數據中心的可用性提升到最高境界。
圖2 位於鹽湖城郊區的eBay數據中心於2010年5月4日正式開放
許多人都認為花巨資建設具有冗餘功能的數據中心有點不值得，不僅前期投入巨大，就連運營階段的費用也會很驚人，並且整個數據中心可能會變得非常複雜，但事實正好相反，除了負責數據中心的運營外，我還負責支付數據中心的電費，在我們的年度績效考核目標中，數據中心的能源利用率是一項重要指標。
數據中心除了做到穩定可靠外，能源效率也同等重要，效率低下會直接影響到我的預算，在Topaz項目建設期間，我們與合作夥伴展開了深入細緻的合作，Skanska負責建設，RTKL負責設計，另外還有超過40家公司緊密地圍繞在一起，共同工作了一年多，在建設高峰時期，有7萬名工人實行兩班倒參與建設，除合作夥伴外，來自eBay稅務、法律、風險、財務、採購、產品開發等部門的超過100位員工也為Topaz的成功做出了卓越的貢獻。
我可以非常自豪地宣佈，這個項目的所有挑戰都被克服了，我們用其它同級數據中心50%的成本，建成了eBay第一個具有四級容錯的數據中心，在效率上，與其它同級數據中心相比提高了30%，PUE（電源使用效率）設計為1.4，既降低了經濟成本，又降低了生態成本，它只會消耗需要的能源，雖然這算不上是 PUE最低的數據中心，但要實現這種規模的冗餘，1.4已經非常不錯了。
eBay鹽湖城Topaz細節
整個數據中心佔地60英畝，分四個階段建設，第一階段的建築有三層樓，面積約240，000平方英呎，容納IT設備的房間面積達到了20，000平方英呎，有三個房間為服務器提供了總負載7.2兆瓦，我們自己的發電站可以提供高達30兆瓦的總發電能力。
四期建設完成後，eBay計劃將分佈在其它三個州租賃的數據中心整合到一起，以降低運營成本，同時提高可靠性和效率，最重要的是，新的數據中心是可擴展的，我們可以根據公司的成長不斷擴大數據中心的規模。
圖 3 數據中心內部實景
所有設備電壓都工作在400V，這意味著我們不用變壓器為服務器輸送230V的電力，整個電力系統可以獲得2%的效率增益，採用模塊化的母線管道系統，可以在幾分鐘內完成容器的改變，在一般的數據中心，這通常需要幾天時間。
我們有一個容積為40萬加侖的蓄水池收集雨水，並使用了一個節水裝置，允許我們使用外部空氣製冷，在鹽湖城這個地方至少有半年時間可以直接使用戶外冷空氣製冷，大大降低了製冷成本。此外，我們使用了風搧動態調節技術，可根據計算負載動態調整風扇轉速，確保只消耗需要的能源。
我們也使用了獨立的熱通道設計，將冷熱空氣進行很好地隔離。支持低於1000瓦的低密度機架，也支持高於3000瓦的高密度機架（相對於披薩餅烤箱的熱量）。另外，我們期望Topaz獲得美國綠色建築委員會認證的LEED金牌認證，也算是對我們所做工作的肯定。
前面已經提到，有三個房間容納IT設備，第一間是eBay在線使用，如圖3所示，第二間由PayPal使用，第三間留作未來整合使用。
參觀新落戶的數據中心
eBay為新數據中心落成舉行了盛大的Party，下面分享一些照片。
圖 4 Party會場
圖 5 象好萊塢明星一樣準備了走紅地毯秀
圖 6 eBay員工合影
在這個Party上，eBay技術運營副總裁Mazen Rawashdeh，eBay CTO James Barrese發表講話，強調了Topaz項目對eBay和PayPal的重要性。來自Skanska的關鍵任務副總裁Jakob Carnemark介紹了該項目的複雜程度，最後我帶著我們部門的Mike和Greg對施工隊伍表示感謝。
圖 7 分享成功
在活動結束後，我們帶領所有人員參觀了新落成的數據中心，搞笑的是，很多參與這個項目的人都是遠程參與的，還沒親自看看它究竟是什麼樣子。
圖 8 興致勃勃地參觀
圖 9 參觀IT設備間
不可思議的數字
下面是Topaz項目建設中統計出的一組不可思議的數字：
•超過1200萬工時
•30兆瓦發電站
•60，000平方英呎IT設備空間
•長達57英里的地下電力管道
•地下關鍵電力設施用掉了2百萬磅銅
•295英里銅電纜網絡
•光纜長度176，000英呎
•用掉2006噸鋼材
•使用三維計算機建模節省了1千萬美元
•超過20萬個測量點，細到了每個服務器的電源插頭
圖 10 數據中心外景
圖 11 戶外製冷和發電裝置
這僅僅是一期建設的成果，請繼續關注我們的下一期工程吧！
【51CTO.com譯稿，合作站點轉載請註明原文譯者和出處。】
|