安全可靠,一直是數據中心最關鍵的兩個指標,數據中心行業(yè)最主流最權威的兩個標準機構UPTIME 和 TIA942將數據中心的安全可靠性等級分為4級,從Tier1~Tier4。T4表示可用性等級為4個9,即99.99%,按照業(yè)內4小時故障修復的標準,T4級別的數據中心約45年才有1次宕機的可能。所有系統均達到容錯級別。因為造價昂貴,目前全球達到T4級別的數據中心屈指可數。由于T4數據中心有嚴格的審核標準,因此有些高等級數據中心(絕大部分是金融業(yè)數據中心)雖然是按照T4的架構設計,但并沒有得到T4的認證。而在國內,通信運營商的大型IDC,大多數連T3都不能達到。業(yè)內最高等級的IDC,一般會參考Tier3的架構設計。
Tier3,Tier4等級的數據中心之所有難以達到,主要是因為T3,T4不僅僅對設備的冗余有具體的規(guī)定,還對管線路由的冗余的要求更加嚴格,這要求數據中心必須在建筑和結構設計階段就要考慮,否則難以符合要求?,F階段開始建設的國內大型數據中心,很多雖然從建筑規(guī)劃階段就遵循高等級數據中心的要求,但是到具體的細節(jié)上會和國內有關規(guī)范沖突,比如高壓的操作規(guī)程,后備柴油儲量的要求,等等使得業(yè)主最后無法完全按照國際標準去建設高等級的數據中心。
相對于國際規(guī)范,國內的《GB-50174 電子計算機機房設計規(guī)范》,主要在設備和系統的冗余上進行規(guī)定,對管線路由的要求相對放松。在國內大部分的高等級數據中心也都能達到有關標準。
相對于國際的4級標準,國內采用ABC三級標準,而3級標準的定義是采用數據中心宕機造成的影響程度來區(qū)分的:造成全國性影響的,為A級;造成地區(qū)性影響的,為B級,造成局部影響的為C級。按照這個標準,凡是業(yè)務范圍覆蓋全國的公司總部數據中心,必須按照A級標準建設。而地區(qū)分公司的數據中心機房,必須按照B級標準建設;而網點門店這些終端的數據中心,采用C級標準建設。
國標A級數據中心的建設標準,在系統和設備的配置上,基本和國際T4等級對應的,除了柴油發(fā)電機,所有系統和設備均為2N或N+2的冗余度要求。國標B級基本上和國際的T2等級對應。國標C級,基本是和國際T1等級對應。因此對于大部分數據中心遵循的Tier3等級標準,國標是沒有相對應的等級的。Tier3和國標A最大的差異在于對UPS系統的配置上,國標A級要求UPS系統采用2N雙總線的架構,而Tier3只要求滿足可在線維護不影響業(yè)務生產,具體采用何種架構,可以有很多選擇方案。
這是一個符合T4架構和國標A級架構的數據中心高低壓配電系統方案,從入戶線路到高壓柜、柴油發(fā)電機、變壓器、低壓柜,所有的系統基本為N+N的對稱冗余方式。由于很多地方的供電局不允許高壓柴油發(fā)電機自動切換,因此在實際設計中會采用手動切換。另外,不管是T4還是國標A級,對空調設備的供電都是要求雙路星型敷設到最末端進行切換,其中一路必須有應急用電,在實際的案例中,由于線路復雜增加了操作維護難度,絕大部分的業(yè)主會放棄。
這是一個符合國標A級和國際T3等級數據中心空調架構系統方案。冷凍機組如果采用N+1,只能滿足國標B級標準,但在早期低容量階段,可按N+2評估滿足國標A級。實際上國內數據中心建設一般容量很大,實際負載很小,這一點上基本沒問題。
這個方案中的冷凍水管采用環(huán)形回路設計,是目前國內數據中心建設常用的一個方案,相對于2N的冗余管路,在末端只需采用單盤管的精密空調進行N+2的配置就能滿足要求。但這個方案設計還必須有個前提:就是在空調主管路上,每個精密空調之間必須設置電動閥,防止故障發(fā)生時候可隨時隔離故障區(qū)域。這一點,在實施中很多忽略,導致這樣的設計方案并沒有產生真正的高可用性。
綜上所述,可以看到,國內大型的數據中心建設,真正達到國標A級的和國際Tier3等級的非常稀少。目前真正通過國標A級認證的只有3個數據中心,通過國際Tier3以上施工認證的還沒有,國內目前有的Tier3等級認證,都是設計認證。實際施工情況如何,以國內的施工單位素質,你懂的。
對于電信運營商的IDC,絕大部分為了節(jié)能減排,過去幾年采用各種創(chuàng)新設計,連溫濕度都無法滿足要求。
對于企業(yè)數據中心來說,絕大部分客戶對外圍配套系統的設計施工沒有話語權,因此只能在有話語權的機房以內嚴格要求。
這是一個典型的國內數據中心機房內配電方案: 兩套UPS系統,兩路獨立的配電柜和電纜系統,一直到機柜內兩個獨立的PDU。冗余度達到國際T4和國標A級標準。機房外不可控,機房內加強,這是國內數據中心主管部門(一般是IT部門)的主流做法。也是比較實用的做法。這一點,對于我們中小型數據中心的建設者,尤其值得參考。
說到數據中心建設,這是一個典型的路線圖,從規(guī)劃咨詢、設計施工、驗收交付,大型數據中心整個建設周期一般2-3年,中小型數據中心一般1-2年。有的數據中心光選址、審批、立項,就要花掉好幾年時間。
在整個數據中心建設周期內,企業(yè)IT部門和基建、設計院、施工單位、政府審批單位、各種部門打交道,費時費力,有的企業(yè)IT部門更是需要專門成立一個團隊來完成這個任務。
作為一個追求效益的企業(yè),把IT人員從業(yè)務中調出來去做不熟悉的基建項目,這絕對不是一個好的做法。
但是到目前位置,也沒有其他辦法,只能這么辦。
既然只能這么辦,就讓我們來看看一個企業(yè)IT部門建設一個數據中心,需要考慮哪些事情:
這個一個典型的數據中心建設項目需要考慮的內容,除了之前說過的供電系統和制冷系統,還有綜合布線,環(huán)境監(jiān)控,消防系統柜,防雷接地,機房裝修,機柜微模塊等。
事實上,這些系統在專業(yè)的基建行業(yè),也是一個系統一個專業(yè)負責人,比如設計院:電氣和制冷肯定是需要2個單獨的人來做的,沒有人既設計電氣又暖通,也找不到這樣的人,裝修和環(huán)控又是另外2個人,消防系統雖然也算弱電,但由于行業(yè)特殊性也是專門1個人來做,最多防雷接地會由電氣來兼。很多項目不會配綜合布線和機柜微模塊的人,因為這兩個專業(yè)比較新,一般的設計院和施工單位不懂,大多數是廠家提供圖紙。
就這樣一個有這么多專業(yè)人員組成的復雜基建項目,我們企業(yè)IT部門作為最終使用單位委派1-2個人,去和這些工地佬打交道,最終項目的結果可想而知。
就過去的情況來看,只有三大運營商、六大銀行、民營IDC和BAT ,在建設了N個數據中心,吃了N多個虧之后,越來越有經驗,數據中心建設得越來好。
這些有經驗的數據中心建設企業(yè),在場地選址、架構規(guī)劃、建筑設計、機電施工、驗收交付,一般已經形成了企業(yè)自己的一整套標準。
這些標準一般一般分為兩類:一類是互聯網IDC,一類是企業(yè)數據中心。互聯網IDC相對等級較低(但是國內的比較怪,很多IDC等級很高),企業(yè)數據中心等級較高。
高等級的數據中心在各個行業(yè)的標準也大致相同。
最后,還有一個核心問題,這么費時費力費心,那么建設一個高等級的數據中心究竟要花多少錢?
這是國內一個按照T4架構規(guī)劃的高密度數據中心,具體地址在上海。平均每個機柜的造價28萬元,按照IT設備用電容量,每個KW的造價師3.9萬元。
一般來說,T3等級的數據中心造價是T4等級的65%。可以估算,T3等級的數據中心單機柜和單KW的建設費用在18萬和3.2萬。
這些數據在每個企業(yè)還有差異。比如金融行業(yè)一般選進口設備,造價會比較高,IDC一般會選國產設備,造價會稍微低。
另外,單位造價和建設規(guī)模也有關系,規(guī)模越大,單位造價越低,規(guī)模越小單位造價更高。一般來說,1000個機柜以下的數據中心不適合建設高等級數據中心,因為分攤造價太高。
銀行業(yè)因為對系統的安全可靠性要求更高,維護人員也相對缺乏,因此選擇更好的設備滿足要求。IDC一般有專業(yè)團隊維護,考慮成本的因素多過安全可靠性。
數據中心行業(yè)還有另一部分企業(yè),沒有專業(yè)的數據中心建設團隊,一般是IT人員兼職負責數據中心建設,但是整個建設周期和建設內容并不會減少,IT人員甚至更加費心費力。
這一類中心型數據中心,最好建成什么樣子,讓我們來看看:
這幾張圖片是典型的中小型數據中心的現狀,主要面臨的問題:
1,沒有規(guī)劃,機房占用面積大
2,無專業(yè)施工隊伍,安全隱患多。
3,設備安裝不規(guī)范,管理不規(guī)范
4,無統一管理平臺,現場值班監(jiān)控
5,線纜管理混亂,容易出現故障
維護難度高,升級搬遷成本高
那針對小型數據中心的這種情況,最理想的解決方案應該是什么?
首先,必須是小型化一體化,節(jié)省場地和空間,每個機柜精心規(guī)劃,周密布置,尤其是對設備的安裝位置,要考慮到設備之間的連線,利于檢修,
其次,必須標準化,數據中心內不管是網絡設備,服務器設備,存儲設備,絕大部分采用標準的19英寸安裝方式,配套的電源PDU,配線架,送風空調,這些設備最好也能采用標準安裝方式,即插即用,做到快速配置和部署,
第三,標準化之后,最好能做到產品化,整個19英寸標準機柜,集成UPS、電池、配電系統,精密空調,監(jiān)控系統,所有IT設備所需的配套設施,都在標準機柜內預先安裝完成,用戶只需把IT設備上架,插電,連網線,就可以開機運行。無需工程裝修。
第四,簡單化,這樣一個系統,最好是通過一個簡單易用的集成平臺,操作管理。界面簡單明了,不懂空調電氣設備的IT人員,也可以直觀了解設備的運行情況
第五,智能化,集成監(jiān)控平臺可以預先設置一些管理策略,無需人為干預,系統就可以自動根據運行條件,采取不同的運行策略,比如日夜系統負荷差別大,空調系統可以自動調節(jié)送風量,無需認為干預。
通過這樣一個簡單標準可靠的產品,保證IT系統全年運行高可用。用戶IT人員真正做到省地、省時、省力、省心、還省錢。
這樣的解決方案,市場上有沒有呢?
這就是朗達微型數據中心,專為中小型數據中心而生的產品。
朗達數據中心目前推出2個版本,一個是高配6KVA版,可支持安裝36U用電量最多5KW的IT設備,一個是低配3KVA版,可支持安裝24U用電量最多2.5KW的IT設備。
標準產品內置雙路配電箱模塊,分別安裝在機柜頂部的兩個32A的工業(yè)連接器下方。兩路配電箱一路接市電,另一路接UPS。兩個配電箱各自帶3個16AC20標準插座,用于連接智能PDU,每個配電箱最多連3臺SmartPDU。
標準產品內置了1臺UPS主機和30分鐘的電池,高配版配置了6KVA的UPS,低配版配置了3KVA的UPS。
標準產品內置了智能PDU,高配版內置了4個8口機架式 朗達 SmartPDU,分為2路連接到配電箱模塊,可以連接16臺雙電源設備。低配版內置了2個8口機架式朗達Smart PDU ,分為2路連接到配電箱模塊,可以連接8臺雙電源設備。
標準產品內置了1臺高效率的機柜級空調單元,高配版配置了制冷量5KW送風量1400m3/小時的機柜空調,低配版配置了制冷量2.5KW送風量700m3/小時的機柜空調。
機柜空調也通過標準C14-C13電纜由Smart PDU供電。