中國移動山東公司(以下簡稱“山東移動”)為保障業務連續性、提高用戶體驗，在2009年完成了三中心的容災系統建設。日前，記者采訪了中國移動山東公司賬務中心崔可升副主任，在給記者介紹山東移動的三中心災備系統的過程中，崔主任給出的這樣一組數據給記者留下了深刻的印象：

　　山東移動目前擁有用戶5000多萬;

　　系統的規模、邏輯主機數量已經接近500臺;

　　系統的數據量4PB;

　　在每年1-2億的IT投入中，有2/3的投入是用于保證數據安全性和業務連續性的。

　　確?！叭裏o產品”萬無一失

　　如此大的用戶規模和數據量，如何保證BOSS系統的業務連續性萬無一失，成為了山東移動面臨的首要挑戰。崔主任說：“山東移動的領導曾經將BOSS系統的重要性形象的總結為‘三無產品’，三無是指：無可替代、無與倫比、無以復加。一句話，移動公司BOSS系統介于網絡側和用戶側，BOSS系統的計費數據來源于網絡側，用戶通過BOSS系統進行產品訂購等業務辦理，并查詢服務使用情況。，所以它處的環節是非常非常重要的。比如你的電話無意中被停機了，或者充了值遲遲不能打出電話，用戶滿意度會大大降低。”BOSS系統的安全性關系到山東5000多萬用戶的用戶體驗，也是企業的重中之重，為了降低風險，確保BOSS系統有備無患，萬無一失，山東移動在業務連續性方面的建設也一直在不斷的進步。

　　在2002年到2003年，山東移動實現了全省BOSS系統大集中。隨著系統和數據的集中完成，也增加了系統的風險，為了保證業務的連續性，山東移動建設了一些簡單的應急系統。應急系統的構建是在2004年完成的。山東移動在其他的存儲設備上建立一個空間，做一個BCV(業務連續性卷)，把數據復制到另一份，這些數據可以提供備份恢復的功能，這就是簡單的容災系統。

　　2005年山東移動的主備級容災系統上線了。建設主備級備份系統的契機是山東移動建設了一個新中心。新中心建成后，山東移動把所有的業務遷到新的中心里面去;然后把原有的老的系統進行了一個改造，做成一個主備級的容災系統。但是，主備級容災系統也存在著一些問題，首先是對于現有系統在出現容災的情況下，到底能不能完成任務?因為主備中心間的系統設備容量和能力不同，所以對于容災的安全性存在著一定的疑問。另外一方面，在主備級容災的過程中，新建的機房，需要人員值守等等一些成本，一年、兩年，可能幾年計算機設備更新比較快，4、5年一個周期設備就折舊差不多了，這樣大量的設備不能得到應用，對于山東移動來說也是一個很大的浪費。反觀生產中心，可能在有需要業務高峰期的時候有限資源分配不夠，另外一個中心卻有資源限制，主備中心間的資源無法平衡，也就帶來了一個矛盾的問題。

　　07年開始，在原來主備級容災的基礎上，山東移動實行了雙中心容災方式，雙中心容災方式解決了備用中心容災達不到充分發揮的問題。當然用雙中心的容災方式，對管理來說是更加增加了復雜度，技術實現方面也提出了很多很高的要求。

　　目前，山東移動用戶量越來越多，而兩個中心每個中心承載的業務也是非常大，考慮降低風險的方式，于是山東移動建立了第三個物理中心。原則上每一個中心承載的用戶數不超過一定數量(如2000萬戶)，這樣的話相當于把風險分散在多個中心，這是山東移動設計三中心系統的核心思想。新建中心在空間、電影等配套環境等比較充足，山東移動現在基本上1對2的關系——一個中心承擔了全省1/2的量，另外兩個中心各承擔1/4的量，這是從生產角度來看。與此同時，三中心還互相之間還承擔了備份的任務。目前三個中心的業務已經完全上線了，運行非常好。這三個中心就任何一個中心出問題，其他兩個中心都能把業務接過來，這樣整個服務質量、整個客戶的滿意度大大提升了。

　　高性能與ROI的平衡

　　在移動行業內，有一個衡量信息化成本的有效指標，就是根據發展一位新的用戶，移動所需的費用的多少。在山東移動，發展一個新用戶所需的BOSS系統投資費用不到其他省份的二分之一，如何實現如此高的ROI，崔主任為我們介紹了山東移動的高效之道：

　　首先，信賴高端產品。山東移動現在所有的主機全是高端的IBM Power 595，存儲實際上也是虛擬的，當然是從我們規劃來看。我們存儲目前IBM現在也是占了絕大部分，采用IBM也是最高端的DS8300，這款產品非常不錯，包括我們的BOSS系統、經營分析系統，都采用大量的IBM存儲系統。選擇高端的機器是因為它的安全性提高了，我們就是用IBM最高端的機器，它的性能很好，安全性很好，這是一個方面。

　　另外，山東把IBM的虛擬技術發揮的淋漓盡致，我們全部買的都是大的設備，然后就像切蛋糕一樣，切成一小塊一小塊的，因為這個切都是動態的切，根據業務發展情況可以動態調整，IBM虛擬技術發揮了非常重要的作用。這就是IBM所提倡的動態架構，這也是為什么山東移動在ROI方面比兄弟省份有如此大的優勢之所在。實際上，山東移動的依托于IBM虛擬技術的動態資源調整架構，是目前概念比較熱的“云計算”落地的典型案例。

　　最后，是選擇合作伙伴，我覺得IBM的技術給我們提供了很好的平臺，沒有好的技術，可能很多思想就實現不了。系統架構的設計以及它的控制，包括對開發管理，以及對架構的拆分等等，我覺得這個方面也是需要我們有一些技術或者需要一些經驗來做。這方面有兩方面：一是IBM有很好的技術給我們提供平臺，另外一方面我們積累了很好的經驗，這兩者也是缺一不可的。

　　一切從客戶的角度出發

　　山東移動的容災系統的建設不是一蹴而就的，而是在技術不斷的摸索中，不斷的進步的。從最初的應急系統到目前的三中心動態備份系統，山東移動在業務連續性方面的建設歷程也具有廣泛的借鑒意義。

　　崔主任總結到：“業務連續性是一個系統工程，不單純只是容災的項目，怎么樣保證BOSS系統長時間穩定運行，涉及方方面面的事情，實際上我們在05年與IBM開展合作的時候，除容災方面的建設咨詢外，IBM還承擔我們的機房設計、機房裝修工作。我們和IBM合作，我覺得最主要的是看到了IBM在這個行業內的經驗，對于我們可以提供一些借鑒意義，少走一些彎路?！?/P>

　　對于容災系統來說，除了項目的搭建以外，演練也是非常重要的。山東移動對于災備演練也是非常的重視，比如首先進行一些桌面演練，一次不行兩次演練。保證在流程方面是暢通的，然后進行真實的演練，在演練中發現存在的問題，每一次演練都給山東移動帶來了很多的收獲。目前，山東移動每年都要進行災備演練。

　　山東移動三中心系統的建設也離不開公司領導的高瞻遠矚，崔主任這樣說：“作為公司領導層，始終站在客戶角度來考慮，就是要求提供運行安全使用方便的BOSS系統，提高客戶滿意度。公司領導在投資、人員等方面給予了大力支持。至于你內部采用什么樣的容災備份、容災機制等等，那是技術細節方面的事情，是我們建設維護部門需要也應該做好的，當然壓力也很大。”一切從客戶體驗出發，一切為了業務連續性，唯有如此，才是山東移動長遠發展之道。

文章作者：國脈電子政務網