
“《孫子兵法》云,‘夫未戰而廟算勝者,得算多也;未戰而廟算不勝者,得算少也’。市場如戰場,我省的經濟建設、科學研究離不開‘多算’。而我省現在有了孫武無法想象的‘多算’設備——每秒鐘運算4000億次的大型計算機。”近日,甘肅計算中心主任胡鐵鈞面對媒體發出了如上感慨。
項目需求分析:跨行業高性能計算網格拓展甘肅省計算中心是直屬于甘肅省科技廳的科研事業單位,是全省計算機技術應用、推廣和服務的專業化研究與開發機構。2005年為了進一步加強高性能方面的實力,攜手曙光建立了甘肅高性能計算中心,旨在發展甘肅省高性能計算,帶動甘肅省計算技術、信息技術和相關產業向更高水平發展,解決甘肅省國民經濟與產業發展、社會和科學進步、國防和國家安全等一系列挑戰性問題。
甘肅計算中心主任胡鐵鈞表示:“這幾個‘花小錢’的雄心勃勃的行動,只是我省計算能力和運行方式的一小步結構性變化,帶來的卻是我省科研基礎能力的一大進步:以前我省的眾多科研人員擠出寶貴時間,花費大量科研資金,跑到外地去排隊進行大型運算;今后他們只需坐在辦公室里,輕點鼠標,向甘肅省計算中心的‘窗口’發個申請,提交運算任務,省計算中心就把任務分配到閑著的計算機上運算,不長時間后,運算結果就會出現在科研人員的電腦上。
甘肅省超級計算中心致力于建成一個開放可共享的高端計算環境,為政府各機構、企事業、大中專院校、科研單位提供超級計算能力、海量信息處理、超大型數據庫管理、尖端技術科研開發的服務,將有限的計算延展為無限的可能。最終形成應用環境、用戶培訓、科普宣傳、應用開發、科學研究、人才培養等功能齊全、布局合理的一流信息化平臺環境和產業基地。
在建設周期方面,初期希望在甘肅省計算中心建設管理結點的集群系統,準備購置主要設備、軟件,構建應用環境,實現計算能力,高性能計算機采用中國電信寬帶網和中國教育網傳輸數據。同時與蘭州大學構建網格試驗床。二期建設將連接蘭州大學、蘭州交通大學、蘭州理工大學、中科院資源環境科學信息中心等大專院校、科研院所的高性能計算系統,完成高速網絡接入光纖主干網;實現高性能計算資源的連接和共享,形成一個具有強大管理能力和計算能力的平臺。三期建設將逐步完善網格系統,吸納有一定計算能力的科研單位,提高計算能力,實現高性能計算應用,研究網格系統向其他領域的應用拓展、應用。
解決方案:網絡經過對需求的分析,可以確定甘肅省高性能計算中心(網格系統)的建立是利用網格技術實現大規模科學數據集的協作虛擬化,實現高要求數據分析所進行的分布式計算(共享計算能力和存儲空間)。網格將在科學計算、信息集成領域一展身手,提高甘肅省的科學計算能力,是典型的高性能計算應用,需要大規模系統。
對應于甘肅省高性能計算中心的實際需要,曙光公司在本次項目中采用了基于機群架構的設計思想,采用最新的超級計算機曙光天潮,該款超級服務器是一臺成熟的產品,采用大規模機群體系結構,其中采用了許多創新技術,在平衡創新和可靠性上采用了冗余設計方法,每個創新部件都有成熟的產品部件與之對應,使高性能計算機的可擴展性得到很大提高,同時保證應用飽和性能的穩定。
曙光大規模機群系統的規模為22個計算節點,每個計算節點2顆AMD Opteron 64bit處理器,總共44顆處理器,1個I/O節點、1個管理登錄節點,均為雙AMD Opteron處理器節點。在應用性能方面提高<系統應用飽和性能的方法包括,提供輕核心操作系統,單用戶通信軟件、并行I/O庫,支持多種操作系統;而在系統動態重構方面可提高系統的管理能力,提供多種使用模式,包括開發大規模KVM(Keyboard-Video-Mouse)管理網絡,操作系統動態加載等。整體系統架構如下。

圖:曙光體系結構
不過,雖然有了這臺超級計算機,省計算中心還有著更為雄心勃勃的行動——建立近兩年在國際上開始發展的網格,針對甘肅省以高能計算所為中心建立甘肅超級計算網格的設想,在此套解決方案的網絡子系統設計方面,本項目為曙光4000L大規模機群系統配以3套網絡,分別是高速計算數據傳輸網,千兆數據交換網絡和管理網,分別用于并行計算時的數據交換、計算通訊以及I/O讀寫;用戶接入、系統管理控制。高速計算網采用網絡,千兆數據交換網絡,兩套網絡可以互為備份,即千兆以太網可以作為InfiniBand網絡的備份,千兆以太網可以作為千兆以太網的備份。而且本次項目中所提供的網絡交換設備均在曙光機群服務器中有大量的成功應用案例,所選用的產品無論是產品質量、性能、互聯、互通性都有所保證。
另外,曙光4000L采用數據交換網和管理網分開的方式,有效地減輕了對數據網的負載,做到系統管理對業務網絡完全沒有干擾。接入管理網采用了百兆以太網,在本項目的曙光4000L機群系統中,采用了臺鏡,端口百兆交換機組成一個百兆以太網,各節點通過它連接成百兆的管理網隊整個機群的管理、監控。而千兆計算網絡主要用于機群的、登錄、任務調度等系統管理員常用工作。這個網絡既是用戶接入、系統管理網絡,也是高速數據網的備份網絡。通過網捷網絡的網絡管理軟件,網絡管理員可以通過一個中央工作站控制所有網捷網絡產品軟件和配置的升級,極大地簡化了網絡分配、故障診斷和清除,從而減少安裝和維護一個世界級網絡基礎設施的總成本。
在規劃、建設曙光的存儲系統時,曙光推薦了磁盤陣列,內部硬盤為Ultra 160接口,主機端口為2Gb FC或Ultra 160 SCSI接口標準的磁盤陣列系統,通過靈活的可配置性,提供一種強有力的,高性價比的解決方案,從而更好的控制整體成本。
用戶評價:從性能到細節均,美妙貫穿始終
甘肅計算中心主任胡鐵鈞表示:“曙光4000是一款既能進行高性能計算,又能滿足信息服務需要的高性能集群系統,在生物、氣象、流體力學等方面均有非常出色的表現。”面對于用戶的良好評價,曙光的技術人員介紹到:“該系統完成后的系統可以完成每秒4000億次的高能運算,相當于一秒鐘內全國每個人運算300多次,然后把所有人的運算結果加到一起。以個人電腦來打比方,一臺目前最好的普通電腦運算300天才能完成的任務,用這種大型計算機一天就可以完成。以舊的運算設備來做對比,以往用一個月才能處理完的核物理試驗數據,現在2、3個小時就可以處理完成。”
與此同時,曙光的技術人員在談及整個項目的規劃時介紹到:“在建設網格方面,除省計算中心外,還將蘭州大學擁有每秒運算2000億次能力,蘭州交通大學擁有每秒1000億次能力,西地所擁有每秒4000億次能力建成一個開放可共享的高端計算環境,為政府各機構、企事業、大中專院校、科研單位提供超級計算能力、海量信息處理、超大型數據庫管理、尖端技術科研開發的服務,正式運行后,這個網格可以達到每秒鐘運算2萬億次的能力”。
另外,曙光4000L系統充分考慮了國內用戶的本地化要求,管理軟件界面是中文界面,同時也支持英文界面,可以在程序內直接進行切換,無需重新啟動。這項功能是曙光機群管理系統的亮點之一,中文化的界面具有親切的人機接口,充分滿足了中國用戶的使用習慣,對此用慣了繁瑣英文界面的用戶在操作的時候顯得頗為興奮。
CIO頻道人物視窗
CIO頻道方案案例庫
大數據建設方案案例庫
電子政務建設方案案例庫
互聯集成系統構建方案案例庫
商務智能建設方案案例庫
系統集成類軟件信息研發企業名錄