客戶證言

“到我們計(jì)算中心來(lái)做高性能計(jì)算的人越來(lái)越多，面對(duì)高度并發(fā)的訪問(wèn)，以前采用開(kāi)源的解決方案，由于穩(wěn)定性較差，每個(gè)月就要進(jìn)行一次全面的系統(tǒng)維護(hù)。采用EMC Isilon解決方案以后，到現(xiàn)在已經(jīng)六個(gè)月，一直運(yùn)行穩(wěn)定，沒(méi)有進(jìn)行過(guò)一次系統(tǒng)維護(hù)。我們對(duì)此非常滿意。”

――某大學(xué)高性能計(jì)算中心負(fù)責(zé)人范老師

背景與需求

南京某綜合大學(xué)早在2008年就建成了十萬(wàn)億次的計(jì)算平臺(tái)，其計(jì)算能力當(dāng)年位居全國(guó)高性能計(jì)算機(jī)TOP100前列。隨著應(yīng)用能力的提升，目前該計(jì)算平臺(tái)已擁有300多名用戶，應(yīng)用內(nèi)容涵蓋氣象、空間、海洋、電磁、化學(xué)等多個(gè)領(lǐng)域。

高性能計(jì)算系統(tǒng)中的存儲(chǔ)系統(tǒng)一直是制約系統(tǒng)整體應(yīng)用能力發(fā)揮的瓶頸，通常采用并行文件系統(tǒng)的方案以有效提升存儲(chǔ)系統(tǒng)的I/O服務(wù)能力，早期的許多高性能計(jì)算系統(tǒng)出于節(jié)省建設(shè)成本、I/O性能等方面考慮，往往采用開(kāi)源的存儲(chǔ)系統(tǒng)。該大學(xué)計(jì)算中心就是這樣的典型用戶。但隨著用戶量、數(shù)據(jù)量、計(jì)算量的增長(zhǎng)，開(kāi)源存儲(chǔ)系統(tǒng)在可管理性和穩(wěn)定性方面的問(wèn)題就會(huì)逐漸暴露出來(lái)。例如，當(dāng)設(shè)備冗余機(jī)制不完善時(shí)易導(dǎo)致數(shù)據(jù)的意外丟失，存儲(chǔ)系統(tǒng)滿負(fù)荷（容量占滿或頻繁讀寫(xiě)）運(yùn)轉(zhuǎn)時(shí)會(huì)出現(xiàn)各種不可預(yù)測(cè)的問(wèn)題，對(duì)底層磁盤(pán)系統(tǒng)未進(jìn)行有效操作限制而帶來(lái)的各種風(fēng)險(xiǎn)，等等。

存儲(chǔ)系統(tǒng)的不可靠性、不穩(wěn)定性嚴(yán)重影響了計(jì)算平臺(tái)的運(yùn)行，當(dāng)存儲(chǔ)系統(tǒng)宕機(jī)下線時(shí)，計(jì)算平臺(tái)不得不停止對(duì)外服務(wù)，該大學(xué)計(jì)算中心在過(guò)去經(jīng)常會(huì)因?yàn)榇祟悊?wèn)題而遭到計(jì)算平臺(tái)用戶的責(zé)備，管理員不得不花費(fèi)大量的時(shí)間定期去檢查和維護(hù)平臺(tái)的存儲(chǔ)系統(tǒng)。2011年初，該大學(xué)在多方考察后，決定采用EMC的Isilon解決方案替換原有開(kāi)源存儲(chǔ)系統(tǒng)，以提升計(jì)算平臺(tái)的穩(wěn)定性。

解決方案：EMC Isilon輕松維穩(wěn)

2011年6月，該校計(jì)算中心實(shí)施了EMC Isilon集群存儲(chǔ)解決方案。經(jīng)過(guò)近半年的應(yīng)用表明，較之以前使用的開(kāi)源系統(tǒng)，EMC Isilon使得該校的高性能計(jì)算在統(tǒng)一界面、數(shù)據(jù)共享、容量吞吐、冗余體系、可擴(kuò)展性等方面都有了質(zhì)的提升。

該校計(jì)算高性能計(jì)算中心負(fù)責(zé)人范老師介紹說(shuō)，以前使用開(kāi)源的并行文件系統(tǒng)lustre，采用PC服務(wù)器加磁盤(pán)陣列組合的方式。這種模式出故障的環(huán)節(jié)太多，任何一個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題都可能導(dǎo)致數(shù)據(jù)無(wú)效或者丟失，需要經(jīng)常性的檢查系統(tǒng)并進(jìn)行維護(hù)，穩(wěn)定性很難保證。例如當(dāng)用戶目錄非常龐大，目錄層次很深，文件名很長(zhǎng)的時(shí)候，在該系統(tǒng)下讀取和存放數(shù)據(jù)就會(huì)頻繁出錯(cuò)。有一次數(shù)據(jù)中心遇到突然斷電，緩存沒(méi)有寫(xiě)入，存儲(chǔ)系統(tǒng)的元數(shù)據(jù)損壞，整個(gè)系統(tǒng)就宕掉了，并丟失了大量的用戶文件。

相對(duì)于傳統(tǒng)的NAS使所有數(shù)據(jù)都從其控制器出入造成性能和擴(kuò)展性瓶頸，EMC Isilon支持大規(guī)模信息的集中訪問(wèn)，可實(shí)現(xiàn)數(shù)據(jù)的共享，每臺(tái)服務(wù)器都可以看到所有的存儲(chǔ)空間。客戶端能夠隨時(shí)按需安全的訪問(wèn)數(shù)據(jù)，單個(gè)卷可實(shí)現(xiàn)PB級(jí)文件系統(tǒng)支持，而且更易于安裝、管理和擴(kuò)展。

有一組數(shù)據(jù)可供參考：Isilon的單個(gè)96節(jié)點(diǎn)集群和單個(gè)文件系統(tǒng)可以提供1.6PB的存儲(chǔ)容量，而其他廠商的系統(tǒng)和開(kāi)源的NAS產(chǎn)品每文件系統(tǒng)大部分只能提供16TB的容量。Isilon采用冗余體系結(jié)構(gòu)，可實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)及節(jié)點(diǎn)間的冗余，大大提高了系統(tǒng)可靠性和可用性。

通過(guò)Isilon IQ集群存儲(chǔ)系統(tǒng)的支持，一個(gè)從10TB到100多TB的群集系統(tǒng)可以在不到10分鐘時(shí)間完成安裝、配置和連機(jī)使用。另外，Isilon獨(dú)特的“按需購(gòu)買，漸進(jìn)擴(kuò)展”(pay-as-you-grow)方式，體現(xiàn)了Isilon存儲(chǔ)系統(tǒng)的優(yōu)秀擴(kuò)展能力。Isilon存儲(chǔ)節(jié)點(diǎn)之間采用infiniband高速互聯(lián)，存儲(chǔ)節(jié)點(diǎn)擴(kuò)展時(shí)，性能隨著節(jié)點(diǎn)增加而線性擴(kuò)展。在線(免停機(jī))升級(jí)只需不到1分鐘的時(shí)間，無(wú)需對(duì)原有設(shè)備及應(yīng)用做任何改動(dòng)移植，系統(tǒng)擴(kuò)展的整個(gè)過(guò)程無(wú)需宕機(jī)。可以說(shuō)，EMC Isilon解決方案讓系統(tǒng)宕機(jī)的風(fēng)險(xiǎn)降到了最低。

技術(shù)詳解：EMC Isilon優(yōu)勢(shì)

EMC Isilon是一種橫向擴(kuò)展（Scale-Out）NAS，它采用了全新的設(shè)計(jì)，以實(shí)現(xiàn)大量的性能特性。

Isilon Scale-Out NAS 由模塊化節(jié)點(diǎn)構(gòu)成，有兩種節(jié)點(diǎn)：一種是存儲(chǔ)平臺(tái)節(jié)點(diǎn)，一種是性能加速節(jié)點(diǎn)。系統(tǒng)的核心是存儲(chǔ)平臺(tái)節(jié)點(diǎn)，它由智能分布式文件系統(tǒng)支持。該文件系統(tǒng)將所有資源集中在一起，以處理幾乎所有類型應(yīng)用程序工作負(fù)載的存儲(chǔ)需要。如果工作流受到磁盤(pán) I/O 限制，可以在系統(tǒng)運(yùn)行時(shí)添加更多平臺(tái)節(jié)點(diǎn)，以添加磁盤(pán)軸和處理能力。同樣，如果工作負(fù)載僅受 CPU 和內(nèi)存限制，可以在系統(tǒng)運(yùn)行時(shí)添加性能加速器節(jié)點(diǎn)。根據(jù)需求添加不同數(shù)量的存儲(chǔ)平臺(tái)節(jié)點(diǎn)或性能加速節(jié)點(diǎn)，使得Isilon可以同時(shí)擴(kuò)展兩項(xiàng)性能，或獨(dú)立擴(kuò)展一項(xiàng)，以適應(yīng)變化的應(yīng)用程序環(huán)境。

Isilon集群將文件分配到多個(gè)節(jié)點(diǎn)和磁盤(pán)中，使 I/O 操作并行化。系統(tǒng)使用大容量連續(xù)磁盤(pán)段（128K）來(lái)優(yōu)化文件布局。在寫(xiě)操作過(guò)程中，數(shù)據(jù)先被存放在大容量?jī)?nèi)存緩沖區(qū)內(nèi)，然后以精心規(guī)劃的順序?qū)?shù)據(jù)轉(zhuǎn)存到磁盤(pán)中，以減少磁盤(pán)開(kāi)銷。在讀取過(guò)程中，會(huì)先預(yù)取數(shù)據(jù)以避免其它方向的類似 I/O 開(kāi)支。由于每個(gè)文件都被劃分到集群中的不同節(jié)點(diǎn)和磁盤(pán)集合中，隨機(jī)存取一系列文件時(shí)產(chǎn)生的總負(fù)載被分配到集群中的所有磁盤(pán)上，并且不會(huì)像基于 RAID 的系統(tǒng)一樣受到有限的磁盤(pán)集合限制。由于所有節(jié)點(diǎn)都參與 I/O 處理，相比傳統(tǒng)的單一磁頭或 RAID，可以支持使用更多的 CPU 和內(nèi)存處理單元。

對(duì)于隨機(jī) I/O 操作，系統(tǒng)使用小至 8KB 的數(shù)據(jù)塊，以更細(xì)化的方式來(lái)讀取數(shù)據(jù)。數(shù)據(jù)同時(shí)也保存在所有節(jié)點(diǎn)集合成的大容量緩存中，以減少 I/O 響應(yīng)時(shí)間。

在本案例中，該大學(xué)計(jì)算中心的Isilon群集存儲(chǔ)配置了4個(gè)存儲(chǔ)節(jié)點(diǎn)，一個(gè)加速節(jié)點(diǎn)（提供萬(wàn)兆網(wǎng)絡(luò)連接）。群集存儲(chǔ)通過(guò)加速節(jié)點(diǎn)的兩個(gè)萬(wàn)兆接口和交換機(jī)相連，同時(shí)也將存儲(chǔ)節(jié)點(diǎn)的千兆接口與交換機(jī)連接，通過(guò)Isilon提供的軟件對(duì)存儲(chǔ)請(qǐng)求進(jìn)行判斷，根據(jù)各個(gè)節(jié)點(diǎn)的負(fù)載情況將存儲(chǔ)請(qǐng)求進(jìn)行合理的分配，以保證整個(gè)集群存儲(chǔ)的高性能。

同時(shí)，在原有網(wǎng)絡(luò)中部署萬(wàn)兆交換機(jī)，用以連接各個(gè)網(wǎng)絡(luò)核心及新部署的高性能存儲(chǔ)。在這種架構(gòu)下，未來(lái)可隨時(shí)根據(jù)系統(tǒng)容量及性能需求在線添加Isilon集群節(jié)點(diǎn)，無(wú)需對(duì)原有系統(tǒng)做任何改動(dòng)。（拓?fù)鋱D如下）

Isilon將文件數(shù)據(jù)和元數(shù)據(jù)分散保存在橫向擴(kuò)展的存儲(chǔ)系統(tǒng)中，且系統(tǒng)集群中的多個(gè)節(jié)點(diǎn)具有同等地位，可以共同處理數(shù)據(jù)和元數(shù)據(jù)操作的 I/O。在這種分布式架構(gòu)中，I/O 處理被均衡分布到集群中的各個(gè)節(jié)點(diǎn)上，任何單個(gè)節(jié)點(diǎn)都不會(huì)成為瓶頸或單一故障點(diǎn)。此外，Isilon還提供用戶配額管理的功能，避免一個(gè)用戶占用資源太多，影響其它并發(fā)用戶的性能。

總之，EMC Isilon是目前市場(chǎng)最領(lǐng)先的橫向擴(kuò)展NAS系統(tǒng)，是大數(shù)據(jù)存儲(chǔ)和管理的首要選擇。該校的案例，便是Isilon在全球大量成功應(yīng)用的一個(gè)例證。