盡管高性能計算的應(yīng)用范圍已經(jīng)越來越廣，但是其面臨著大數(shù)據(jù)集帶來的全新挑戰(zhàn)。高性能計算如今要解決的計算難題極為復(fù)雜，其負載程度與十年前要解決問題的難度相比要高出多個數(shù)量級，并且復(fù)雜程度仍在不斷增加，不斷挑戰(zhàn)著技術(shù)的極限。例如，當代石油物探高性能計算面臨著地震勘探數(shù)據(jù)量海量增長的嚴峻形勢。從上世紀80年代的2-36MB/km2 的2D數(shù)據(jù)，增長至3D的30-300GB/km2 。一個尋常勘探項目的原始數(shù)據(jù)通常都在十幾TB左右，而要真正處理這些數(shù)據(jù)，至少要五倍于原始數(shù)據(jù)的存儲空間。
　　高性能計算運行的應(yīng)用程序一般使用并行算法，把一個大的普通問題根據(jù)一定的規(guī)則分為許多小的子問題，在集群內(nèi)的不同節(jié)點上進行計算。之后，對這些小問題的結(jié)果進行處理并合并為原問題的最終結(jié)果。通常，這些小問題的計算是可以并行完成的，從而縮短問題的處理時間，提高系統(tǒng)的運算速度。
　　高性能計算最典型的三個數(shù)據(jù)流程包括：創(chuàng)建輸入數(shù)據(jù)、運行應(yīng)用程序進行分析處理和結(jié)果歸檔管理。
　　1. 創(chuàng)建輸入數(shù)據(jù)：創(chuàng)建數(shù)據(jù)的數(shù)據(jù)安全可靠性和一致性非常重要。如果丟失了輸入數(shù)據(jù)，通常可以通過重新運行應(yīng)用程序，來重建丟失的數(shù)據(jù)。重新創(chuàng)建數(shù)據(jù)不僅費用高昂，很多高性能環(huán)境的數(shù)據(jù)往往是無法再次生成的。因此，高性能創(chuàng)建數(shù)據(jù)的價值往往不是能用金錢來衡量的。
　　2. 應(yīng)用程序分析處理：在分析處理階段，保證執(zhí)行應(yīng)用程序的讀/ 寫性能是高性能分析效率和項目周期的關(guān)鍵。這可能需要使用高性能可擴展性存儲系統(tǒng)來滿足吞吐量和存儲容量的需求。
　　3. 數(shù)據(jù)歸檔：高性能環(huán)境下，不同屬性的數(shù)據(jù)在數(shù)據(jù)生命周期的不同階段體現(xiàn)出來的價值是不同的。歸檔可以釋放出主存儲空間，使之用于主要的應(yīng)用程序和項目。如何用不同存儲介質(zhì)存儲不同數(shù)據(jù)，是高性能環(huán)境降低數(shù)據(jù)生命周期總成本的關(guān)鍵。
　　高性能計算的分析效率取決于計算能力、帶寬和存儲三方面。數(shù)據(jù)密集型計算如何保證存儲為海量大數(shù)據(jù)并行處理提供穩(wěn)定的性能和可擴展的容量，在存儲超大規(guī)模數(shù)據(jù)量的同時，滿足多節(jié)點集群計算對存儲I/O 帶寬的需求，是保證高性能處理能力和效率的關(guān)鍵。
　　高性能計算集群系統(tǒng)中的節(jié)點，可分為計算節(jié)點和存儲節(jié)點。其中，存儲節(jié)點是指集群系統(tǒng)的數(shù)據(jù)存儲器和數(shù)據(jù)服務(wù)器。如果需要存儲TB級的數(shù)據(jù)，通常需要部署并行文件系統(tǒng)及多臺IO 服務(wù)器;計算節(jié)點功能則是執(zhí)行計算。眾多的計算節(jié)點帶有IO 流量瓶頸問題。當承載的計算任務(wù)被分布到眾多的計算節(jié)點上實現(xiàn)，存儲最終還是要匯總到一起。高性能計算中的計算節(jié)點可以是服務(wù)器、主機、工作站甚至PC筆記本等。計算節(jié)點對統(tǒng)一存儲的必須性要求和各節(jié)點所匯集而來的IO 流量對存儲造成的沖擊，是每個高性能計算中必須要考慮的因素。