共享文件存儲應(yīng)用場景-高性能計算
場景介紹
高性能計算通常指以計算為目的,使用了很多處理器的單個計算機(jī)系統(tǒng)或者使用了多臺計算機(jī)集群的計算機(jī)系統(tǒng)和環(huán)境。能夠執(zhí)行一般個人電腦無法處理的大資料量與高性能的運算。高性能計算具有超高浮點計算能力,可用于解決計算密集型、海量數(shù)據(jù)處理等業(yè)務(wù)的計算需求,如應(yīng)用于工業(yè)設(shè)計CAD/CAE,生物科學(xué),能源勘探,圖片渲染和異構(gòu)計算等涉及高性能計算集群來解決大型計算問題的領(lǐng)域。根據(jù)其業(yè)務(wù)特性對共享的文件系統(tǒng)有如下要求:
工業(yè)設(shè)計CAE/CAD:如汽車制造中使用到的CAE/CAD等涉及仿真軟件,在進(jìn)行數(shù)據(jù)計算時需要計算節(jié)點之間進(jìn)行緊密的通信,要求文件系統(tǒng)高帶寬、低時延。
生物科學(xué):要求參與大數(shù)據(jù)計算的文件系統(tǒng)高帶寬、高存儲且易于擴(kuò)展。
對生物基因數(shù)據(jù)進(jìn)行測序、拼接、比對等處理,提供基因組信息以及相關(guān)數(shù)據(jù)系統(tǒng)的生物信息學(xué)領(lǐng)域。
進(jìn)行大規(guī)模分子動力學(xué)模擬來分析和驗證蛋白質(zhì)在分子和原子水平上的變化的分子動力學(xué)模擬領(lǐng)域。
快速地完成高通量藥物虛擬篩選從而大量縮短研發(fā)周期和減少投入資金的新藥研發(fā)等領(lǐng)域。
能源勘探:野外作業(yè),勘探地質(zhì),對地質(zhì)資料進(jìn)行處理和解釋以及進(jìn)行油藏和汽藏的識別要求文件系統(tǒng)內(nèi)存大、高帶寬。
圖片渲染:圖像處理、三維渲染,頻繁處理小文件,要求文件系統(tǒng)數(shù)據(jù)讀寫性能強(qiáng)、容量大、高帶寬。
異構(gòu)計算:這種以不同類型的指令集和體系架構(gòu)的計算單元為組成的系統(tǒng)計算方式要求文件系統(tǒng)高帶寬、低時延。
彈性文件服務(wù)是基于文件系統(tǒng)的共享存儲服務(wù),具有高速數(shù)據(jù)共享,動態(tài)分級存儲,按需平滑擴(kuò)展,支持在線擴(kuò)容等特點,能充分滿足高性能計算中用戶對存儲容量,吞吐量,IOPS(每秒讀寫次數(shù))和各種工作負(fù)荷下低時延的需求。
某生物平臺需要軟件進(jìn)行大量的基因測序,但業(yè)務(wù)處理步驟多,業(yè)務(wù)部署慢,流程復(fù)雜,效率低,易出錯,所以自建集群跟不上業(yè)務(wù)發(fā)展。但自從使用了提供專業(yè)的高性能計算業(yè)務(wù)流程管理軟件,依托云平臺的海量計算資源和存儲資源,充分結(jié)合云平臺和高性能計算特點,大大降低初始投資成本和后期運維成本,極大縮短業(yè)務(wù)上線時間,提高使用效率,節(jié)約運營成本。
配置流程
1、整理好需要上傳的基因測序文件。
2、登錄彈性文件服務(wù)控制臺,創(chuàng)建一個文件系統(tǒng)用于存放基因測序文件。
3、登錄作為頭節(jié)點和計算節(jié)點的云服務(wù)器,掛載文件系統(tǒng)。
4、通過頭節(jié)點將需要上傳的基因測序文件上傳到掛載的文件系統(tǒng)。
5、登錄計算節(jié)點,直接對掛載的文件系統(tǒng)中的基因測序文件進(jìn)行編輯。
前提條件
已完成VPC創(chuàng)建。
已完成作為頭節(jié)點和計算節(jié)點的云服務(wù)器創(chuàng)建并將其歸屬在已創(chuàng)建的VPC下。如果需要將云下基因測序文件上傳至SFS容量型文件系統(tǒng)中。
已開通彈性文件服務(wù)。
配置參考
1、登錄彈性文件服務(wù)管理控制臺。
2、在左側(cè)導(dǎo)航欄,選擇“SFS容量型”。在頁面右上角單擊“創(chuàng)建文件系統(tǒng)”。
3、在創(chuàng)建文件系統(tǒng)頁面,根據(jù)界面提示配置參數(shù)。
4、配置完成后,單擊“立即創(chuàng)建”,完成文件系統(tǒng)創(chuàng)建。
Linux系統(tǒng)ECS掛載操作請參見掛載NFS文件系統(tǒng)到云服務(wù)器(Linux);Windows系統(tǒng)ECS掛載操作請參見掛載NFS文件系統(tǒng)到云服務(wù)器(Windows)和掛載CIFS文件系統(tǒng)到云服務(wù)器(Windows)。
5、登錄頭節(jié)點,將需要上傳的基因測序文件上傳到掛載的文件系統(tǒng)。
6、啟動基因測序任務(wù),計算節(jié)點從掛載的文件系統(tǒng)中獲取基因測序文件進(jìn)行計算。
彈性文件服務(wù)SFS新特性
相關(guān)產(chǎn)品精選文章推薦
1對1咨詢?nèi)A為云專屬顧問,了解適合自己的存儲方案