文件系統(tǒng)類型
SFS容量型
表1 SFS容量型文件系統(tǒng)
|
參數
|
SFS容量型
|
通用文件系統(tǒng)
|
|---|---|---|
最大帶寬 |
2GB/s |
1.25TB/s |
最高IOPS |
2K |
百萬 |
時延 |
3~20ms |
10ms |
最大容量 |
4PB |
EB |
優(yōu)勢 |
大容量、高帶寬、低成本 |
大容量、高帶寬、低成本 |
應用場景 |
大容量擴展以及成本敏感型業(yè)務，如媒體處理、文件共享、高性能計算、數據備份等。SFS容量型文件系統(tǒng)不適合海量小文件業(yè)務，推薦使用SFS Turbo文件系統(tǒng)。 |
大容量擴展以及成本敏感型業(yè)務，如媒體處理、文件共享、高性能計算、數據備份等。通用文件系統(tǒng)不適合海量小文件業(yè)務，推薦使用SFS Turbo文件系統(tǒng)。 |
說明：時延是指低負載情況下的最低延遲，非穩(wěn)定時延。
10MB以上為大文件，1MB以上為大IO。
SFS容量型文件系統(tǒng)目前已售罄，請使用通用文件系統(tǒng)，涉及數據遷移的客戶可提交工單解決。
SFS Turbo
表2 SFS Turbo文件系統(tǒng)
|
參數
|
20MB/s/TiB
|
40MB/s/TiB
|
125MB/s/TiB
|
250MB/s/TiB
|
500MB/s/TiB
|
1000MB/s/TiB
|
|---|---|---|---|---|---|---|
最大帶寬 |
8GB/s 如需提高吞吐能力，請提交工單申請，最高可達20 GBps |
8GB/s 如需提高吞吐能力，請提交工單申請，最高可達20 GBps |
20GB/s 如需提高吞吐能力，請提交工單申請，最高可達100 GBps |
20GB/s 如需提高吞吐能力，請提交工單申請，最高可達100 GBps |
80GB/s 如需提高吞吐能力，請提交工單申請，最高可達200 GBps |
80GB/s 如需提高吞吐能力，請提交工單申請，最高可達200 GBps |
最高IOPS |
250K |
250K |
百萬級IOPS |
百萬級IOPS |
百萬級IOPS |
百萬級IOPS |
平均單路4K延遲 |
2~5ms |
2~5ms |
1~3ms |
1~3ms |
1~3ms |
1~3ms |
容量 |
3.6TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
1.2TB~1PB |
優(yōu)勢 |
大容量、低成本 |
大容量、低成本 |
低時延、高性價比 |
低時延、高性價比 |
高IOPS、性能高密 |
高IOPS、性能高密 |
典型應用場景 |
日志存儲、文件共享、內容管理、網站 |
日志存儲、文件共享、內容管理、網站 |
AI訓練、自動駕駛、EDA仿真、渲染、企業(yè)NAS應用、高性能web應用 |
AI訓練、自動駕駛、EDA仿真、渲染、企業(yè)NAS應用、高性能web應用 |
大規(guī)模AI訓練、AI大模型、AIGC |
大規(guī)模AI訓練、AI大模型、AIGC |
典型應用舉例
媒體處理
媒體處理包括媒體素材的上傳、下載、編目、節(jié)目轉碼和數據歸檔等工作，涉及音視頻數據的存儲、調用和管理，根據其業(yè)務特性對共享的文件系統(tǒng)有如下要求：
- 媒體素材的視頻碼率高，文件規(guī)模大，要求文件系統(tǒng)容量大且易于擴展。
- 音視頻的采集、編輯、合成等應用要求文件系統(tǒng)無抖動、低時延。
- 多用戶同時進行編輯制作，要求文件系統(tǒng)提供穩(wěn)定易用的數據共享。
- 視頻渲染、特效加工需要頻繁處理小文件，要求文件系統(tǒng)具有較高的數據讀寫性能。
彈性文件服務是基于文件系統(tǒng)的共享存儲服務，具有高速數據共享，動態(tài)分級存儲，按需平滑擴展，支持在線擴容等特點，能充分滿足媒體處理中用戶對存儲容量，吞吐量，IOPS（每秒讀寫次數）和各種工作負荷下低時延的需求。
某衛(wèi)視頻道欄目組外拍大量音視頻素材，現需要將這組素材編輯處理成為即將播出的節(jié)目，節(jié)目的編輯處理將由多個編輯工作站協(xié)作完成。為實現多個編輯工作站訪問到同一素材文件，欄目組選用了彈性文件服務。首先將同一文件系統(tǒng)掛載到欄目組的作為上載工作站和編輯工作站的云服務器上，再將素材文件由上載工作站上傳到掛載的文件系統(tǒng)，最終實現多個編輯工作站直接對掛載文件系統(tǒng)中的素材進行編輯。
高性能計算
高性能計算通常指以計算為目的，使用了很多處理器的單個計算機系統(tǒng)或者使用了多臺計算機集群的計算機系統(tǒng)和環(huán)境。能夠執(zhí)行一般個人電腦無法處理的大資料量與高性能的運算。高性能計算具有超高浮點計算能力，可用于解決計算密集型、海量數據處理等業(yè)務的計算需求，如應用于工業(yè)設計CAD/CAE，生物科學，能源勘探，圖片渲染和異構計算等涉及高性能計算集群來解決大型計算問題的領域。根據其業(yè)務特性對共享的文件系統(tǒng)有如下要求：
- 工業(yè)設計CAE/CAD：如汽車制造中使用到的CAE/CAD等涉及仿真軟件，在進行數據計算時需要計算節(jié)點之間進行緊密的通信，要求文件系統(tǒng)高帶寬、低時延。
- 生物科學：要求參與大數據計算的文件系統(tǒng)高帶寬、高存儲且易于擴展。
- 對生物基因數據進行測序、拼接、比對等處理，提供基因組信息以及相關數據系統(tǒng)的生物信息學領域。
- 進行大規(guī)模分子動力學模擬來分析和驗證蛋白質在分子和原子水平上的變化的分子動力學模擬領域。
- 快速地完成高通量藥物虛擬篩選從而大量縮短研發(fā)周期和減少投入資金的新藥研發(fā)等領域。
- 能源勘探：野外作業(yè)，勘探地質，對地質資料進行處理和解釋以及進行油藏和汽藏的識別要求文件系統(tǒng)內存大、高帶寬。
- 圖片渲染：圖像處理、三維渲染，頻繁處理小文件，要求文件系統(tǒng)數據讀寫性能強、容量大、高帶寬。
- 異構計算：這種以不同類型的指令集和體系架構的計算單元為組成的系統(tǒng)計算方式要求文件系統(tǒng)高帶寬、低時延。
彈性文件服務是基于文件系統(tǒng)的共享存儲服務，具有高速數據共享，動態(tài)分級存儲，按需平滑擴展，支持在線擴容等特點，能充分滿足高性能計算中用戶對存儲容量，吞吐量，IOPS（每秒讀寫次數）和各種工作負荷下低時延的需求。
某生物平臺需要軟件進行大量的基因測序，但業(yè)務處理步驟多，業(yè)務部署慢，流程復雜，效率低，易出錯，所以自建集群跟不上業(yè)務發(fā)展。但自從使用了提供專業(yè)的高性能計算業(yè)務流程管理軟件，依托云平臺的海量計算資源和存儲資源，充分結合云平臺和高性能計算特點，大大降低初始投資成本和后期運維成本，極大縮短業(yè)務上線時間，提高使用效率，節(jié)約運營成本。
企業(yè)網站/APP后臺
對于I/O密集型的網站業(yè)務，SFS Turbo為多個Web Server提供共享的網站源碼目錄，存儲，提供低延遲，高IOPS的并發(fā)共享訪問能力。業(yè)務特點：
- 大量小文件：存放網站靜態(tài)文件，包括HTML文件，Json文件，靜態(tài)圖片等。
- 讀I/O密集：業(yè)務以小文件讀為主，數據寫入相對較少。
- 多個Web Server訪問同一個SFS Turbo后臺，實現網站業(yè)務的高可用。
日志打印
提供多個業(yè)務節(jié)點提供共享的日志輸出目錄，方便分布式應用的日志收集和管理。業(yè)務特點：
- 多個業(yè)務主機掛載同一個共享文件系統(tǒng)，并發(fā)打印日志。
- 大文件小I/O：單個日志文件比較大，但是每次日志的寫入I/O比較小。
- 寫I/O密集型：業(yè)務以小塊的寫I/O為主。
彈性文件服務精選文章推薦
1對1咨詢華為云專屬顧問，了解適合自己的存儲方案