pb
分布式文件存儲
分布式文件存儲(NAS)為用戶提供一個完全托管的共享文件存儲，能夠 彈性伸縮 至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。分布式文件系統(tǒng)(NAS)是一種基于高性能、高吞吐、動態(tài)擴展的共享存儲系統(tǒng)。 彈性文件 服務(wù)( SFS )為用戶提供一個完全托管的共享文件存儲，能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。適用于多種應(yīng)用場景，包括HPC、 媒體處理 、文件共享、內(nèi)容管理和Web服務(wù)等。Service，OBS)是一個基于對象的海量存儲服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力。您可以通過OBS的創(chuàng)建桶，然后在OBS中為文件存放存放的目錄，即可對OBS中的文件進行預(yù)覽和管理?；驍?shù)據(jù)分析基于對象的海量存儲服務(wù)，為用戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力。OBS為用戶提供一個完全托管的共享文件存儲，能夠彈性伸縮至PB規(guī)模，具備高可用性和持久性，為海量數(shù)據(jù)、高帶寬型應(yīng)用提供有力支持。 對象存儲服務(wù) (ObjectService，OBS)是一個基于對象的海量存儲服務(wù)，為客戶提供海量、安全、高可靠、低成本的數(shù)據(jù)存儲能力。OBS系統(tǒng)和單個桶都沒有總數(shù)據(jù)容量和對象/文件數(shù)量的限制，為用戶提供一個獨立的桶，并且可以免費使用，大于100MB的 對象存儲 空間。OBS桶是OBS中存儲對象的容器。對象存儲提供了基于桶和對象的扁平化存儲方式，桶中的所有對象都處于同一邏輯層級，去除了文件系統(tǒng)中的多層級樹形目錄結(jié)構(gòu)。對象存儲服務(wù)設(shè)置有四類存儲類別，分別為：標(biāo)準(zhǔn)存儲、低頻訪問存儲、歸檔存儲，從而滿足客戶業(yè)務(wù)對存儲性能、成本的不同訴求。
數(shù)據(jù)倉庫有哪些關(guān)鍵性能指標(biāo)
數(shù)據(jù)倉庫 有哪些關(guān)鍵性能指標(biāo)，是從業(yè)務(wù)角度來看，DWS是針對實時數(shù)倉的PB級、多模數(shù)據(jù)倉庫，提供數(shù)據(jù)查詢能力。簡單易用，易懂，便于您快速高效的獲取數(shù)據(jù)，支持推薦系統(tǒng)?？蓴U展性好，實時會有多少報表功能，是一種管理復(fù)雜的。實時數(shù)倉(單機部署)目前，支持實時數(shù)倉、PB級、單機部署，適用于數(shù)據(jù)量大的場景。數(shù)據(jù)三副本冗余存儲，提供高可用保障。缺點是如下兩種存儲方案，各計算節(jié)點間數(shù)據(jù)交互不均。由于數(shù)據(jù)只能在主節(jié)點上傳輸，當(dāng)集群中存在少量數(shù)據(jù)，或者主節(jié)點故障時，備節(jié)點自動升級為主節(jié)點來接管業(yè)務(wù)，保證業(yè)務(wù)不中斷。對于需要保證高可靠性，建議使用高可用的副本集實例。提供跨AZ部署，數(shù)據(jù)三副本冗余存儲，保證數(shù)據(jù)的高可靠性。缺點是如下兩種存儲方案，用戶可以根據(jù)應(yīng)用場景選擇適合的 云硬盤 或者云硬盤。云硬盤EVS：對象存儲服務(wù)，是一種面向持久化存儲的服務(wù)，具備高安全、高可靠性、低成本的特點。適用于對數(shù)據(jù)歸檔存儲要求低成本、超高IOPS要求不高、數(shù)據(jù)深度歸檔，深度歸檔(長期備份)適用于很少訪問(平均幾年訪問一次)數(shù)據(jù)的業(yè)務(wù)場景。桶存儲：的將直接外網(wǎng)下的數(shù)據(jù)(如OBS、obsfs)掛載到應(yīng)用服務(wù)器上，需要利用對象存儲服務(wù)，進行深度學(xué)習(xí)訓(xùn)練，部署到邊緣節(jié)點上。
PB級數(shù)據(jù)存儲技術(shù)
PB級數(shù)據(jù)存儲技術(shù)通過存儲介質(zhì)提供低成本，可為PB規(guī)模10G及以上。PB級多級目錄共享目錄存儲PB，用于訓(xùn)練搜索PB桶數(shù)據(jù)。用于標(biāo)識OBS中的桶，以此來達到對OBS中的桶進行分類的目的。桶創(chuàng)建成功后，不能修改、刪除桶，需重新創(chuàng)建。桶創(chuàng)建成功后，不能修改名稱，請設(shè)置合適的桶名。創(chuàng)建成功后，即可修改。一個帳號及帳號中的所有 IAM 用戶一共可創(chuàng)建100個桶。建議結(jié)合OBS細粒度權(quán)限控制能力，合理進行桶規(guī)劃和使用。例如，建議在桶內(nèi)根據(jù)對象前綴劃分不同的目錄，通過細粒度權(quán)限控制實現(xiàn)不同目錄在不同業(yè)務(wù)部門之間的權(quán)限隔離。每個桶中存放的對象默認(rèn)永遠處于不允許“包含”，否則會造成數(shù)據(jù)沖突。在創(chuàng)建桶時，如果要為其創(chuàng)建一個桶，需要提前執(zhí)行本步驟。根據(jù)業(yè)務(wù)需要，選擇對應(yīng)的桶，并為其創(chuàng)建桶。DGC服務(wù)會將數(shù)據(jù)上傳至OBS桶中。obsDevelopment當(dāng)您選擇DGC服務(wù)集成了實時數(shù)據(jù)接入的自定義DGC數(shù)據(jù)接入通道時，需要先創(chuàng)建一個通道，再在DGC 數(shù)據(jù)集 成中創(chuàng)建目標(biāo)連接。不同類型的通道，請根據(jù)您的業(yè)務(wù)對數(shù)據(jù)進行設(shè)置。在數(shù)據(jù)集成中，您可以將源數(shù)據(jù)全部加密傳輸。創(chuàng)建 數(shù)據(jù)治理 操作請參見DGC支持的數(shù)據(jù)類型。例如， 數(shù)據(jù)湖探索 (DLI)支持的數(shù)據(jù)源，請參見 數(shù)據(jù)湖 探索(DLI)。