本文由AI智能模型生成，在自有數(shù)據(jù)的基礎(chǔ)上，訓(xùn)練NLP文本生成模型，根據(jù)標(biāo)題生成內(nèi)容，適配到模板。內(nèi)容僅供參考，不對其準(zhǔn)確性、真實性等作任何形式的保證，如果有任何問題或意見，請聯(lián)系contentedit@huawei.com或點擊右側(cè)用戶幫助進行反饋。我們原則上將于收到您的反饋后的5個工作日內(nèi)做出答復(fù)或反饋處理結(jié)果。
數(shù)據(jù)采集
RestAPI、SDK、Agent對接多種數(shù)據(jù)源，線上線下數(shù)據(jù)實時采集
支持多種數(shù)據(jù)源：DIS支持從用戶應(yīng)用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實時數(shù)據(jù)采集
多種數(shù)據(jù)接入方式：提供RestAPI、SDK、Agent等多種數(shù)據(jù)接入方式，用戶只需簡單配置即可實現(xiàn)實時數(shù)據(jù)采集與傳輸
數(shù)據(jù)傳輸
實時數(shù)據(jù)高并發(fā)、低延時、高可靠傳輸
DIS提供百萬連接并發(fā)，單數(shù)據(jù)流最高支持每日TB級別的數(shù)據(jù)量寫入，每個分區(qū)(partition)支持最高每日百GB級別的寫入量
每個數(shù)據(jù)流的吞吐能力可以通過動態(tài)增加partition進行擴展
數(shù)據(jù)流動
提供多種connector，對接云上數(shù)據(jù)存儲、計算、分析等多種服務(wù)，實現(xiàn)用戶數(shù)據(jù)自由流動
DIS與華為云上的OBS（ 對象存儲服務(wù) ）、MRS（ MapReduce服務(wù) ）、DWS（ 數(shù)據(jù)倉庫 服務(wù)）、CloudTable（ 表格存儲服務(wù) ）、DLI（ 數(shù)據(jù)湖探索 ）、CS（ 實時流計算服務(wù) ）、FunctionGraph（ 函數(shù)工作流 ）等服務(wù)集成，用戶通過簡單配置即可完成數(shù)據(jù)轉(zhuǎn)儲、計算、分析等功能
數(shù)據(jù)處理
預(yù)置數(shù)據(jù)抽取、匯聚、格式轉(zhuǎn)換等Connector(處理算子)，對用戶輸入數(shù)據(jù)做預(yù)處理
DIS預(yù)置Connector對接入數(shù)據(jù)做初步處理，提供CSV/Json到Parquet/CarbonData等格式的轉(zhuǎn)換，提升用戶數(shù)據(jù)質(zhì)量
數(shù)據(jù)緩存
實時數(shù)據(jù)緩存1-3天，保證實時數(shù)據(jù)消費可靠性
