本文由AI智能模型生成，在自有數(shù)據(jù)的基礎(chǔ)上，訓(xùn)練NLP文本生成模型，根據(jù)標(biāo)題生成內(nèi)容，適配到模板。內(nèi)容僅供參考，不對(duì)其準(zhǔn)確性、真實(shí)性等作任何形式的保證，如果有任何問(wèn)題或意見(jiàn)，請(qǐng)聯(lián)系contentedit@huawei.com或點(diǎn)擊右側(cè)用戶幫助進(jìn)行反饋。我們?cè)瓌t上將于收到您的反饋后的5個(gè)工作日內(nèi)做出答復(fù)或反饋處理結(jié)果。
數(shù)據(jù)采集
RestAPI、SDK、Agent對(duì)接多種數(shù)據(jù)源，線上線下數(shù)據(jù)實(shí)時(shí)采集
支持多種數(shù)據(jù)源：DIS支持從用戶應(yīng)用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實(shí)時(shí)數(shù)據(jù)采集
多種數(shù)據(jù)接入方式：提供RestAPI、SDK、Agent等多種數(shù)據(jù)接入方式，用戶只需簡(jiǎn)單配置即可實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)采集與傳輸
數(shù)據(jù)傳輸
實(shí)時(shí)數(shù)據(jù)高并發(fā)、低延時(shí)、高可靠傳輸
DIS提供百萬(wàn)連接并發(fā)，單數(shù)據(jù)流最高支持每日TB級(jí)別的數(shù)據(jù)量寫(xiě)入，每個(gè)分區(qū)(partition)支持最高每日百GB級(jí)別的寫(xiě)入量
每個(gè)數(shù)據(jù)流的吞吐能力可以通過(guò)動(dòng)態(tài)增加partition進(jìn)行擴(kuò)展
數(shù)據(jù)流動(dòng)
提供多種connector，對(duì)接云上數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等多種服務(wù)，實(shí)現(xiàn)用戶數(shù)據(jù)自由流動(dòng)
DIS與華為云上的OBS（ 對(duì)象存儲(chǔ)服務(wù) ）、MRS（ MapReduce服務(wù) ）、DWS（ 數(shù)據(jù)倉(cāng)庫(kù) 服務(wù)）、CloudTable（ 表格存儲(chǔ)服務(wù) ）、DLI（ 數(shù)據(jù)湖探索 ）、CS（ 實(shí)時(shí)流計(jì)算服務(wù) ）、FunctionGraph（ 函數(shù)工作流 ）等服務(wù)集成，用戶通過(guò)簡(jiǎn)單配置即可完成數(shù)據(jù)轉(zhuǎn)儲(chǔ)、計(jì)算、分析等功能
數(shù)據(jù)處理
預(yù)置數(shù)據(jù)抽取、匯聚、格式轉(zhuǎn)換等Connector(處理算子)，對(duì)用戶輸入數(shù)據(jù)做預(yù)處理
DIS預(yù)置Connector對(duì)接入數(shù)據(jù)做初步處理，提供CSV/Json到Parquet/CarbonData等格式的轉(zhuǎn)換，提升用戶數(shù)據(jù)質(zhì)量
數(shù)據(jù)緩存
實(shí)時(shí)數(shù)據(jù)緩存1-3天，保證實(shí)時(shí)數(shù)據(jù)消費(fèi)可靠性
