dis
數(shù)據(jù)接入服務功能描述
數(shù)據(jù)采集 RestAPI、SDK、Agent對接多種數(shù)據(jù)源，線上線下數(shù)據(jù)實時采集 支持多種數(shù)據(jù)源：DIS支持從用戶應用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實時數(shù)據(jù)采集 多種數(shù)據(jù)接入方式：提供RestAPI、SDK、Agent等多種數(shù)據(jù)接入方式，用戶只需簡單配置即可實現(xiàn)實時數(shù)據(jù)采集與傳輸 數(shù)據(jù)傳輸 實時數(shù)據(jù)高并發(fā)、低延時、高可靠傳輸 DIS提供百萬連接并發(fā)，單數(shù)據(jù)流最高支持每日TB級別的數(shù)據(jù)量寫入，每個分區(qū)(partition)支持最高每日百GB級別的寫入量 每個數(shù)據(jù)流的吞吐能力可以通過動態(tài)增加partition進行擴展 數(shù)據(jù)流動 提供多種connector，對接云上數(shù)據(jù)存儲、計算、分析等多種服務，實現(xiàn)用戶數(shù)據(jù)自由流動 DIS與華為云上的OBS（ 對象存儲服務 ）、MRS（ MapReduce服務 ）、DWS（ 數(shù)據(jù)倉庫 服務）、CloudTable（ 表格存儲服務 ）、DLI（ 數(shù)據(jù)湖探索 ）、CS（ 實時流計算服務 ）、FunctionGraph（ 函數(shù)工作流 ）等服務集成，用戶通過簡單配置即可完成數(shù)據(jù)轉儲、計算、分析等功能 數(shù)據(jù)處理 預置數(shù)據(jù)抽取、匯聚、格式轉換等Connector(處理算子)，對用戶輸入數(shù)據(jù)做預處理 DIS預置Connector對接入數(shù)據(jù)做初步處理，提供CSV/Json到Parquet/CarbonData等格式的轉換，提升用戶數(shù)據(jù)質(zhì)量 數(shù)據(jù)緩存 實時數(shù)據(jù)緩存1-3天，保證實時數(shù)據(jù)消費可靠性