數(shù)據(jù)源
數(shù)據(jù)湖探索電商行業(yè)
精準(zhǔn)營銷 電商行業(yè)需要獲取多個途徑的信息做關(guān)聯(lián)分析，以便更好地做精準(zhǔn)營銷，提高轉(zhuǎn)化率。如：關(guān)聯(lián)【頁面廣告點(diǎn)擊事件數(shù)據(jù)】和【用戶注冊數(shù)據(jù)】，獲取不同年齡段喜歡的廣告類型，以便對不同年齡段用戶投放更精準(zhǔn)的廣告 優(yōu)勢 跨源分析 數(shù)據(jù)免搬遷，就可以關(guān)聯(lián)分析存在OBS中的【頁面廣告點(diǎn)擊事件數(shù)據(jù)】和RDS中的【用戶注冊數(shù)據(jù)】 純SQL操作 DLI已對接多個數(shù)據(jù)源，直接通過SQL建表就可以完成數(shù)據(jù)源的映射 建議搭配使用： 對象存儲服務(wù) OBS、 數(shù)據(jù)接入服務(wù) DIS
數(shù)據(jù)接入服務(wù)數(shù)據(jù)接入備份
數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞?，用于?shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件，提高數(shù)據(jù)處理性能 優(yōu)勢 多種數(shù)據(jù)源支持 對接kafka、flume等開源系統(tǒng)，易于集成 數(shù)據(jù)傳輸高效 通道入口帶寬可調(diào)整，傳輸能力有保障 海量小文件傳輸 小文件搬遷上云，原文件轉(zhuǎn)儲到 對象存儲 建議搭配使用：對象存儲服務(wù) OBS
數(shù)據(jù)接入服務(wù)功能描述
數(shù)據(jù)采集 RestAPI、SDK、Agent對接多種數(shù)據(jù)源，線上線下數(shù)據(jù)實(shí)時采集 支持多種數(shù)據(jù)源：DIS支持從用戶應(yīng)用系統(tǒng)、kafka系統(tǒng)、Flume系統(tǒng)做實(shí)時數(shù)據(jù)采集 多種數(shù)據(jù)接入方式：提供RestAPI、SDK、Agent等多種數(shù)據(jù)接入方式，用戶只需簡單配置即可實(shí)現(xiàn)實(shí)時數(shù)據(jù)采集與傳輸 數(shù)據(jù)傳輸 實(shí)時數(shù)據(jù)高并發(fā)、低延時、高可靠傳輸 DIS提供百萬連接并發(fā)，單數(shù)據(jù)流最高支持每日TB級別的數(shù)據(jù)量寫入，每個分區(qū)(partition)支持最高每日百GB級別的寫入量 每個數(shù)據(jù)流的吞吐能力可以通過動態(tài)增加partition進(jìn)行擴(kuò)展 數(shù)據(jù)流動 提供多種connector，對接云上數(shù)據(jù)存儲、計(jì)算、分析等多種服務(wù)，實(shí)現(xiàn)用戶數(shù)據(jù)自由流動 DIS與華為云上的OBS（對象存儲服務(wù)）、MRS（ MapReduce服務(wù) ）、DWS（ 數(shù)據(jù)倉庫 服務(wù)）、CloudTable（ 表格存儲服務(wù) ）、DLI（ 數(shù)據(jù)湖探索 ）、CS（ 實(shí)時流計(jì)算服務(wù) ）、FunctionGraph（ 函數(shù)工作流 ）等服務(wù)集成，用戶通過簡單配置即可完成數(shù)據(jù)轉(zhuǎn)儲、計(jì)算、分析等功能 數(shù)據(jù)處理 預(yù)置數(shù)據(jù)抽取、匯聚、格式轉(zhuǎn)換等Connector(處理算子)，對用戶輸入數(shù)據(jù)做預(yù)處理 DIS預(yù)置Connector對接入數(shù)據(jù)做初步處理，提供CSV/Json到Parquet/CarbonData等格式的轉(zhuǎn)換，提升用戶數(shù)據(jù)質(zhì)量 數(shù)據(jù)緩存 實(shí)時數(shù)據(jù)緩存1-3天，保證實(shí)時數(shù)據(jù)消費(fèi)可靠性
云數(shù)據(jù)遷移產(chǎn)品特性
支持多種數(shù)據(jù)源批量入湖 ：支持近20種數(shù)據(jù)源之間的 數(shù)據(jù)遷移 支持FTP、SFTP、OBS、HDFS文件類數(shù)據(jù)源 支持MRS(Hive/HDFS/HBase)、DWS、RDS、CloudTable、DIS、Elasticsearch云服務(wù) 支持MySQL、Oracle、Db2、SQLServer、PostgreSQL 數(shù)據(jù)庫 ，自建或第三方云服務(wù) 支持NoSQL數(shù)據(jù)庫：Redis、MongoDB以及DCS、DDS云服務(wù) 簡單易用 ：全向?qū)饺蝿?wù)管理界面，輕松應(yīng)對復(fù)雜 遷移 場景 提供可視化任務(wù)創(chuàng)建向?qū)?，幫助用戶在幾分鐘?nèi)完成數(shù)據(jù)遷移任務(wù)的創(chuàng)建 提供RESTful接口，方便與第三方系統(tǒng)集成對接 支持對遷移任務(wù)監(jiān)控，幫助用戶實(shí)時掌握任務(wù)執(zhí)行狀態(tài)，快速定位異常 不符合預(yù)定義規(guī)則的臟數(shù)據(jù)自動歸檔到OBS，方便用戶分析異常數(shù)據(jù) 支持多種數(shù)據(jù)入湖方式 ：支持單表遷移、整庫遷移、周期性遷移、文件遷移、增量遷移 可根據(jù)需要配置單表、文件、目錄或整個 數(shù)據(jù)庫遷移 支持文件增量遷移，數(shù)據(jù)表where條件，時間變量函數(shù)等增量手段 支持多種定時策略實(shí)現(xiàn)周期性遷移 針對不同數(shù)據(jù)源進(jìn)行數(shù)據(jù)遷移性能優(yōu)化，尤其是Hive、HBase、MySQL、DWS、OBS
云數(shù)據(jù)遷移數(shù)據(jù)批量入湖
數(shù)據(jù)批量入湖 支持用戶本地?cái)?shù)據(jù)全量和T+1增量入湖 優(yōu)勢 多種數(shù)據(jù)源支持 支持關(guān)系型數(shù)據(jù)庫、 大數(shù)據(jù) 、文件、NoSQL多種數(shù)據(jù)源 增量同步 通過遷移作業(yè)的where條件配合調(diào)度系統(tǒng)實(shí)現(xiàn)增量同步 高效同步 基于數(shù)據(jù)源特點(diǎn)采取并發(fā)拆分增強(qiáng)遷移性能 建議搭配使用： 云專線 DC、MapReduce服務(wù)、 表格存儲 服務(wù)CloudTable、 數(shù)據(jù)湖 探索 DLI