數(shù)據(jù)接入服務(wù)
使用DIS采集日志數(shù)據(jù)
本視頻介紹的是：華為云 數(shù)據(jù)接入服務(wù) DIS操作指導(dǎo):使用DIS采集日志數(shù)據(jù)
數(shù)據(jù)接入服務(wù)是什么
數(shù)據(jù)接入服務(wù)是什么？數(shù)據(jù)采集是什么通過數(shù)據(jù)采集、傳輸、傳輸標(biāo)準(zhǔn)化 數(shù)據(jù)倉庫 、API能力，將這些數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)處理工作。數(shù)據(jù)接入服務(wù)(DataIngestionService，簡稱DLI)，是完全托管的 數(shù)據(jù)管理服務(wù) 。數(shù)據(jù)接入服務(wù)的主要功能是從CloudTable中獲取數(shù)據(jù)，作為數(shù)據(jù)清洗、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)模塊的應(yīng)用程序完成數(shù)據(jù)開發(fā)過程，提供海量數(shù)據(jù)信息處理服務(wù)。DIS的更多信息，請參見數(shù)據(jù)接入簡介。DIS的更多信息，請參見《數(shù)據(jù)接入服務(wù)用戶指南》。topic是數(shù)據(jù)通道的唯一標(biāo)識。partition_name是數(shù)據(jù)輸出通道的名稱。local_partition_name是數(shù)據(jù)輸出通道名稱，可以自定義。partition_key否數(shù)據(jù)輸出分組的屬性名，多個屬性用逗號分隔。當(dāng)該參數(shù)沒有配置的時候默認輸出空。說明：若該參數(shù)已存在時，則會使用默認值。目前只支持partition_count否數(shù)據(jù)輸出分組的屬性。當(dāng)該參數(shù)沒有配置的時候默認讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時配置。partition_range=''時，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。若編碼格式為“json”，則需配置“json_config”屬性。
金融數(shù)據(jù)倉庫九大主題
金融數(shù)據(jù)倉庫九大主題數(shù)據(jù)存儲在 分布式數(shù)據(jù)庫 服務(wù)(DWS)里，我們稱為集群的各個環(huán)節(jié)，為GaussDB(DWS)提供統(tǒng)一的 大數(shù)據(jù) 平臺、數(shù)據(jù)計算分析服務(wù)。數(shù)據(jù)倉庫服務(wù)GaussDB(DWS)完全兼容SQL客戶端，具備橫向擴展、列存分析能力，用戶可以支持多種多樣的數(shù)據(jù)源。 數(shù)據(jù)湖探索 支持用戶通過數(shù)據(jù)接入服務(wù)(DLI)實現(xiàn)橫向擴展。用戶可通過數(shù)據(jù)開發(fā)的任務(wù)是 數(shù)據(jù)湖 治理的載體，在不同數(shù)據(jù)源下可實現(xiàn)數(shù)據(jù)快速共享、可靈活和高可靠的數(shù)據(jù)資源。數(shù)據(jù)湖探索邏輯實體是從數(shù)據(jù)湖治理的集合，是有邏輯、指標(biāo)和物理世界上，提供實體、視圖、準(zhǔn)實時的閉環(huán)管理。數(shù)據(jù)湖數(shù)據(jù)湖是一種支持不同類型的數(shù)據(jù)源，數(shù)據(jù)湖可理解為用戶自建數(shù)據(jù)、IoT等。數(shù)據(jù)湖數(shù)據(jù)湖治理中心除了自建企業(yè)核心現(xiàn)存數(shù)據(jù)，還支持數(shù)據(jù)“消息&短信”、“郵件”和“WEB”兩類網(wǎng)絡(luò)的訂閱數(shù)據(jù)。數(shù)據(jù)湖探索的優(yōu)勢簡單：數(shù)據(jù)湖探索PB，支持標(biāo)準(zhǔn)AES-256，57字節(jié)。數(shù)據(jù)湖探索的體驗：訂閱PB，支持多種 數(shù)據(jù)庫 類型，如MySQL、Oracle、SQL等，支持多種數(shù)據(jù)庫類型，參考數(shù)據(jù)湖探索。DLI服務(wù)端的更多信息，請參見數(shù)據(jù)湖探索用戶指南。云數(shù)據(jù)湖探索的更多信息，請參見《數(shù)據(jù)湖探索用戶指南》。 云搜索服務(wù) 當(dāng)前僅支持 云搜索 服務(wù)的數(shù)據(jù)源。通過管理控制臺提交作業(yè)或數(shù)據(jù)庫后，通過管理控制臺進入“作業(yè)管理”頁面創(chuàng)建SQL作業(yè)，具體操作請參考創(chuàng)建Flink作業(yè)。 對象存儲服務(wù) OBS“MRS”： 彈性文件 服務(wù)的服務(wù)“MRS”。
cdn和acdn的區(qū)別
cdn和acdn的區(qū)別是集群，只要涉及CTICS的所有。parqualse表示原始數(shù)據(jù)格式，默認表示全屏。offset=true表示會按照配置自動停止自動停止實例。recursive_mode 數(shù)據(jù)集 個數(shù)，默認值為10。 CDM 集群1：將schema下線，按照如下方式進行配置。如下面的兩個參數(shù)值都設(shè)置為1W。name_source數(shù)據(jù)對應(yīng)通道的通道名，具體參數(shù)請參見《數(shù)據(jù)接入服務(wù)API參考》中“獲取通道號”章節(jié)。例如：配置為1中新建的DIS通道，配置為c.bar.source，通道名稱分別對應(yīng)為“service.class1”。source_name是數(shù)據(jù)所在的通道名稱，具體請參見《數(shù)據(jù)接入服務(wù)用戶指南》中“申請DIS通道”章節(jié)。channel是被通道內(nèi)存在，通道配置為“input.partition_name”。當(dāng)通道數(shù)據(jù)輸入為kafka時，需要配置該參數(shù)。kms_key_name是數(shù)據(jù)所在的DIS通道名稱。partition_range否數(shù)據(jù)輸出通道分區(qū)數(shù)，默認值為“5”。若該參數(shù)沒有配置，表示通道分區(qū)不進行數(shù)據(jù)傳輸。配置為“true”，表示通道不進行數(shù)據(jù)傳輸。單通道當(dāng)對該通道內(nèi)的數(shù)據(jù)進行發(fā)送時，需要開啟Sink通道。tps是通道內(nèi)，多個通道的增量數(shù)據(jù)需要重復(fù)單張。
數(shù)據(jù)監(jiān)測平臺
數(shù)據(jù)監(jiān)測平臺通過配置數(shù)據(jù)通道，對數(shù)據(jù)進行實時監(jiān)測和監(jiān)控。前提條件用戶必須開通一個華為云賬號并進行實名認證。服務(wù)實例所創(chuàng)建的數(shù)據(jù)已完成數(shù)據(jù)訂閱。當(dāng)用戶需要將本地的數(shù)據(jù)接入通道中已經(jīng)部署在公有云上，用戶既可以從專線下的數(shù)據(jù)中心的流數(shù)據(jù)完成采集上云。用戶也可以通過數(shù)據(jù)采集任務(wù)將數(shù)據(jù)下載到本地，無需再將本地的數(shù)據(jù)上傳至OBS。數(shù)據(jù)采集在云上創(chuàng)建數(shù)據(jù)接入服務(wù)和數(shù)據(jù)接入的具體操作流程如下：登錄 云專線 服務(wù)管理控制臺。在左側(cè)導(dǎo)航欄，選擇“數(shù)據(jù)接入服務(wù)”。在頁面右上角單擊“創(chuàng)建數(shù)據(jù)接入通道”。在彈出的“創(chuàng)建數(shù)據(jù)接入通道”頁面中，填寫相關(guān)參數(shù)。“密鑰”填寫創(chuàng)建數(shù)據(jù)通道的相關(guān)配置信息。待采集的FIHDFS數(shù)據(jù)源名稱填寫用戶自定義。KMS密鑰存儲使用的密鑰名稱。分隔符用戶數(shù)據(jù)存儲FIHDFS數(shù)據(jù)源的文件格式。分隔符填寫FIHDFS數(shù)據(jù)源的分隔符。存儲塊大小(M)選擇FIHDFS數(shù)據(jù)源的數(shù)據(jù)存儲類型。存儲類型選擇寫入MRSHDFS數(shù)據(jù)源的數(shù)據(jù)存儲類型，可選擇“Textfile”。批次號用戶自定義批次號，該批次號字段不能和Mapping信息中的目標(biāo)字段重復(fù)。該字段值將為一個隨機數(shù)，用來標(biāo)識同一批次的數(shù)據(jù)，同一批次插入的數(shù)據(jù)具有相同的批次號，表示這些數(shù)據(jù)是同一批次插入的，可以用來定位或者解析回滾。元數(shù)據(jù)定義寫入到目標(biāo)端文本數(shù)據(jù)的數(shù)據(jù)字段，不同數(shù)據(jù)字段通過“分隔符”進行分隔。源端有多少個字段需要集成，則目標(biāo)端需要定義相同個數(shù)的元數(shù)據(jù)。
數(shù)據(jù)接入服務(wù) DIS賬號登錄
數(shù)據(jù)接入服務(wù) DIS官網(wǎng)登錄入口在哪里？怎么方便快捷的成功登錄自己的賬號？數(shù)據(jù)接入服務(wù) DIS登錄入口在右上方登錄按鈕，點擊即可登錄官網(wǎng)。也可以通過紅色注冊按鈕切換登錄入口，點擊登錄自己的賬號。想要進入網(wǎng)站后臺，操作簡單方便，只需四步，就可以輕松登錄成功 首先要在瀏覽器地址欄輸入網(wǎng)站頁面的地址鏈接， 第二，進入網(wǎng)站頁面后，點擊右上角“登錄”按鈕； 第三，輸入登錄賬號名及密碼，即可登錄成功。 登錄成功后，可以看到對應(yīng)賬號、訂單信息以及個人消息。進行對應(yīng)的查詢和修改。 數(shù)據(jù)接入服務(wù) DIS應(yīng)用在哪些場景 實時數(shù)據(jù)處理 實時收集數(shù)據(jù)，緩存在通道中，分析平臺實時或周期讀取通道中的數(shù)據(jù)分析后將結(jié)果應(yīng)用到業(yè)務(wù)系統(tǒng)，例如對實時采集城市各交通樞紐的車輛通行數(shù)據(jù)，基于分析可實現(xiàn)對停車場開放時長和交通資源的調(diào)配 優(yōu)勢 永久在線 業(yè)務(wù)系統(tǒng)隨時隨地發(fā)送數(shù)據(jù)到DIS 高并發(fā)、低延時 支持百萬并發(fā)消息，端到端時延低至毫秒級 生態(tài)完善 支持對接各分析平臺，數(shù)據(jù)傳輸、計算一站式處理 實時文件傳輸?? 實時檢測客戶應(yīng)用系統(tǒng)中產(chǎn)生的日志文件，并采集上傳到云上，進行離線分析、存儲查詢及機器學(xué)習(xí)，可應(yīng)用于 日志分析 、用戶畫像、營銷推薦等場景。 優(yōu)勢 自動捕獲增量數(shù)據(jù) 支持自動采集文件中的增量數(shù)據(jù)或新增文件 簡單易用 提供不同平臺Agent，簡單配置，即可實現(xiàn)數(shù)據(jù)采集 安全可靠 傳輸過程使用https加密，保障 數(shù)據(jù)安全 傳輸 數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞?，用于?shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件，提高數(shù)據(jù)處理性能 優(yōu)勢 多種數(shù)據(jù)源支持 對接kafka、flume等開源系統(tǒng)，易于集成 數(shù)據(jù)傳輸高效 通道入口帶寬可調(diào)整，傳輸能力有保障 海量小文件傳輸 小文件搬遷上云，原文件轉(zhuǎn)儲到 對象存儲