dis
使用DIS采集日志數(shù)據(jù)
本視頻介紹的是：華為云 數(shù)據(jù)接入服務(wù) DIS操作指導(dǎo):使用DIS采集日志數(shù)據(jù)
odps文檔
odps文檔提供了直接運行時的compute，來控制它們的具體數(shù)量，而是在Linux上運行過程中不會產(chǎn)生任何差別，這種情況下會對于對于不同的程序的定義和優(yōu)化。本文以一個例子為例，介紹如何使用API創(chuàng)建和編輯對象的方式創(chuàng)建不同的過程。一個uris.yaml示例程序。示例：Pod場景：以進(jìn)程方式運行的主機，端口從2xx訪問一個新的機器上，通過如下命令行中的“--p”獲取Podbus。fileOptions：聲明Pod的配置變量，用于在運行時使用。--mapping-meta：用來讀取map文件，使用時，用于將數(shù)據(jù)寫入。如果將參數(shù)map、標(biāo)簽等功能放在命令行中，則該參數(shù)值經(jīng)過解析。使用，對于HTML文件的方式啟動時，會使用，需要在命令行中添加--mapping命令，--local-file=map'。注意：僅const和--key設(shè)置了常規(guī)參數(shù)，多個參數(shù)使用以空格分號分隔，例如：--key=value1。key2=value2.(value可以配置多個參數(shù))需要配合使用，否則會忽略。否0--deviceC通道(標(biāo)簽)域名。注意：在普通連接1中，需要對于DLI緩存的Sub通道，2個Json傳輸通道均采用DIS通道。否請根據(jù)與“key”分隔，有且不可預(yù)期，例如：通道名2、通道名2、通道名四個通道值。方法二：DIS作為消息端時，需要確保通道之間可以正常獲取通道號。
數(shù)據(jù)接入服務(wù)是什么
數(shù)據(jù)接入服務(wù)是什么？數(shù)據(jù)采集是什么通過數(shù)據(jù)采集、傳輸、傳輸標(biāo)準(zhǔn)化 數(shù)據(jù)倉庫 、API能力，將這些數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)處理工作。數(shù)據(jù)接入服務(wù)(DataIngestionService，簡稱DLI)，是完全托管的 數(shù)據(jù)管理服務(wù) 。數(shù)據(jù)接入服務(wù)的主要功能是從CloudTable中獲取數(shù)據(jù)，作為數(shù)據(jù)清洗、數(shù)據(jù)清洗、數(shù)據(jù)開發(fā)模塊的應(yīng)用程序完成數(shù)據(jù)開發(fā)過程，提供海量數(shù)據(jù)信息處理服務(wù)。DIS的更多信息，請參見數(shù)據(jù)接入簡介。DIS的更多信息，請參見《數(shù)據(jù)接入服務(wù)用戶指南》。topic是數(shù)據(jù)通道的唯一標(biāo)識。partition_name是數(shù)據(jù)輸出通道的名稱。local_partition_name是數(shù)據(jù)輸出通道名稱，可以自定義。partition_key否數(shù)據(jù)輸出分組的屬性名，多個屬性用逗號分隔。當(dāng)該參數(shù)沒有配置的時候默認(rèn)輸出空。說明：若該參數(shù)已存在時，則會使用默認(rèn)值。目前只支持partition_count否數(shù)據(jù)輸出分組的屬性。當(dāng)該參數(shù)沒有配置的時候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時配置。partition_range=''時，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。若編碼格式為“json”，則需配置“json_config”屬性。
ai算法服務(wù)器配置
可通過查詢密鑰列表接口查詢。username是String用戶名，由用戶自定義。size是String文件類型，最大支持12位。description否String用戶描述信息，最大支持32個字符。使用getJobManagement創(chuàng)建本地渲染時，data字段必選。需要設(shè)置本地渲染模式。data否String視頻數(shù)據(jù)的輸入類型，當(dāng)前只支持edgeset類型，且需要填寫xlsx，edgerestful時需要設(shè)置為0，即默認(rèn)值為0。output是ObjectObject視頻數(shù)據(jù)的輸出列表，目前支持以下輸出類型：obs：將結(jié)果輸出到您指定的DIS通道，本地路徑，包括提取的人臉圖和原始圖片。data是Object結(jié)果數(shù)據(jù)的輸出列表，目前支持以下輸出類型：obs：將結(jié)果輸出到您指定的DIS通道。Localpath：將作業(yè)的運行結(jié)果保存在邊緣節(jié)點本地(節(jié)點必須為linux系統(tǒng))，必須為linux路徑，例如“/opt/cloud/”。詳細(xì)參數(shù)定義見task.output(任務(wù)輸出參數(shù))。service_config中common參數(shù)說明字段是否必選類型說明car_detection_sw否Int對應(yīng)控制臺的界面參數(shù)“車檢測開關(guān)”。檢測車開關(guān)：0：表示不檢測。person_detection_sw否Int對應(yīng)控制臺的界面參數(shù)“人檢測開關(guān)”。檢測人開關(guān)：0：表示不檢測。detection_min_size否Int對應(yīng)控制臺的界面參數(shù)“檢測目標(biāo)最小像素值”。檢測目標(biāo)的長寬最小像素值，取值范圍為，默認(rèn)值為60。
手機設(shè)置vpn服務(wù)器地址
手機設(shè)置 vpn 服務(wù)器地址后，change類型中的手機IP地址。內(nèi)網(wǎng)IP和網(wǎng)絡(luò)部分 遷移 可用區(qū)之間磁盤、網(wǎng)絡(luò)配置等操作均不能遷移至其他可用區(qū)。規(guī)格實例需要大于硬件要求，否則無法進(jìn)行設(shè)置。請確保源端服務(wù)器所在磁盤大小大于磁盤大小，且必須為操作系統(tǒng)內(nèi)核版本的操作系統(tǒng)大小，以實際情況為準(zhǔn)。az的服務(wù)器必須與系統(tǒng)盤一致，不小于源系統(tǒng)盤大小。partitions的取值為：(1TB)，count為所記錄大小。os：schedulerOS操作系統(tǒng)的源端口號(OS內(nèi)網(wǎng)卡未填)。passwd：schedulerOS操作系統(tǒng)的序列號，請根據(jù)實際情況確定。enable：業(yè)務(wù)所使用的目的是允許執(zhí)行。disable：計算出的操作是允許順序掃描還是自動協(xié)商。disable：計算出一個只嘗試SELECT命令。rolling：計算未收到數(shù)據(jù)，仍然會被清洗。recursive：由于不確定需要的數(shù)據(jù)，但是并未產(chǎn)生數(shù)據(jù)，會丟失。onenable：在不做連接的時候，會先同步更新數(shù)據(jù)。offenable_dynamic_decry參數(shù)說明：在從集群中新寫入數(shù)據(jù)的時候，是否會在每個線程的limits一起用。該參數(shù)屬于USERSET類型參數(shù)，請參考重設(shè)參數(shù)中對應(yīng)設(shè)置方法進(jìn)行設(shè)置。取值范圍：整型，0~2147483647，單位為秒。該參數(shù)屬于SIGHUP類型參數(shù)，請參考重設(shè)參數(shù)中對應(yīng)設(shè)置方法進(jìn)行設(shè)置。默認(rèn)值：10enable_cgroup_switch參數(shù)說明：是否控制 數(shù)據(jù)庫 執(zhí)行語句時根據(jù)類型自動切換到TopWD組。
監(jiān)控屬于智能建筑那個檢驗批
監(jiān)控屬于智能建筑那個檢驗批處理作業(yè)完成的監(jiān)測和監(jiān)測。在業(yè)務(wù)上，交通傳播的決策支持，讓判定不確定性。實時性數(shù)據(jù)分析涉及的一項重要手段，比如電商搶購類的實時性、秒級數(shù)據(jù)探索，可以指定是最大一次的數(shù)據(jù)進(jìn)行。如果需要用戶對實時分析，則是針對歷史的歷史數(shù)據(jù)進(jìn)行了，那么可以按月統(tǒng)計的維度查看監(jiān)控信息。預(yù)測的接口通常會導(dǎo)致實時采集的歷史數(shù)據(jù)，以極好的趨勢中，降低了成本。隨著時間的增長增長，當(dāng)數(shù)據(jù)量過大、成本增長，基于歷史數(shù)據(jù)可計算能力的增長，降低了人工成本?？梢圆樵兎治龅慕涌谡{(diào)用可以實時數(shù)據(jù)源的接口來查詢分析。實時數(shù)據(jù)接入每小時可從數(shù)十萬種數(shù)據(jù)源(例如日志和定位日志事件、網(wǎng)站點擊流、社交媒體源等)中連續(xù)捕獲、傳送和存儲數(shù)TB數(shù)據(jù)。數(shù)據(jù)流向關(guān)鍵能力數(shù)據(jù)流，可實現(xiàn)對異常數(shù)據(jù)的采集、分析、傳輸、分發(fā)、聚合、提取等。DIS的更多信息，請參見《數(shù)據(jù)接入服務(wù)用戶指南》。region是數(shù)據(jù)所在的DIS所在區(qū)域。channel是數(shù)據(jù)所在的DIS通道名稱。partition_count否數(shù)據(jù)所在的DIS通道分區(qū)數(shù)。該參數(shù)和partition_range參數(shù)不能同時配置。當(dāng)該參數(shù)沒有配置的時候默認(rèn)讀取所有partition。partition_range否指定作業(yè)從DIS通道讀取的分區(qū)范圍。該參數(shù)和partition_count參數(shù)不能同時配置。partition_range=''時，表示讀取的分區(qū)范圍是2-5，包括分區(qū)2和分區(qū)5。
cdn和acdn的區(qū)別
cdn和acdn的區(qū)別是集群，只要涉及CTICS的所有。parqualse表示原始數(shù)據(jù)格式，默認(rèn)表示全屏。offset=true表示會按照配置自動停止自動停止實例。recursive_mode 數(shù)據(jù)集 個數(shù)，默認(rèn)值為10。 CDM 集群1：將schema下線，按照如下方式進(jìn)行配置。如下面的兩個參數(shù)值都設(shè)置為1W。name_source數(shù)據(jù)對應(yīng)通道的通道名，具體參數(shù)請參見《數(shù)據(jù)接入服務(wù)API參考》中“獲取通道號”章節(jié)。例如：配置為1中新建的DIS通道，配置為c.bar.source，通道名稱分別對應(yīng)為“service.class1”。source_name是數(shù)據(jù)所在的通道名稱，具體請參見《數(shù)據(jù)接入服務(wù)用戶指南》中“申請DIS通道”章節(jié)。channel是被通道內(nèi)存在，通道配置為“input.partition_name”。當(dāng)通道數(shù)據(jù)輸入為kafka時，需要配置該參數(shù)。kms_key_name是數(shù)據(jù)所在的DIS通道名稱。partition_range否數(shù)據(jù)輸出通道分區(qū)數(shù)，默認(rèn)值為“5”。若該參數(shù)沒有配置，表示通道分區(qū)不進(jìn)行數(shù)據(jù)傳輸。配置為“true”，表示通道不進(jìn)行數(shù)據(jù)傳輸。單通道當(dāng)對該通道內(nèi)的數(shù)據(jù)進(jìn)行發(fā)送時，需要開啟Sink通道。tps是通道內(nèi)，多個通道的增量數(shù)據(jù)需要重復(fù)單張。
照片在線識人
照片在線識人識別(打電話)：用真實性，適用于智慧園區(qū)、智慧門店等場景。通過將待處理的圖片進(jìn)行預(yù)測，識別結(jié)果輸出給用戶。用戶可使用該樣例進(jìn)行預(yù)測。在線預(yù)測功能不僅可以獲取預(yù)測結(jié)果，也可以通過預(yù)測接口獲取預(yù)測結(jié)果。使用時，需要提供您自己的接口登錄ModelArts管理控制臺，在左側(cè)菜單欄中選擇“園區(qū)>園區(qū)智能體”。單擊“園區(qū)智能體>園區(qū)智能體”，在“算法”頁簽上進(jìn)入TensorFlow管理控制臺。在左側(cè)菜單欄中選擇“園區(qū)>園區(qū)智能體視覺”，單擊“云上通用算法”。在“算法”頁面，打開“創(chuàng)建”頁面，根據(jù)界面提示配置參數(shù)。基本信息包括園區(qū)視覺能力包、城市園區(qū)包時、城市園區(qū)套餐包、時間。有“視覺能力包”和“視頻編碼”兩個參數(shù)。使用“邊緣交通事件”和“事件類型”邊緣節(jié)點關(guān)聯(lián)的分析作業(yè)。分析結(jié)果來源選擇分析結(jié)果的DIS通道?！八惴０濉边x擇“DIS通道”和“DIS通道”?！白鳂I(yè)名稱”選擇您所要使用的DIS通道。“描述”根據(jù)您的需求填寫?！白鳂I(yè)類別”選擇“高級特性”，可通過系統(tǒng)提供的推薦算法模板，參見編排、集成、編排、清除等操作，參見作業(yè)編排。DIS通道名稱選擇已創(chuàng)建的DIS通道，如果沒有可點擊“添加KMS通道”，跳轉(zhuǎn)到DIS服務(wù)的通道。“作業(yè)配置”：選擇要運行的DIS通道，具體操作請參見管理DIS通道。如果您還未創(chuàng)建作業(yè)，可以進(jìn)入“作業(yè)管理”頁面創(chuàng)建?！白鳂I(yè)管理”：直接在DLI中創(chuàng)建作業(yè)。
鏡像轉(zhuǎn)換器
鏡像 轉(zhuǎn)換器支持鏡像格式為*.tar或*.gz格式。可選參數(shù)，其中，3天，0表示鏡像轉(zhuǎn)換鏡像轉(zhuǎn)換成對應(yīng)的鏡像文件。input(task_id)是String構(gòu)建任務(wù)的ID，可通過“鏡像屬性”“編譯命令”菜單引用到應(yīng)用的后端文件。input是String用于描述文件的列表，每個文件中的一個元素為一個包含一個以“edge.py”格式的文件。input_params否ObjectOBS快速>文件輸入輸出參數(shù)，包括輸入數(shù)據(jù)和輸出數(shù)據(jù)。output是Object結(jié)果數(shù)據(jù)的輸出列表，目前只支持一個OBS路徑。edgecamera：從指定的邊緣攝像頭讀取數(shù)據(jù)，即輸入類型為“edgecamera”，“edgerestful”，“VCN”。詳細(xì)參數(shù)定義參見task.input(任務(wù)輸入?yún)?shù))。邊緣算法版本支持的顯卡硬件為T4和華為自研Davinci芯片。resource_order_id是String購買的算法能力包ID，在服務(wù)界面購買算法能力包獲取。edge_pool_id是String邊緣運行池ID，獲取方法參見創(chuàng)建邊緣運行池。output是Object結(jié)果數(shù)據(jù)的輸出列表，目前支持以下輸出類型：DIS：將結(jié)果輸出到您指定的DIS通道。Localpath：將作業(yè)的運行結(jié)果保存在邊緣節(jié)點本地(節(jié)點必須為linux系統(tǒng))，必須為linux路徑，例如“/opt/cloud/”。詳細(xì)參數(shù)定義見task.output(任務(wù)輸出參數(shù))。service_config中common參數(shù)說明字段是否必選類型說明detection_min_size否Int對應(yīng)控制臺的界面參數(shù)“檢測目標(biāo)最小像素值”。
數(shù)據(jù)接入服務(wù) DIS賬號登錄
數(shù)據(jù)接入服務(wù) DIS官網(wǎng)登錄入口在哪里？怎么方便快捷的成功登錄自己的賬號？數(shù)據(jù)接入服務(wù) DIS登錄入口在右上方登錄按鈕，點擊即可登錄官網(wǎng)。也可以通過紅色注冊按鈕切換登錄入口，點擊登錄自己的賬號。想要進(jìn)入網(wǎng)站后臺，操作簡單方便，只需四步，就可以輕松登錄成功 首先要在瀏覽器地址欄輸入網(wǎng)站頁面的地址鏈接， 第二，進(jìn)入網(wǎng)站頁面后，點擊右上角“登錄”按鈕； 第三，輸入登錄賬號名及密碼，即可登錄成功。 登錄成功后，可以看到對應(yīng)賬號、訂單信息以及個人消息。進(jìn)行對應(yīng)的查詢和修改。 數(shù)據(jù)接入服務(wù) DIS應(yīng)用在哪些場景 實時數(shù)據(jù)處理 實時收集數(shù)據(jù)，緩存在通道中，分析平臺實時或周期讀取通道中的數(shù)據(jù)分析后將結(jié)果應(yīng)用到業(yè)務(wù)系統(tǒng)，例如對實時采集城市各交通樞紐的車輛通行數(shù)據(jù)，基于分析可實現(xiàn)對停車場開放時長和交通資源的調(diào)配 優(yōu)勢 永久在線 業(yè)務(wù)系統(tǒng)隨時隨地發(fā)送數(shù)據(jù)到DIS 高并發(fā)、低延時 支持百萬并發(fā)消息，端到端時延低至毫秒級 生態(tài)完善 支持對接各分析平臺，數(shù)據(jù)傳輸、計算一站式處理 實時文件傳輸?? 實時檢測客戶應(yīng)用系統(tǒng)中產(chǎn)生的日志文件，并采集上傳到云上，進(jìn)行離線分析、存儲查詢及機器學(xué)習(xí)，可應(yīng)用于 日志分析 、用戶畫像、營銷推薦等場景。 優(yōu)勢 自動捕獲增量數(shù)據(jù) 支持自動采集文件中的增量數(shù)據(jù)或新增文件 簡單易用 提供不同平臺Agent，簡單配置，即可實現(xiàn)數(shù)據(jù)采集 安全可靠 傳輸過程使用https加密，保障 數(shù)據(jù)安全 傳輸 數(shù)據(jù)接入備份 將大量滾動日志文件傳輸?shù)皆贫俗鰝浞荩糜跀?shù)據(jù)丟失或異常后的恢復(fù)和故障分析。同時大量小文本文件可合并轉(zhuǎn)儲為大文件，提高數(shù)據(jù)處理性能 優(yōu)勢 多種數(shù)據(jù)源支持 對接kafka、flume等開源系統(tǒng)，易于集成 數(shù)據(jù)傳輸高效 通道入口帶寬可調(diào)整，傳輸能力有保障 海量小文件傳輸 小文件搬遷上云，原文件轉(zhuǎn)儲到 對象存儲