數(shù)據(jù)治理中心基本概念介紹
常用的基本概念
DataArts Studio實例:是數(shù)據(jù)治理中心給用戶提供的最小計算資源單位。數(shù)據(jù)治理中心以DataArts Studio實例的方式提供給用戶,用戶可以同時創(chuàng)建多個DataArts Studio實例,并分別管理和訪問每個DataArts Studio實例。
工作空間:是從系統(tǒng)層面為管理者提供對使用DataArts Studio的用戶(成員)權限、資源、DataArts Studio底層計算引擎配置的管理能力。工作空間作為成員管理、角色和權限分配的基本單元,每個團隊都可具有獨立的工作空間。您只有在加入工作空間并被分配權限后,才可具備各個模塊的系列操作權限。
成員與角色:成員是被授予工作空間訪問或使用權限的華為云帳號。在添加工作空間成員時,您需要同時為添加的成員設置相應的角色。
角色是一組操作權限的集合。不同的角色擁有不同的操作權限,把角色授予成員后,成員即具有了角色的所有權限。每位成員至少要擁有一個角色,并且可以同時擁有多種角色。
數(shù)據(jù)集成集群:一個數(shù)據(jù)集成集群運行在一個彈性云服務器之上,用戶可以在集群中創(chuàng)建數(shù)據(jù)遷移作業(yè),在云上和云下的同構/異構數(shù)據(jù)源之間批量遷移數(shù)據(jù)。
數(shù)據(jù)源:即數(shù)據(jù)的來源,本質是講存儲或處理數(shù)據(jù)的媒介,比如:關系型數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖等。每一種數(shù)據(jù)源不同,其數(shù)據(jù)的存儲、傳輸、處理和應用的模式、場景、技術和工具也不相同。
源數(shù)據(jù):源數(shù)據(jù)強調數(shù)據(jù)狀態(tài)是“創(chuàng)建”之后的“原始狀態(tài)”,也就是沒有被加工處理的數(shù)據(jù)。在數(shù)據(jù)管理的過程中,源數(shù)據(jù)一般是指直接來自源文件(業(yè)務系統(tǒng)數(shù)據(jù)庫、線下文件、IoT等)的數(shù)據(jù),或者直接拷貝源文件的“副本數(shù)據(jù)”。
數(shù)據(jù)連接:定義訪問數(shù)據(jù)實體存儲(計算)空間所需的信息的集合,包括連接類型、名稱和登錄信息等。
并發(fā)數(shù):并發(fā)數(shù)是數(shù)據(jù)集成作業(yè)中,可以從源端并行讀取的最大線程數(shù)。
作業(yè):在數(shù)據(jù)開發(fā)中,作業(yè)由一個或多個節(jié)點組成,共同執(zhí)行以完成對數(shù)據(jù)的一系列操作。
節(jié)點:節(jié)點用于定義對數(shù)據(jù)執(zhí)行的操作。例如,使用“MRS Spark”節(jié)點可以實現(xiàn)在MRS中執(zhí)行預先定義的Spark作業(yè)。
表達式:數(shù)據(jù)開發(fā)作業(yè)中的節(jié)點參數(shù)可以使用表達式語言(Expression Language,簡稱EL),根據(jù)運行環(huán)境動態(tài)生成參數(shù)值。數(shù)據(jù)開發(fā) EL表達式使用簡單的算術和邏輯計算,引用內嵌對象,包括作業(yè)對象和一些工具類對象。
補數(shù)據(jù):手工觸發(fā)周期方式調度的作業(yè)任務,生成過去某時間段內的實例。
產品優(yōu)勢
-
一站式數(shù)據(jù)運營平臺
-
全鏈路數(shù)據(jù)治理管控
-
豐富的數(shù)據(jù)開發(fā)類型
-
統(tǒng)一調度和運維
-
可復用行業(yè)知識庫
-
統(tǒng)一數(shù)據(jù)資產管理
-
數(shù)據(jù)運營全場景可視
-
全方位的安全保障