數(shù)據(jù)質(zhì)量基本功能介紹
數(shù)據(jù)質(zhì)量：可控可檢驗
數(shù)據(jù)質(zhì)量模塊支持對業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗，幫助用戶及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。
業(yè)務(wù)指標(biāo)監(jiān)控
- 業(yè)務(wù)指標(biāo)監(jiān)控是對業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)場景，實時、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求。
數(shù)據(jù)質(zhì)量監(jiān)控
- 數(shù)據(jù)質(zhì)量監(jiān)控是對數(shù)據(jù)庫里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具，您可以配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控數(shù)據(jù)準(zhǔn)確性。
- 數(shù)據(jù)質(zhì)量可以從完整性、有效性、及時性、一致性、準(zhǔn)確性、唯一性六個維度進(jìn)行單列、跨列、跨行和跨表的分析，也支持?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，支持周期性的監(jiān)控。
業(yè)務(wù)指標(biāo)監(jiān)控概述
業(yè)務(wù)指標(biāo)監(jiān)控模塊是對業(yè)務(wù)指標(biāo)進(jìn)行質(zhì)量管理的工具。
- 為了進(jìn)行業(yè)務(wù)指標(biāo)監(jiān)控，您可以先自定義SQL指標(biāo)，然后通過指標(biāo)的邏輯表達(dá)式定義規(guī)則，最后新建并調(diào)度運(yùn)行業(yè)務(wù)場景。通過業(yè)務(wù)場景的運(yùn)行結(jié)果，您可以判斷業(yè)務(wù)指標(biāo)是否滿足質(zhì)量規(guī)則。
業(yè)務(wù)指標(biāo)監(jiān)控主界面包括以下功能模塊。
|
功能
|
說明
|
|---|---|
總覽 |
默認(rèn)首頁是總覽頁面，顯示了業(yè)務(wù)場景實例的運(yùn)行狀態(tài)和告警狀態(tài)。 主要包括以下幾部分內(nèi)容： 快速入門，介紹業(yè)務(wù)指標(biāo)監(jiān)控的業(yè)務(wù)流。 最近7天內(nèi)的業(yè)務(wù)場景實例運(yùn)行分布情況、實例告警運(yùn)行分布情況。 可選周期內(nèi)的告警趨勢圖、業(yè)務(wù)場景看板圖、指標(biāo)看板圖。 |
指標(biāo)管理 |
指標(biāo)管理是業(yè)務(wù)指標(biāo)監(jiān)控的核心功能模塊，是配置指標(biāo)的主要入口。 |
規(guī)則管理 |
規(guī)則管理是配置規(guī)則的主要入口，支持通過指標(biāo)的邏輯表達(dá)式定義規(guī)則。 |
業(yè)務(wù)場景管理 |
業(yè)務(wù)場景可以認(rèn)為是業(yè)務(wù)指標(biāo)質(zhì)量作業(yè)，將創(chuàng)建的規(guī)則組進(jìn)行調(diào)度運(yùn)行。 |
運(yùn)維管理 |
運(yùn)維管理用于查看業(yè)務(wù)場景運(yùn)行狀態(tài)，處理運(yùn)維問題。其中我的訂閱中顯示了所有訂閱的任務(wù)運(yùn)行情況。 |
數(shù)據(jù)質(zhì)量監(jiān)控概述
數(shù)據(jù)質(zhì)量監(jiān)控DQC（Data Quality Control）模塊是對數(shù)據(jù)庫里的數(shù)據(jù)質(zhì)量進(jìn)行質(zhì)量管理的工具。您可從完整性、有效性、及時性、一致性、準(zhǔn)確性、唯一性六個維度進(jìn)行單列、跨列、跨行和跨表的分析。數(shù)據(jù)質(zhì)量支持對離線數(shù)據(jù)的監(jiān)控，當(dāng)離線數(shù)據(jù)發(fā)生變化時，數(shù)據(jù)質(zhì)量會對數(shù)據(jù)進(jìn)行校驗，并阻塞生產(chǎn)鏈路，以避免問題數(shù)據(jù)污染擴(kuò)散。同時，數(shù)據(jù)質(zhì)量提供了歷史校驗結(jié)果的管理，以便您對數(shù)據(jù)質(zhì)量分析和定級。
另外，數(shù)據(jù)質(zhì)量監(jiān)控DQC支持根據(jù)數(shù)據(jù)架構(gòu)中的數(shù)據(jù)標(biāo)準(zhǔn)，自動生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，并進(jìn)行周期性的監(jiān)控。
數(shù)據(jù)質(zhì)量監(jiān)控主界面包括以下功能模塊。
|
功能
|
說明
|
|---|---|
總覽 |
默認(rèn)首頁是總覽頁面，顯示了數(shù)據(jù)表的報警和阻塞情況。 主要包括以下幾部分內(nèi)容： 所選周期內(nèi)的作業(yè)數(shù)、實例數(shù)、異常表數(shù)，以及各種實例運(yùn)行狀態(tài)的分布和變化趨勢情況。 當(dāng)天告警分類統(tǒng)計、當(dāng)天數(shù)據(jù)表告警統(tǒng)計、最近7天規(guī)則告警分類趨勢的統(tǒng)計和最近7天規(guī)則數(shù)量的趨勢。 |
規(guī)則模板 |
質(zhì)量規(guī)則模板是數(shù)據(jù)質(zhì)量的核心功能，是配置規(guī)則的主要入口。它主要管理規(guī)則配置（內(nèi)置模板和自定義模板）的相關(guān)功能。 |
質(zhì)量作業(yè) |
質(zhì)量作業(yè)可將規(guī)則模板或自定義規(guī)則應(yīng)用到表中，進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控。 |
對賬作業(yè) |
對賬作業(yè)可將創(chuàng)建的規(guī)則應(yīng)用到兩張表中進(jìn)行質(zhì)量監(jiān)控，并輸出對賬結(jié)果。 |
運(yùn)維管理 |
運(yùn)維管理用于查看規(guī)則運(yùn)行狀態(tài)，處理運(yùn)維問題。 |
質(zhì)量報告 |
系統(tǒng)根據(jù)作業(yè)的結(jié)果，會自動生成質(zhì)量報告。 |