檢測到您已登錄華為云國際站賬號,為了您更好的體驗,建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
規(guī)范設(shè)計 配置中心 流程設(shè)計 主題設(shè)計 碼表管理 數(shù)據(jù)標(biāo)準(zhǔn) 關(guān)系建模 業(yè)務(wù)指標(biāo) 技術(shù)指標(biāo) 維度建模 父主題: 實施步驟
數(shù)據(jù)服務(wù) 創(chuàng)建專享版集群 設(shè)置 API 分配配額 新建審核人 開發(fā) API 調(diào)用API 父主題: 實施步驟
數(shù)據(jù)集成 數(shù)據(jù)集成概述、工具介紹及入湖范圍 數(shù)據(jù)集成前探查 全量數(shù)據(jù)同步 增量數(shù)據(jù)同步 父主題: 實施步驟
共享交換平臺的部署 將前端上傳至服務(wù)器/usr/local/web下前端包 包名為:yunpi-web 將前端包上傳至服務(wù)器/usr/local/web下 修改/yunpi-web/config文件夾下的config.js Vim config.js 修改網(wǎng)關(guān)地址 圖1 上傳 后臺服務(wù)的啟動與配置。
首席數(shù)據(jù)官負(fù)責(zé)部門信息化項目建設(shè)規(guī)劃及管理、數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系建設(shè)、數(shù)據(jù)架構(gòu)統(tǒng)籌管理、數(shù)據(jù)質(zhì)量持續(xù)提升、數(shù)據(jù)創(chuàng)新應(yīng)用規(guī)劃、數(shù)據(jù)爭議裁決、常態(tài)化指導(dǎo)監(jiān)督等工作,首席數(shù)據(jù)官一般由單位的分管領(lǐng)導(dǎo)擔(dān)任。 業(yè)務(wù)專員 負(fù)責(zé)本業(yè)務(wù)領(lǐng)域的數(shù)據(jù)的業(yè)務(wù)含義、術(shù)語定義、業(yè)務(wù)流程梳理優(yōu)化、數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)標(biāo)準(zhǔn)制定,對數(shù)據(jù)的真實性、準(zhǔn)確性、一致性等數(shù)據(jù)管理工作負(fù)責(zé)。
跑中國政務(wù)大數(shù)據(jù)市場為了推進(jìn)“互聯(lián)網(wǎng)+政務(wù)服務(wù)”的落地,全國各地都在加快政務(wù)大數(shù)據(jù)的建設(shè),打通流程、部門、地域的壁壘,實現(xiàn)數(shù)據(jù)的高效自由的流動和共享。華為攜手合作伙伴為客戶提供從IT基礎(chǔ)設(shè)施到應(yīng)用的端到端解決方案。在數(shù)據(jù)層面,華為云政務(wù)大數(shù)據(jù)解決方案提供包括數(shù)據(jù)匯聚、數(shù)據(jù)共享交換
PostgreSQL是一個功能強(qiáng)大的開源對象關(guān)系型數(shù)據(jù)庫系統(tǒng),它使用和擴(kuò)展了SQL語言,并結(jié)合了許多安全存儲和擴(kuò)展最復(fù)雜數(shù)據(jù)工作負(fù)載的功能。PostgresSQL憑借其經(jīng)過驗證的架構(gòu),可靠性,數(shù)據(jù)完整性,強(qiáng)大的功能集,可擴(kuò)展性以及軟件背后的開源社區(qū)的奉獻(xiàn)精神贏得了良好的聲譽(yù),以始終如一地提供
ver:先啟動兩臺機(jī)器的NameServer,再啟動兩臺機(jī)器的Borker,關(guān)機(jī)的時候順序相反,先關(guān)閉兩臺機(jī)器的Broker,再關(guān)閉兩臺機(jī)器的Nameserver。 命令行輸入: cd /usr/local/rocketmq/ 啟動name server,執(zhí)行 nohup sh bin/mqnamesrv
Redis的部署 redis服務(wù)安裝: 上傳redis安裝包 將安裝包上傳至服務(wù)器:如/opt下 服務(wù)名稱:redis 程序安裝路徑:/usr/local/redis 安裝步驟 進(jìn)入/opt/(上傳安裝包路徑) 命令行界面輸入: cd /opt/ 圖1 進(jìn)入 解壓redis安裝包
其他組件(華為提供) 表1 其他組件 文檔數(shù)據(jù)庫服務(wù)DDS 對象存儲服務(wù)OBS 彈性文件服務(wù)SFS MRS服務(wù) 分布式消息服務(wù) DMS Kafka版 數(shù)據(jù)倉庫服務(wù)DWS 父主題: 實施步驟
作業(yè)是指將SQL腳本或者數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量作業(yè)等進(jìn)行編排并進(jìn)行周期性的調(diào)度。 腳本作業(yè)配置 為了精細(xì)化管理和便于運(yùn)維,ETL作業(yè)配置規(guī)則如下: 按邏輯數(shù)據(jù)實體創(chuàng)建調(diào)度作業(yè)畫布。 業(yè)務(wù)指標(biāo)用到的邏輯數(shù)據(jù)實體,將每個邏輯數(shù)據(jù)實體放在一個畫布中,包括ODS層、DWI層、DWR層基礎(chǔ)數(shù)據(jù),然后按照ODS層作業(yè)
activemq啟動 進(jìn)入activemq的bin目錄,執(zhí)行啟動命令! 命令行界面輸入: cd /usr/local/activemq/bin 圖2 進(jìn)入 ./activemq start 圖3 啟動 activemq狀態(tài)查看 進(jìn)入activemq的bin目錄,執(zhí)行啟動命令! 命令行界面輸入:
1》報告中,華為基于政務(wù)云底座和FusionInsight大數(shù)據(jù)云服務(wù)套件打造的政務(wù)服務(wù)數(shù)據(jù)共享平臺憑借深刻的行業(yè)理解,領(lǐng)先的技術(shù)優(yōu)勢和優(yōu)異的市場成績,在能力、戰(zhàn)略和市場表現(xiàn)方面,連續(xù)多年位列業(yè)界領(lǐng)導(dǎo)者陣營。 這是繼今年8月份華為云在IDC發(fā)布的《中國政務(wù)云基礎(chǔ)設(shè)施市場份額,20
依據(jù)自己的需求設(shè)置更新動作。依據(jù)DDL模板, 在模板里面配置對應(yīng)的更新語句即可。 不更新:不更新數(shù)據(jù)庫中的表。 依據(jù)DDL更新模板:依據(jù)DDL模板管理中配置的DDL更新模板,更新數(shù)據(jù)庫中的表,但能否更新成功是由底層數(shù)倉引擎的支持情況決定的。由于不同類型的數(shù)倉支持的更新表的能力不同
上級流程 第一層的流程,其上級流程為空,不用填。 非第一層的流程,其上級流程不能為空。上級流程為多級流程時,流程之間以“/”分隔。 *名稱 流程名稱。 *責(zé)任人 流程的責(zé)任人,可以手動輸入名字或直接選擇已有的責(zé)任人。 描述 流程的描述信息。 上傳模板,單擊添加文件,選擇填寫后的流程模板,然后上傳文件即可。
全量數(shù)據(jù)同步 針對數(shù)據(jù)增長緩慢、非核心業(yè)務(wù)相關(guān)、無時間戳、無增刪改標(biāo)識、數(shù)據(jù)量低于十萬條的明細(xì)表數(shù)據(jù),以及碼表、維度表等數(shù)據(jù),采用全量同步的方式接入數(shù)管平臺,并存放在貼源層的全量表內(nèi)。數(shù)據(jù)初始化全量同步是指第一次從業(yè)務(wù)源庫中采用全量同步的方式獲取一次數(shù)據(jù)。 確定數(shù)據(jù)源 通過調(diào)研獲
處理后存放至貼源層的全量分區(qū)表中。需要注意的是在增量同步數(shù)據(jù)前,需要進(jìn)行一次初始化全量同步。增量分區(qū)表內(nèi)歷史數(shù)據(jù)的存放周期為7日,對應(yīng)的全量分區(qū)表內(nèi)歷史數(shù)據(jù)的存放周期為8日,用于數(shù)據(jù)的歷史回溯,且歷史數(shù)據(jù)的存放周期可依據(jù)后期數(shù)據(jù)實際使用需求進(jìn)行相應(yīng)的調(diào)整。以“訂單進(jìn)程量管理詳細(xì)表”為例,說明數(shù)據(jù)增量同步流程。
需服務(wù)”的原則,以“云網(wǎng)合一、云數(shù)聯(lián)動”為構(gòu)架,構(gòu)建“1+11+N”開放兼容的統(tǒng)一政務(wù)云平臺,承載各市直部門的政務(wù)業(yè)務(wù)系統(tǒng),形成“1”個全市政務(wù)云平臺、“N”個特色部門云、“11”個區(qū)級政務(wù)云平臺的總體架構(gòu),實現(xiàn)資源整合、管運(yùn)分離、數(shù)據(jù)融合、業(yè)務(wù)貫通。深圳政務(wù)云基于華為云Stac
別名 主題對象的別名。 描述 主題對象的描述信息。對于最低層級主題,此項參數(shù)為必選。在導(dǎo)入文件中應(yīng)補(bǔ)充最低層級主題的描述信息。 數(shù)據(jù)owner部門 數(shù)據(jù)的擁有者所在部門。對于最低層級主題,此項參數(shù)為必選。在導(dǎo)入文件中應(yīng)補(bǔ)充最低層級主題的數(shù)據(jù)owner部門信息。 *數(shù)據(jù)owner人員
指標(biāo)確認(rèn) 指標(biāo)數(shù)據(jù)是對基礎(chǔ)類數(shù)據(jù)加工而產(chǎn)生的指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范,通過業(yè)務(wù)屬性、技術(shù)屬性和管理屬性來描述指標(biāo)數(shù)據(jù)規(guī)范化要求。 業(yè)務(wù)屬性:對指標(biāo)應(yīng)遵循的業(yè)務(wù)屬性的統(tǒng)一定義與解釋,如:業(yè)務(wù)定義、業(yè)務(wù)口徑、指標(biāo)維度、業(yè)務(wù)流程等 技術(shù)屬性:業(yè)務(wù)應(yīng)用對指標(biāo)技術(shù)屬性的統(tǒng)一要求與定義,如:數(shù)據(jù)類型、取數(shù)范圍、計量單位等