檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
數(shù)據(jù)集成概述 DataArts Studio數(shù)據(jù)集成是一種高效、易用的數(shù)據(jù)集成服務(wù)，圍繞大數(shù)據(jù)遷移上云和智能數(shù)據(jù)湖解決方案，提供了簡(jiǎn)單易用的遷移能力和多種數(shù)據(jù)源到數(shù)據(jù)湖的集成能力，降低了客戶數(shù)據(jù)源遷移和集成的復(fù)雜性，有效地提高您數(shù)據(jù)遷移和集成的效率。 數(shù)據(jù)集成即云數(shù)據(jù)遷移（Cloud
應(yīng)用與數(shù)據(jù)集成平臺(tái) ROMA Connect 應(yīng)用與數(shù)據(jù)集成平臺(tái) ROMA Connect 新一代組裝式融合集成平臺(tái)iPaaS，提供一體化的集成解決方案，無(wú)縫連接應(yīng)用、消息、事件、數(shù)據(jù)、API、設(shè)備，驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型 新一代組裝式融合集成平臺(tái)iPaaS 重磅發(fā)布MCP一站式集成，賦能AI應(yīng)用高效落地
最新動(dòng)態(tài)（html） 本文介紹了Huawei Cloud EulerOS產(chǎn)品新特性和對(duì)應(yīng)的文檔動(dòng)態(tài)，新特性將在各個(gè)區(qū)域（Region）陸續(xù)發(fā)布，歡迎體驗(yàn)。
數(shù)據(jù)集成指導(dǎo) 業(yè)務(wù)使用介紹 接入數(shù)據(jù)源 創(chuàng)建數(shù)據(jù)集成任務(wù)（普通任務(wù)） 創(chuàng)建數(shù)據(jù)集成任務(wù)（組合任務(wù)） 創(chuàng)建數(shù)據(jù)集成任務(wù)（編排任務(wù)） 啟停數(shù)據(jù)集成任務(wù) 數(shù)據(jù)集成任務(wù)管理 連接器
數(shù)據(jù)集成 數(shù)據(jù)集成普通任務(wù) 數(shù)據(jù)集成組合任務(wù)
的情況下，同步任務(wù)將執(zhí)行對(duì)源端數(shù)據(jù)向目標(biāo)端數(shù)據(jù)的全量同步。在組件上可以看到同步的數(shù)據(jù)量及運(yùn)行時(shí)長(zhǎng)等信息。 圖5 全量同步 數(shù)據(jù)補(bǔ)錄 當(dāng)發(fā)生源端歷史數(shù)據(jù)變更等情況時(shí)，通過(guò)在讀取組件自定義 SQL，可以添加針對(duì)日期字段進(jìn)行過(guò)濾的 WHERE 條件，可以實(shí)現(xiàn)針對(duì)特定時(shí)間段的數(shù)據(jù)補(bǔ)錄需要。 圖6 數(shù)據(jù)補(bǔ)錄 增量同步
數(shù)據(jù)集成平臺(tái)操作手冊(cè) 平臺(tái)界面 數(shù)據(jù)集成 數(shù)據(jù)調(diào)度 功能列表 父主題： 實(shí)施步驟
表1 FDI功能 功能 簡(jiǎn)介 數(shù)據(jù)集成任務(wù)的生命周期管理 FDI支持修改數(shù)據(jù)集成任務(wù)的信息、查看數(shù)據(jù)集成任務(wù)的運(yùn)行報(bào)告、查看數(shù)據(jù)集成任務(wù)的運(yùn)行日志、查看數(shù)據(jù)集成任務(wù)狀態(tài)，完成數(shù)據(jù)集成任務(wù)的生命周期管理功能。
數(shù)據(jù)集成 數(shù)據(jù)集成主要包含三塊：離線集成，實(shí)時(shí)集成，集成任務(wù)。 圖1 數(shù)據(jù)集成 離線集成 主要為結(jié)構(gòu)化集成和非結(jié)構(gòu)化集成兩種，結(jié)構(gòu)化集成主要是離線集成部署方式，非結(jié)構(gòu)化集成為API部署方式。 結(jié)構(gòu)化集成 圖2 結(jié)構(gòu)化集成 集成作業(yè) 圖3 集成作業(yè) 任務(wù)名稱(chēng)：自定義數(shù)據(jù) 需求類(lèi)型：目前只支持新增
圖解應(yīng)用與數(shù)據(jù)集成平臺(tái)
項(xiàng)目ID。 源端數(shù)據(jù)源ID 源端數(shù)據(jù)源ID。 目標(biāo)端數(shù)據(jù)源ID 目標(biāo)端數(shù)據(jù)源ID。 源端數(shù)據(jù)源的名稱(chēng) 源端數(shù)據(jù)源的名稱(chēng)。 目標(biāo)端數(shù)據(jù)源的名稱(chēng) 目標(biāo)端數(shù)據(jù)源的名稱(chēng)。 源端數(shù)據(jù)源所屬集成應(yīng)用ID 源端數(shù)據(jù)源所屬集成應(yīng)用ID。 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID 目標(biāo)端數(shù)據(jù)源所屬集成應(yīng)用ID。 源端數(shù)據(jù)源所屬集成應(yīng)用名稱(chēng)
應(yīng)用與數(shù)據(jù)集成平臺(tái) ROMAConnect—資源與學(xué)習(xí) 應(yīng)用與數(shù)據(jù)集成平臺(tái) ROMAConnect—資源與學(xué)習(xí) 源自華為10年+數(shù)字化轉(zhuǎn)型實(shí)踐，新一代云原生低代碼iPaaS。
數(shù)據(jù)集成平臺(tái)應(yīng)用部署 將部署文件上傳到服務(wù)器/usr/local/下，解壓target4.0.tar tar -zxvf target4.0.tar 說(shuō)明：需要java環(huán)境 檢查環(huán)境：java -vrsion 圖1 解壓 進(jìn)入/usr/local/target4.0/bin下啟動(dòng)服務(wù)；啟動(dòng)命令：
查看數(shù)據(jù)集成任務(wù) 概述 數(shù)據(jù)集成任務(wù)創(chuàng)建后，您可以查看任務(wù)的相關(guān)信息，包括任務(wù)的配置信息、運(yùn)行日志、操作日志和調(diào)度日志等。 您也可以修改任務(wù)的配置，修改任務(wù)的操作跟創(chuàng)建任務(wù)類(lèi)似，具體配置說(shuō)明可參見(jiàn)創(chuàng)建數(shù)據(jù)集成任務(wù)。 請(qǐng)謹(jǐn)慎修改您的任務(wù)配置信息，避免目標(biāo)端出現(xiàn)臟數(shù)據(jù)或者數(shù)據(jù)集成不完
消費(fèi)偏移設(shè)置 選擇集成最早獲取的消息數(shù)據(jù)還是最新獲取的消息數(shù)據(jù)。 元數(shù)據(jù) 指從源端獲取到的JSON或XML格式數(shù)據(jù)中，要集成到目標(biāo)端的每一個(gè)底層key-value型數(shù)據(jù)元素。 別名：對(duì)元數(shù)據(jù)的自定義名稱(chēng)。 類(lèi)型：元數(shù)據(jù)的數(shù)據(jù)類(lèi)型，需要與源端數(shù)據(jù)中對(duì)應(yīng)字段的數(shù)據(jù)類(lèi)型一致。 解析路徑：由于數(shù)
個(gè)業(yè)務(wù)系統(tǒng)的某些數(shù)據(jù)時(shí)，就會(huì)出現(xiàn)獲取的數(shù)據(jù)內(nèi)容不符合要求，無(wú)法直接與自己數(shù)據(jù)結(jié)合使用等問(wèn)題，不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共用難度大，效率低，影響業(yè)務(wù)發(fā)展。 解決方案 數(shù)據(jù)集成FDI是ROMA Connect的數(shù)據(jù)集成組件，支持多種數(shù)據(jù)類(lèi)型之間靈活、快速、無(wú)侵入式的數(shù)據(jù)集成和轉(zhuǎn)換，為業(yè)務(wù)系統(tǒng)之間建立有效的數(shù)據(jù)連接。
數(shù)據(jù)集成 數(shù)據(jù)集成概述、工具介紹及入湖范圍 數(shù)據(jù)集成前探查 全量數(shù)據(jù)同步 增量數(shù)據(jù)同步 父主題： 實(shí)施步驟
在智慧水務(wù)項(xiàng)目中，華為云ROMA Connect構(gòu)建的水務(wù)數(shù)據(jù)與業(yè)務(wù)集成平臺(tái)，打破數(shù)據(jù)壁壘、打通煙囪應(yīng)用，助力智慧水務(wù)實(shí)現(xiàn)數(shù)據(jù)全融合 。
字段注釋、數(shù)據(jù)類(lèi)型、數(shù)據(jù)長(zhǎng)度、數(shù)據(jù)量、數(shù)據(jù)主鍵、時(shí)間戳字段以及數(shù)據(jù)空值及分布情況等內(nèi)容。在獲取數(shù)據(jù)接入授權(quán)與數(shù)據(jù)源端連接信息后，確定數(shù)據(jù)探查方法并實(shí)施探查，參照數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)集成需求對(duì)探查結(jié)果進(jìn)行分析，最終輸出數(shù)據(jù)探查分析結(jié)果，形成問(wèn)題清單，指導(dǎo)數(shù)據(jù)集成方案設(shè)計(jì)。 數(shù)據(jù)探查實(shí)施
城市卡管理部門(mén)分散、居民辦卡周期長(zhǎng)、電子卡應(yīng)用不足、使用場(chǎng)景少、市民用卡體驗(yàn)差…想了解ROMA Connect如何解決這些業(yè)務(wù)痛點(diǎn)，助力北京人社實(shí)現(xiàn)“多卡合一”？查看詳情。
從OBS解析文件到RDS數(shù)據(jù)庫(kù)，采集過(guò)一次后，后面采集會(huì)進(jìn)行更新嗎？ OBS源端的CSV文件解析到關(guān)系型數(shù)據(jù)庫(kù)時(shí)，列的值不對(duì)怎么辦？ MRS Hive目標(biāo)字段和源端字段數(shù)據(jù)類(lèi)型不匹配時(shí)，數(shù)據(jù)是否能集成到目標(biāo)端？ MRS Hive、MRS HBase和MongoDB的Mapping映射手動(dòng)輸入時(shí)，是否區(qū)分大小寫(xiě)？
取各種數(shù)據(jù)庫(kù)的數(shù)據(jù)。 ROMA Connect的服務(wù)集成直接讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，把讀取到的數(shù)據(jù)封裝為一個(gè)RESTful API，并開(kāi)放給企業(yè)內(nèi)或企業(yè)外的其他業(yè)務(wù)系統(tǒng)。其他業(yè)務(wù)系統(tǒng)通過(guò)調(diào)用該API，即可獲取該業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)。 ROMA Connect的服務(wù)集成把數(shù)據(jù)庫(kù)數(shù)據(jù)封裝為RESTful
開(kāi)發(fā)時(shí)，如何集成ROMA Connect的業(yè)務(wù)功能。 調(diào)用業(yè)務(wù)API實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)開(kāi)放的流程如下： 獲取集成應(yīng)用ID。 如果有可用的集成應(yīng)用，則調(diào)用“查詢應(yīng)用列表”接口，獲取集成應(yīng)用ID。 如果沒(méi)有可用的集成應(yīng)用，則調(diào)用“創(chuàng)建應(yīng)用”接口，創(chuàng)建一個(gè)集成應(yīng)用并獲取集成應(yīng)用ID。 接入數(shù)據(jù)源。
acle數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)兩個(gè)數(shù)據(jù)庫(kù)之間的高效、準(zhǔn)確的數(shù)據(jù)更新與同步。 該方案不僅能夠減少人工操作帶來(lái)的錯(cuò)誤和遺漏，Oracle數(shù)據(jù)庫(kù)中的數(shù)據(jù)都能反映出MySQL數(shù)據(jù)庫(kù)的最新?tīng)顟B(tài)，滿足業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求和數(shù)據(jù)分析的一致性要求。 父主題： 定時(shí)同步MySQL中的數(shù)據(jù)到Oracle
