檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測到您已登錄華為云國際站賬號，為了您更好的體驗，建議您訪問國際站服務網站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
數據集成概述 DataArts Studio數據集成是一種高效、易用的數據集成服務，圍繞大數據遷移上云和智能數據湖解決方案，提供了簡單易用的遷移能力和多種數據源到數據湖的集成能力，降低了客戶數據源遷移和集成的復雜性，有效地提高您數據遷移和集成的效率。 數據集成即云數據遷移（Cloud
應用與數據集成平臺 ROMA Connect 應用與數據集成平臺 ROMA Connect 新一代組裝式融合集成平臺iPaaS，提供一體化的集成解決方案，無縫連接應用、消息、事件、數據、API、設備，驅動數字化轉型 新一代組裝式融合集成平臺iPaaS 重磅發(fā)布MCP一站式集成，賦能AI應用高效落地
最新動態(tài)（html） 本文介紹了Huawei Cloud EulerOS產品新特性和對應的文檔動態(tài)，新特性將在各個區(qū)域（Region）陸續(xù)發(fā)布，歡迎體驗。
數據集成指導 業(yè)務使用介紹 接入數據源 創(chuàng)建數據集成任務（普通任務） 創(chuàng)建數據集成任務（組合任務） 創(chuàng)建數據集成任務（編排任務） 啟停數據集成任務 數據集成任務管理 連接器
的情況下，同步任務將執(zhí)行對源端數據向目標端數據的全量同步。在組件上可以看到同步的數據量及運行時長等信息。 圖5 全量同步 數據補錄 當發(fā)生源端歷史數據變更等情況時，通過在讀取組件自定義 SQL，可以添加針對日期字段進行過濾的 WHERE 條件，可以實現針對特定時間段的數據補錄需要。 圖6 數據補錄 增量同步
數據集成 數據集成主要包含三塊：離線集成，實時集成，集成任務。 圖1 數據集成 離線集成 主要為結構化集成和非結構化集成兩種，結構化集成主要是離線集成部署方式，非結構化集成為API部署方式。 結構化集成 圖2 結構化集成 集成作業(yè) 圖3 集成作業(yè) 任務名稱：自定義數據 需求類型：目前只支持新增
數據集成 數據集成普通任務 數據集成組合任務
表1 FDI功能 功能 簡介 數據集成任務的生命周期管理 FDI支持修改數據集成任務的信息、查看數據集成任務的運行報告、查看數據集成任務的運行日志、查看數據集成任務狀態(tài)，完成數據集成任務的生命周期管理功能。
數據集成平臺操作手冊 平臺界面 數據集成 數據調度 功能列表 父主題： 實施步驟
集成方案設計 整體設計流程： 如上圖，數據查詢具體方案如下： 在集成工作臺創(chuàng)建sap(B1)連接器，連接器通過函數調用獲取token接口進行自定義認證； 在sap(B1)連接器中創(chuàng)建執(zhí)行動作，包含不同訂單的查詢，保存，更新等接口；
項目ID。 源端數據源ID 源端數據源ID。 目標端數據源ID 目標端數據源ID。 源端數據源的名稱 源端數據源的名稱。 目標端數據源的名稱 目標端數據源的名稱。 源端數據源所屬集成應用ID 源端數據源所屬集成應用ID。 目標端數據源所屬集成應用ID 目標端數據源所屬集成應用ID。 源端數據源所屬集成應用名稱
圖解應用與數據集成平臺
應用與數據集成平臺 ROMAConnect—資源與學習 應用與數據集成平臺 ROMAConnect—資源與學習 源自華為10年+數字化轉型實踐，新一代云原生低代碼iPaaS。
消費偏移設置 選擇集成最早獲取的消息數據還是最新獲取的消息數據。 元數據 指從源端獲取到的JSON或XML格式數據中，要集成到目標端的每一個底層key-value型數據元素。 別名：對元數據的自定義名稱。 類型：元數據的數據類型，需要與源端數據中對應字段的數據類型一致。 解析路徑：由于數
個業(yè)務系統(tǒng)的某些數據時，就會出現獲取的數據內容不符合要求，無法直接與自己數據結合使用等問題，不同業(yè)務系統(tǒng)間的數據共用難度大，效率低，影響業(yè)務發(fā)展。 解決方案 數據集成FDI是ROMA Connect的數據集成組件，支持多種數據類型之間靈活、快速、無侵入式的數據集成和轉換，為業(yè)務系統(tǒng)之間建立有效的數據連接。
了解在財政行業(yè)解決方案中，如何通過ROMA Connect銜接內外部和行業(yè)生態(tài)數據，打通各省、市、縣等數百個財政區(qū)數據？查看詳情。（點擊瀏覽、下載高清圖片）
查看數據集成任務 概述 數據集成任務創(chuàng)建后，您可以查看任務的相關信息，包括任務的配置信息、運行日志、操作日志和調度日志等。 您也可以修改任務的配置，修改任務的操作跟創(chuàng)建任務類似，具體配置說明可參見創(chuàng)建數據集成任務。 請謹慎修改您的任務配置信息，避免目標端出現臟數據或者數據集成不完
數據集成平臺應用部署 將部署文件上傳到服務器/usr/local/下，解壓target4.0.tar tar -zxvf target4.0.tar 說明：需要java環(huán)境 檢查環(huán)境：java -vrsion 圖1 解壓 進入/usr/local/target4.0/bin下啟動服務；啟動命令：
數據集成權限 表1 數據集成權限 權限 對應API接口 授權項（Action） 依賴的授權項 IAM項目 (Project) 企業(yè)項目 (Enterprise Project) 創(chuàng)建任務 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
字段注釋、數據類型、數據長度、數據量、數據主鍵、時間戳字段以及數據空值及分布情況等內容。在獲取數據接入授權與數據源端連接信息后，確定數據探查方法并實施探查，參照數據標準與數據集成需求對探查結果進行分析，最終輸出數據探查分析結果，形成問題清單，指導數據集成方案設計。 數據探查實施
近年來，各政務系統(tǒng)為貫徹落實國家大數據戰(zhàn)略，推進數據資源開放共享，助力城市經濟從高速增長轉向高質量發(fā)展，建設市級政務大數據平臺，整合城市全時空、全方位、全要素的數據資源，打通數據壁壘、促進數據流通、加快數據開放、創(chuàng)新數據應用、提升數據價值，開始與各各數據服務平臺合力搭建政務大數據平臺，全面推動智慧城
在當今社會，大數據已經由過去的概念階段過渡到現在的應用階段，那么各種大數據應用與服務也越來越多，而所有的這些大數據。所應用服務都離不開大數據的分析平臺。 華為的大數據平臺叫Fusionlnsight，就是一個集大數據存儲、處理與分析于一體的企業(yè)級統(tǒng)一化平臺。Fusionln
取各種數據庫的數據。 ROMA Connect的服務集成直接讀取數據庫中的數據，把讀取到的數據封裝為一個RESTful API，并開放給企業(yè)內或企業(yè)外的其他業(yè)務系統(tǒng)。其他業(yè)務系統(tǒng)通過調用該API，即可獲取該業(yè)務系統(tǒng)數據庫中的數據。 ROMA Connect的服務集成把數據庫數據封裝為RESTful
開發(fā)時，如何集成ROMA Connect的業(yè)務功能。 調用業(yè)務API實現業(yè)務系統(tǒng)數據開放的流程如下： 獲取集成應用ID。 如果有可用的集成應用，則調用“查詢應用列表”接口，獲取集成應用ID。 如果沒有可用的集成應用，則調用“創(chuàng)建應用”接口，創(chuàng)建一個集成應用并獲取集成應用ID。 接入數據源。
歸檔數據遷移方案 本節(jié)介紹各云服務商存在歸檔數據時，如何解凍并遷移到華為云OBS。
