檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
輕松將CSV格式數(shù)據(jù)轉(zhuǎn)換為Parquet格式數(shù)據(jù)。 方案架構(gòu) 將CSV格式的數(shù)據(jù)上傳到對(duì)象存儲(chǔ)服務(wù)OBS，使用DLI將CSV數(shù)據(jù)轉(zhuǎn)換為Parquet數(shù)據(jù)，并將轉(zhuǎn)換后的Parquet數(shù)據(jù)存儲(chǔ)到OBS中。 圖1 方案簡(jiǎn)介
方案概述 FineBI是帆軟公司推出的一款大數(shù)據(jù)分析BI工具，為業(yè)務(wù)人員和數(shù)據(jù)分析師提供了數(shù)據(jù)管理、數(shù)據(jù)編輯、數(shù)據(jù)可視化等數(shù)據(jù)探索能力。華為云DLI服務(wù)通過(guò)對(duì)數(shù)據(jù)的融合分析處理，使用Trino交互式引擎的SQL作業(yè)更加適用于交互式分析查詢，為FineBi提供高效的引擎
來(lái)收集和傳輸海量的日志數(shù)據(jù)、傳感器數(shù)據(jù)等。例如，在互聯(lián)網(wǎng)公司中，網(wǎng)站的訪問(wèn)日志、用戶行為數(shù)據(jù)等都可以通過(guò) Kafka 進(jìn)行高效的傳輸和存儲(chǔ)，為后續(xù)的數(shù)據(jù)分析和挖掘提供基礎(chǔ)。據(jù)統(tǒng)計(jì)，一些大型互聯(lián)網(wǎng)公司每天產(chǎn)生的日志數(shù)據(jù)量可以達(dá)到數(shù)百 TB 甚至更高，而 Kafka 能夠穩(wěn)定地處理如此大規(guī)模的數(shù)據(jù)流量。
本教程使用視頻類型的數(shù)據(jù)集，指導(dǎo)您如何在ModelArts中對(duì)視頻類數(shù)據(jù)進(jìn)行標(biāo)注，標(biāo)注后的數(shù)據(jù)集，經(jīng)過(guò)發(fā)布即可用于模型訓(xùn)練。 方案架構(gòu) 說(shuō)明： AI Gallery搜索并下載“traffic”數(shù)據(jù)集到OBS中。 將下載的數(shù)據(jù)，
圖像分割類型的數(shù)據(jù)集，以及數(shù)據(jù)如何進(jìn)行標(biāo)注，為后續(xù)訓(xùn)練做準(zhǔn)備。 方案架構(gòu) 說(shuō)明： AI Gallery搜索并下載“dataset-segmentation-88”數(shù)據(jù)集到OBS中。 將下載的數(shù)據(jù)，在Model
方案概述 基于ModuleSDK開(kāi)發(fā)應(yīng)用實(shí)現(xiàn)數(shù)據(jù)處理或自定義驅(qū)動(dòng)時(shí)，分為開(kāi)發(fā)和使用兩個(gè)部分。 App應(yīng)用的開(kāi)發(fā) 利用AppClient和DriverClient進(jìn)行自定義的業(yè)務(wù)處理
頁(yè)面，將導(dǎo)出的數(shù)據(jù)經(jīng)由華為云備份（OBS 桶）導(dǎo)入，把數(shù)據(jù) rdb 文件導(dǎo)入至華為云 Redis 實(shí)例 B。 數(shù)據(jù)導(dǎo)入完成后，對(duì)比 key 數(shù)據(jù)的一致性。 啟動(dòng)華為云上的業(yè)務(wù)程序，接入客戶流量。 持續(xù)觀測(cè)業(yè)務(wù)狀態(tài)，確保業(yè)務(wù)穩(wěn)定運(yùn)行。 回滾方案： 中斷華為云側(cè)的客戶訪問(wèn)請(qǐng)求，停止華為云的業(yè)務(wù)程序。查看
方案優(yōu)勢(shì) 可以使數(shù)據(jù)庫(kù)更好地適應(yīng)業(yè)務(wù)的發(fā)展，提高數(shù)據(jù)庫(kù)的可擴(kuò)展性。 提高響應(yīng)速度、降低資源消耗。 提高數(shù)據(jù)庫(kù)的可擴(kuò)展性，為企業(yè)和個(gè)人提供更加可靠、高效的數(shù)據(jù)存儲(chǔ)和管理解決方案。
方案分析 發(fā)生故障前，IDC側(cè)業(yè)務(wù)單邊讀寫(xiě)IDC上Redis1，Redis1通過(guò)在線遷移任務(wù)建立從IDC到HW的數(shù)據(jù)同步任務(wù)。 正向切換方案： 圖1 正切方案 正切方案說(shuō)明： 切換成華為側(cè)業(yè)務(wù)單邊讀寫(xiě)華為上Redis2。
方案架構(gòu) 圖1 開(kāi)發(fā)流程 方案優(yōu)勢(shì) 強(qiáng)大的框架代碼初始化能力：支持SpringBoot、Vue、React框架代碼初始化能力，能夠讓開(kāi)發(fā)者快速上手，聚焦業(yè)務(wù)邏輯開(kāi)發(fā)。 完善的集成方式：提供
可進(jìn)行新建數(shù)據(jù)源操作。 圖4 新建數(shù)據(jù)源 右側(cè)可以查看或編輯數(shù)據(jù)源配置信息，包含數(shù)據(jù)源連接串、用戶名、密碼、數(shù)據(jù)源名稱、數(shù)據(jù)源描述等； 圖5 編輯數(shù)據(jù)源 單擊“新建數(shù)據(jù)源”，添加一個(gè)新的數(shù)據(jù)源，選擇數(shù)據(jù)源類型，這條記錄會(huì)同步顯示在左側(cè)樹(shù)狀導(dǎo)航中。 圖6 新建數(shù)據(jù)源-1 圖7 新建數(shù)據(jù)源-2
方案概述 應(yīng)用場(chǎng)景 DLI在創(chuàng)建運(yùn)行作業(yè)需要連接外部其他數(shù)據(jù)源，如：DLI連接MRS、RDS、CSS、Kafka、DWS時(shí)，需要打通DLI和外部數(shù)據(jù)源之間的網(wǎng)絡(luò)。DLI增強(qiáng)型跨源連接，底層采用對(duì)等連接的方式打通與目的數(shù)據(jù)源的vpc網(wǎng)絡(luò)，通過(guò)點(diǎn)對(duì)點(diǎn)的方式實(shí)現(xiàn)數(shù)據(jù)互通。
方案概述 數(shù)據(jù)商業(yè)空間中公司B針對(duì)公司A的某些數(shù)據(jù)資產(chǎn)存在業(yè)務(wù)需求，由于安全性和數(shù)據(jù)主權(quán)的考慮，公司A與公司B基于TICS完成數(shù)據(jù)資產(chǎn)的交換?；赥ICS進(jìn)行數(shù)據(jù)資產(chǎn)交換，保證公司A的數(shù)據(jù)主權(quán)、公司B的數(shù)據(jù)可獲得，同時(shí)保證交換過(guò)程安全可信。
方案概述 應(yīng)用場(chǎng)景 運(yùn)營(yíng)商數(shù)據(jù)體量在PB~EB級(jí)，其數(shù)據(jù)種類多，有結(jié)構(gòu)化的基站信息數(shù)據(jù)，非結(jié)構(gòu)化的消息通信數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)的時(shí)效性有很高的要求，DLI服務(wù)提供批處理、流處理等多模引擎，打破數(shù)據(jù)孤島進(jìn)行統(tǒng)一的數(shù)據(jù)分析。本節(jié)操作以永洪BI對(duì)接DLI提交S
方案概述 Redis 遷移是將 Redis 數(shù)據(jù)從一個(gè)環(huán)境或?qū)嵗D(zhuǎn)移到另一個(gè)環(huán)境或?qū)嵗倪^(guò)程。通常包括確定遷移需求、選擇合適的遷移方法，如數(shù)據(jù)備份與恢復(fù)、使用工具進(jìn)行同步等。在遷移過(guò)程中需確保數(shù)據(jù)的完整性和一致性，同時(shí)盡量減少對(duì)業(yè)務(wù)的影響，以實(shí)現(xiàn)高效、穩(wěn)定的數(shù)據(jù)轉(zhuǎn)移。
方案概述 為了保障大數(shù)據(jù)產(chǎn)品性能和數(shù)據(jù)的可靠性，遷移中心提供了由運(yùn)維實(shí)踐總結(jié)而來(lái)的大數(shù)據(jù)檢查項(xiàng)列表，包含手動(dòng)檢查項(xiàng)和自動(dòng)檢查項(xiàng)。您可以根據(jù)檢查項(xiàng)，完成大數(shù)據(jù)轉(zhuǎn)運(yùn)維前的風(fēng)險(xiǎn)評(píng)估。 手動(dòng)檢查項(xiàng)當(dāng)前支持：MapReduce服務(wù)(MRS)、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)
方案概述 某企業(yè)A在進(jìn)行新客戶營(yíng)銷時(shí)的成本過(guò)高，想要通過(guò)引入外部數(shù)據(jù)的方式提高營(yíng)銷的效果，降低營(yíng)銷成本。 因此企業(yè)A希望與某大數(shù)據(jù)廠商B展開(kāi)一項(xiàng)合作，基于雙方共有的數(shù)據(jù)進(jìn)行聯(lián)邦建模，使用訓(xùn)練出的聯(lián)邦模型對(duì)新數(shù)據(jù)進(jìn)行聯(lián)邦預(yù)測(cè)，篩選出高價(jià)值的潛在客戶，再針對(duì)這些客戶
XML)； 關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入/導(dǎo)出； 使用Faker或隨機(jī)數(shù)據(jù)結(jié)構(gòu)生成數(shù)據(jù)； Redis到Redis的數(shù)據(jù)遷移； 兩個(gè)Redis數(shù)據(jù)庫(kù)之間的實(shí)時(shí)復(fù)制； riot本質(zhì)上是一個(gè)ETL工具，數(shù)據(jù)從源系統(tǒng)中提取，轉(zhuǎn)換（見(jiàn)處理），并加載到目標(biāo)系統(tǒng)中。
方案設(shè)計(jì) 圖1 方案設(shè)計(jì) 操作流程如下： 實(shí)時(shí)數(shù)據(jù)導(dǎo)入：通過(guò)數(shù)據(jù)接入服務(wù)（DIS）將數(shù)據(jù)中心的告警數(shù)據(jù)實(shí)時(shí)導(dǎo)入到數(shù)據(jù)湖探索（DLI）。 數(shù)據(jù)清洗和預(yù)處理：DLI對(duì)告警數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和預(yù)處理。 發(fā)送告警消息：當(dāng)告警級(jí)別超過(guò)指定值時(shí)向用戶發(fā)送短信。
方案概述 應(yīng)用場(chǎng)景 在現(xiàn)實(shí)生活和工作中，我們經(jīng)常會(huì)遇到需要處理大規(guī)模的復(fù)雜關(guān)系網(wǎng)絡(luò)的情況，比如社交網(wǎng)絡(luò)、知識(shí)圖譜、物流網(wǎng)絡(luò)等。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在處理這種復(fù)雜關(guān)系網(wǎng)絡(luò)時(shí)效率較低，而圖數(shù)據(jù)庫(kù)則能夠更好地滿足這類需求。 圖探索功能是GES的一個(gè)重
