華為云計(jì)算 云知識(shí) DLI服務(wù)使用場(chǎng)景
DLI服務(wù)使用場(chǎng)景

數(shù)據(jù)庫(kù)分析

數(shù)據(jù)庫(kù)分析:

應(yīng)用的數(shù)據(jù)(如:注冊(cè)信息)存在關(guān)系型數(shù)據(jù)庫(kù)中,想對(duì)數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)進(jìn)行分析

痛點(diǎn):

?數(shù)據(jù)量日益增多,復(fù)雜查詢關(guān)系型數(shù)據(jù)庫(kù)查不出來

?數(shù)據(jù)分庫(kù)分表存在多個(gè)關(guān)系型數(shù)據(jù)庫(kù)中,無(wú)法做全量分析

?不想因?yàn)榉治鰳I(yè)務(wù)影響在線業(yè)務(wù)

優(yōu)勢(shì):

熟悉的SQL體驗(yàn)

DLI的SQL語(yǔ)法全兼容關(guān)系型數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)ANSI SQL 2003,0學(xué)習(xí)成本,使用習(xí)慣保持一致

極致性能

DLI采用分布式內(nèi)存計(jì)算模型,輕松處理海量數(shù)據(jù)

建議搭配使用: 云數(shù)據(jù)遷移 CDM

dli使用場(chǎng)景-數(shù)據(jù)庫(kù)分析

電商行業(yè)

精準(zhǔn)營(yíng)銷

電商行業(yè)需要獲取多個(gè)途徑的信息做關(guān)聯(lián)分析,以便更好地做精準(zhǔn)營(yíng)銷,提高轉(zhuǎn)化率。如:關(guān)聯(lián)【頁(yè)面廣告點(diǎn)擊事件數(shù)據(jù)】和【用戶注冊(cè)數(shù)據(jù)】,獲取不同年齡段喜歡的廣告類型,以便對(duì)不同年齡段用戶投放更精準(zhǔn)的廣告

優(yōu)勢(shì)

跨源分析

數(shù)據(jù)免搬遷,就可以關(guān)聯(lián)分析存在OBS中的【頁(yè)面廣告點(diǎn)擊事件數(shù)據(jù)】和RDS中的【用戶注冊(cè)數(shù)據(jù)】

純SQL操作

DLI已對(duì)接多個(gè)數(shù)據(jù)源,直接通過SQL建表就可以完成數(shù)據(jù)源的映射

建議搭配使用: 對(duì)象存儲(chǔ)服務(wù) OBS/ 數(shù)據(jù)接入服務(wù) DIS

dli使用場(chǎng)景-電商

游戲行業(yè)

日志分析

游戲公司日常通過數(shù)據(jù)分析平臺(tái),借助數(shù)據(jù)力量沒突破行業(yè)瓶頸。例如:尋找優(yōu)質(zhì)的投放渠道、提高新手期玩家留存、優(yōu)化運(yùn)營(yíng)活動(dòng)提升玩家活躍、數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品迭代等

痛點(diǎn):

?日志分析通常是按周期進(jìn)行調(diào)度,每次調(diào)度之間存在大量空閑期

優(yōu)勢(shì)

按量計(jì)費(fèi)

DLI按量計(jì)費(fèi)只在使用期間收費(fèi),成本較獨(dú)占集群降低50%以上

批流一體

DLI是批流一體架構(gòu),使用一份資源就可以完成流式數(shù)據(jù)清洗和批量數(shù)據(jù)分析

建議搭配使用:數(shù)據(jù)接入服務(wù)DIS/ 云數(shù)據(jù)庫(kù)MySQL

dli使用場(chǎng)景-游戲

大企業(yè)

日志分析

大企業(yè)的部門比較多,不同部門在使用云服務(wù)時(shí),需要對(duì)不同部門的員工的權(quán)限進(jìn)行管理,包括計(jì)算資源的創(chuàng)建、刪除、使用、隔離等。同時(shí),也需要對(duì)不同部門的數(shù)據(jù)進(jìn)行管理,包括數(shù)據(jù)的隔離、共享等

優(yōu)勢(shì)

細(xì)粒度權(quán)限控制

列級(jí)別權(quán)限控制;INSERTINTO/OVERWRITE單獨(dú)權(quán)限控制;表元數(shù)據(jù)只讀權(quán)限控制

統(tǒng)一的管理機(jī)制

使用統(tǒng)一的 IAM 管理用戶(無(wú)需單獨(dú)創(chuàng)建DLI用戶),支持IAM細(xì)粒度授權(quán)

dli使用場(chǎng)景-大企業(yè)

基因行業(yè)

基因數(shù)據(jù)處理

現(xiàn)在基因行業(yè)有很多基于Spark分布式框架的第三方分析庫(kù),如ADAM、Hail等

痛點(diǎn):

?安裝ADAM、Hail等分析庫(kù)比較復(fù)雜

?每次新建集群都需要安裝一遍

優(yōu)勢(shì)

支持自定義 鏡像

支持基于基礎(chǔ)鏡像打包ADAM、Hail等第三方分析庫(kù),直接上傳到容器 鏡像服務(wù) SWR,在DLI中運(yùn)行作業(yè)時(shí)會(huì)自動(dòng)拉取SWR中的自定義鏡像

內(nèi)置多個(gè)基礎(chǔ)鏡像

內(nèi)置華為增強(qiáng)版Spark/Flink多版本基礎(chǔ)鏡像,開源Tensorflow/Keras/PyTorch的AI鏡像

建議搭配使用容器鏡像服務(wù)SWR

dli使用場(chǎng)景-基因

金融行業(yè)

實(shí)時(shí)風(fēng)控

為了提高消滅或減少風(fēng)險(xiǎn)事件發(fā)生的各種可能性,需要使用風(fēng)控系統(tǒng)對(duì)典型的場(chǎng)景包括:注冊(cè)風(fēng)控、登錄風(fēng)控、交易分控等進(jìn)行風(fēng)控

痛點(diǎn):

?風(fēng)控系統(tǒng)對(duì)實(shí)時(shí)性要求很高

優(yōu)勢(shì)

高吞吐低時(shí)延

采用Apache Flink的Dataflow模型,完全的實(shí)時(shí)計(jì)算框架。采用高性能計(jì)算資源,單CPU每秒吞吐1千~2萬(wàn)條消息

豐富的云生態(tài)

使用SQL就可以將處理后的數(shù)據(jù)流式寫入CloudTable、 SMN 等多個(gè)云服務(wù)

建議搭配使用:數(shù)據(jù)接入服務(wù)DIS/ 消息通知 服務(wù)SMN

dli使用場(chǎng)景-金融

政府行業(yè)

實(shí)時(shí)大屏

為了更好地做好新冠疫情的管控,各地政府需要通過實(shí)時(shí)大屏掌握新冠疫情的現(xiàn)存確診、累計(jì)確診、境外輸入等關(guān)鍵數(shù)據(jù),為下一步疫情調(diào)控提供數(shù)據(jù)支撐

痛點(diǎn):

?政府行業(yè)技術(shù)人員通常會(huì)SQL,但對(duì) 大數(shù)據(jù) 了解不多

優(yōu)勢(shì)

簡(jiǎn)單易用

在線編輯Stream SQL,豐富的SQL函數(shù)滿足復(fù)雜業(yè)務(wù)需要

全托管

用戶完全不感知計(jì)算集群,聚焦流分析本身

建議搭配使用:云 數(shù)據(jù)遷移 CDM/數(shù)據(jù)接入服務(wù)DIS/ 云數(shù)據(jù)庫(kù) MySQL/ 數(shù)據(jù)可視化DLV

dli使用場(chǎng)景-政府

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)分析

地理大數(shù)據(jù)具有大數(shù)據(jù)的相關(guān)特征,數(shù)據(jù)體量巨大,例如全球衛(wèi)星遙感影像數(shù)據(jù)量達(dá)到PB級(jí);數(shù)據(jù)種類多,有結(jié)構(gòu)化的遙感影像柵格數(shù)據(jù)、矢量數(shù)據(jù),非結(jié)構(gòu)化的空間位置數(shù)據(jù)、三維建模數(shù)據(jù);在大體量的地理大數(shù)據(jù)中,通過高效的挖掘工具或者挖掘方法實(shí)現(xiàn)價(jià)值提煉,是用戶非常關(guān)注的話題

優(yōu)勢(shì)

提供地理專業(yè)算子

支持全棧Spark能力,具備豐富的Spark空間數(shù)據(jù)分析算法算子,全面支持結(jié)構(gòu)化的遙感影像數(shù)據(jù)、非結(jié)構(gòu)化的三維建模、激光點(diǎn)云等巨量數(shù)據(jù)的離線批處理,支持帶有位置屬性的動(dòng)態(tài)流數(shù)據(jù)實(shí)時(shí)計(jì)算處理

CEP SQL

提供地理位置分析函數(shù)對(duì)地理空間數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,用戶僅需編寫SQL便可實(shí)現(xiàn)例如偏航檢測(cè),電子圍欄等地理分析場(chǎng)景

數(shù)據(jù)治理 能力

能快速將海量遙感影像數(shù)據(jù)接入上云,快速完成影像數(shù)據(jù)切片處理,為分布式批處理計(jì)算提供彈性分布式 數(shù)據(jù)集

建議搭配使用:數(shù)據(jù)接入服務(wù)DIS/ 對(duì)象存儲(chǔ) 服務(wù)OBS/云數(shù)據(jù) 遷移 CDM/ 數(shù)據(jù)快遞 服務(wù)DES/ 表格存儲(chǔ)服務(wù) CloudTable

dli使用場(chǎng)景-地理