數(shù)據(jù)倉(cāng)庫(kù)
什么是數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)?
數(shù)據(jù)倉(cāng)庫(kù) 服務(wù)GaussDB(DWS) 是一種基于華為云基礎(chǔ)架構(gòu)和平臺(tái)的在線數(shù)據(jù)分析處理 數(shù)據(jù)庫(kù) ,提供即開(kāi)即用、可擴(kuò)展且完全托管的分析型數(shù)據(jù)庫(kù)服務(wù),兼容ANSI/ISO標(biāo)準(zhǔn)的SQL92、SQL99和SQL 2003語(yǔ)法,同時(shí)兼容PostgreSQL/Oracle/Teradata/MySQL等數(shù)據(jù)庫(kù)生態(tài),為各行業(yè)PB級(jí)海量 大數(shù)據(jù) 分析提供有競(jìng)爭(zhēng)力的解決方案。
OLTP和OLAP的比較
OLTP與OLAP主要從分析粒度、時(shí)效性、數(shù)據(jù)更新需求,驅(qū)動(dòng)方式等幾個(gè)內(nèi)容進(jìn)行對(duì)比分析。
數(shù)據(jù)倉(cāng)庫(kù)DWS應(yīng)用案例 數(shù)據(jù)處理耗時(shí)從天級(jí)縮短至小時(shí)級(jí)
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)應(yīng)用案例:互聯(lián)網(wǎng):數(shù)據(jù)處理耗時(shí)從天級(jí)縮短至小時(shí)級(jí),助力客戶實(shí)現(xiàn)業(yè)務(wù)能力升級(jí)??蛻敉袋c(diǎn):【數(shù)據(jù)處理耗時(shí)】:使用開(kāi)源Hadoop處理數(shù)據(jù)耗時(shí)長(zhǎng),每次處理耗時(shí)1天;【不支持關(guān)聯(lián)分析】:ES不能支持關(guān)聯(lián)等復(fù)雜查詢分析;【數(shù)據(jù)更新難】:數(shù)據(jù)使用寬表存儲(chǔ),維度數(shù)據(jù)變化需要更新整個(gè)寬表,工作量大。
數(shù)據(jù)倉(cāng)庫(kù)DWS助力某高校打破數(shù)據(jù)孤島實(shí)現(xiàn)數(shù)據(jù)綜合分析案例
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)應(yīng)用案例:教育:助力某高校打破數(shù)據(jù)孤島,實(shí)現(xiàn)數(shù)據(jù)綜合分析,性能提升10倍??蛻敉袋c(diǎn):【數(shù)據(jù)分散】:現(xiàn)有業(yè)務(wù)系統(tǒng)部署在不同環(huán)境,包括華為云、阿里云和用戶本地IDC,不能統(tǒng)一分析;【數(shù)據(jù)量大】:數(shù)據(jù)量不斷增大,查詢性能下降;【業(yè)務(wù) 遷移 難】:現(xiàn)有數(shù)據(jù)庫(kù)種類多,業(yè)務(wù)遷移工作量大。
數(shù)據(jù)倉(cāng)庫(kù)DWS助力終端消費(fèi)云冷熱數(shù)據(jù)關(guān)聯(lián)分析
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)應(yīng)用案例:企業(yè):SQL on Anywhere,助力終端消費(fèi)云冷熱數(shù)據(jù)關(guān)聯(lián)分析,性能提升10倍。業(yè)務(wù)痛點(diǎn):探索查詢HDFS 10PB級(jí)歷史數(shù)據(jù),耗時(shí)平均約1小時(shí),全量掃描耗資源;業(yè)務(wù)系統(tǒng)存儲(chǔ)3個(gè)月熱數(shù)據(jù),3個(gè)月至2年歷史數(shù)據(jù)存儲(chǔ)于HDFS,現(xiàn)有系統(tǒng)對(duì)熱數(shù)據(jù)和歷史數(shù)據(jù)無(wú)法進(jìn)行關(guān)聯(lián)分析。
數(shù)據(jù)倉(cāng)庫(kù)DWS提升數(shù)據(jù)分析性能實(shí)現(xiàn)分析決策一體化案例
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)應(yīng)用案例:金融:助力某銀行提升數(shù)據(jù)分析性能30%,實(shí)現(xiàn)分析決策一體化。Teradata成本高,一體機(jī)封閉架構(gòu),技術(shù)無(wú)法自主可控;數(shù)據(jù)交換平臺(tái)歷史數(shù)據(jù)保留時(shí)間短,重算過(guò)程非常復(fù)雜; 數(shù)據(jù)集 市中批量和聯(lián)機(jī)業(yè)務(wù)分離,靈活性差。
數(shù)據(jù)倉(cāng)庫(kù)DWS動(dòng)手實(shí)踐
數(shù)據(jù)倉(cāng)庫(kù)服務(wù)(Data Warehouse Service,簡(jiǎn)稱DWS)是一種即開(kāi)即用、安全可靠的在線數(shù)據(jù)倉(cāng)庫(kù)服務(wù),為用戶提供海量數(shù)據(jù)的存儲(chǔ)、挖掘和分析能力。
云上數(shù)據(jù)倉(cāng)庫(kù)打造案例 實(shí)現(xiàn)工程智慧營(yíng)銷
云上數(shù)據(jù)倉(cāng)庫(kù),實(shí)現(xiàn)工程智慧營(yíng)銷。數(shù)據(jù)倉(cāng)庫(kù)DWS將OBS上存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)映射為外部表,從而利用數(shù)據(jù)庫(kù)SQL引擎的能力對(duì)OBS上的數(shù)據(jù)進(jìn)行分析。在數(shù)據(jù)分散的情況下, 通過(guò)跨集群協(xié)同分析, 支撐周期性業(yè)務(wù)分析, 無(wú)需做全量數(shù)據(jù)搬移和轉(zhuǎn)化, 提升分析效率
數(shù)據(jù)倉(cāng)庫(kù)DWS冷熱數(shù)據(jù)分離
數(shù)據(jù)倉(cāng)庫(kù)DWS將OBS上存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)映射為外部表,從而利用數(shù)據(jù)庫(kù)SQL引擎的能力對(duì)OBS上的數(shù)據(jù)進(jìn)行分析。在數(shù)據(jù)分散的情況下, 通過(guò)跨集群協(xié)同分析, 支撐周期性業(yè)務(wù)分析, 無(wú)需做全量數(shù)據(jù)搬移和轉(zhuǎn)化, 提升分析效率
數(shù)據(jù)倉(cāng)庫(kù)DWS核心技術(shù)優(yōu)勢(shì)
數(shù)據(jù)倉(cāng)庫(kù)是指從業(yè)務(wù)數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫(kù),并針對(duì)決策和分析進(jìn)行優(yōu)化。數(shù)據(jù)倉(cāng)庫(kù)中的信息是面向主題的、集成化的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合,用以支持管理決策的過(guò)程。
業(yè)務(wù)數(shù)據(jù)上云的趨勢(shì)分析
數(shù)據(jù)倉(cāng)庫(kù)是指從業(yè)務(wù)數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫(kù),并針對(duì)決策和分析進(jìn)行優(yōu)化。數(shù)據(jù)倉(cāng)庫(kù)中的信息是面向主題的、集成化的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合,用以支持管理決策的過(guò)程。
傳統(tǒng)數(shù)倉(cāng)在大數(shù)據(jù)時(shí)代的劣勢(shì)
數(shù)據(jù)倉(cāng)庫(kù)是指從業(yè)務(wù)數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫(kù),并針對(duì)決策和分析進(jìn)行優(yōu)化。數(shù)據(jù)倉(cāng)庫(kù)中的信息是面向主題的、集成化的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合,用以支持管理決策的過(guò)程。
數(shù)據(jù)倉(cāng)庫(kù)發(fā)展現(xiàn)狀及發(fā)展趨勢(shì)
數(shù)據(jù)倉(cāng)庫(kù)是指從業(yè)務(wù)數(shù)據(jù)中創(chuàng)建信息數(shù)據(jù)庫(kù),并針對(duì)決策和分析進(jìn)行優(yōu)化。數(shù)據(jù)倉(cāng)庫(kù)中的信息是面向主題的、集成化的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合,用以支持管理決策的過(guò)程。
TeraData數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及特點(diǎn)介紹
Teradata數(shù)據(jù)倉(cāng)庫(kù)擁有全球領(lǐng)先的技術(shù),其主要軟件和硬件產(chǎn)品包括:Teradata數(shù)據(jù)庫(kù)、Teradata數(shù)據(jù)倉(cāng)庫(kù)軟件、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、動(dòng)態(tài)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)專用平臺(tái)。Teradata數(shù)據(jù)倉(cāng)庫(kù)配備性能最高、最可靠的大規(guī)模并行處理 (MPP) 平臺(tái),能夠高速處理海量數(shù)據(jù)。它使得企業(yè)可以專注于業(yè)務(wù),無(wú)需花費(fèi)大量精力管理技術(shù),因而可以更加快速地做出明智的決策,實(shí)現(xiàn) ROI 最大化。
Greenplum數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)及特點(diǎn)介紹
Greenplum主要由Master節(jié)點(diǎn)、Segment節(jié)點(diǎn)、interconnect三大部分組成。Greenplum master是Greenplum數(shù)據(jù)庫(kù)系統(tǒng)的入口,接受客戶端連接及提交的SQL語(yǔ)句,將工作負(fù)載分發(fā)給其它數(shù)據(jù)庫(kù)實(shí)例(segment實(shí)例),由它們存儲(chǔ)和處理數(shù)據(jù)。Greenplum interconnect負(fù)責(zé)不同PostgreSQ L實(shí)例 之間的通信。Greenplum segment是獨(dú)立的PostgreSQL數(shù)據(jù)庫(kù),每個(gè)segment存儲(chǔ)一部分?jǐn)?shù)據(jù)。大部分查詢處理都由segment完成。