充分利用
云數(shù)據(jù)倉庫無縫對接Hadoop
GaussDB(DWS)可以無縫對接HDFS存儲，通過外表機(jī)制，能夠交互式查詢分析Hadoop平臺的數(shù)據(jù)，支持ORC/txt/csv/Parquet等文件格式，提供 大數(shù)據(jù) 分析能力。 基于Shared-nothing/MPP的對等并行計(jì)算模型可以充分利用CPU/IO/Mem等資源，獲得極致的運(yùn)算性能和線性的可擴(kuò)展性，從而支持PB級數(shù)據(jù)規(guī)模。 1.兼容標(biāo)準(zhǔn)SQL SQL兼容SQL92/99/2003標(biāo)準(zhǔn)，支持存儲過程，降低應(yīng)用開發(fā)成本和 遷移 成本。 2.完備的事務(wù)支持 支持HDFS平臺通用的ORC格式數(shù)據(jù)增刪改，提供大數(shù)據(jù)平臺互聯(lián)互通能力。基于MVCC、兩階段提交分布式事務(wù)管理技術(shù)，支持ACID全事務(wù)能力。采用Smart Insert行列存混合存儲引擎，支持?jǐn)?shù)據(jù)智能分配存儲，支持高速數(shù)據(jù)更新。 3.交互式的性能體驗(yàn) 基于MPP全并行異步Pipeline分布式執(zhí)行框架，向量化執(zhí)行引擎，謂詞下推智能過濾掃描，LLVM等關(guān)鍵技術(shù)，實(shí)現(xiàn)內(nèi)核引擎極致性能，支持高性能交互式查詢分析。
云數(shù)據(jù)倉庫全并行計(jì)算
GaussDB(DWS)實(shí)現(xiàn)了一套高效能的分布式執(zhí)行引擎，充分利用集群中各節(jié)點(diǎn)的資源，發(fā)揮并行計(jì)算的極致性能。 圖片 GaussDB(DWS)的全并行計(jì)算 https://res-static.hc-cdn.cn/cloudbu-site/china/zh-cn/hjm/dwshxjs.png 如圖，GaussDB(DWS)的全并行計(jì)算核心技術(shù)如下： MPP節(jié)點(diǎn)并行 分布式執(zhí)行框架，VPP用戶態(tài)TCP協(xié)議，支持>1000服務(wù)器，萬級CPU核并行計(jì)算。 SMP（Symmetric Multi-Processing）算子并行 采用多線程并行算法執(zhí)行同一個(gè)SQL，充分利用多核CPU資源，支持眾核(>64 cores)，NUMA架構(gòu)優(yōu)化。 SIMD（Single Instruction Multiple Data）指令級并行 一個(gè)指令執(zhí)行一批數(shù)據(jù)的操作，支持X86，ARM指令。 LLVM（Low Level Virtual Machine）動態(tài)編譯 將熱點(diǎn)函數(shù)預(yù)編譯成機(jī)器碼，減少SQL執(zhí)行指令數(shù)，提升性能。