云計算的核心技術(shù)
云數(shù)據(jù)庫 TaurusDB是一款 云原生 關(guān)系型 數(shù)據(jù)庫 ,完全兼容MySQL的高性能企業(yè)級關(guān)系型數(shù)據(jù)庫,計算存儲分離,最高支持128TB的海量存儲,可實現(xiàn)超百萬級QPS吞吐
基于Shared-nothing/MPP的對等并行計算模型可以充分利用CPU/IO/Mem等資源,獲得極致的運算性能和線性的可擴展性,從而支持PB級數(shù)據(jù)規(guī)模。 分布式存儲 GaussDB(DWS)采用水平分表的方式,將數(shù)據(jù)表格的元組按照一定的分布策略分散存儲到多個節(jié)點。查詢的時候可以通過查詢條件過濾不必要的數(shù)據(jù),
金融行業(yè)對于數(shù)據(jù)安全和可靠性有非常嚴(yán)格的要求,RPO=0 和 RTO≈0 的訴求一直以來都是商業(yè)數(shù)據(jù)庫的領(lǐng)地。TaurusDB 既擁有商業(yè)數(shù)據(jù)庫的穩(wěn)定可靠性,又擁有開源數(shù)據(jù)庫的靈活性和低成本。 優(yōu)勢 100% 兼容 MySQL 完全兼容 MySQL,應(yīng)用無需改造,平滑上云 保證存儲數(shù)據(jù)強一致性 RPO=0
Flexus智能數(shù)據(jù)洞察 支撐業(yè)務(wù)實時高效決策的bi服務(wù) Flexus云會議 高性價比的云會議,高清、穩(wěn)定、安全 Flexus云桌面 按需彈性,更適合中小企業(yè)的云辦公 Flexus對象存儲 成本最優(yōu),極致安全可靠的數(shù)據(jù)底座 計算 彈性云服務(wù)器 ECS 可隨時自動獲取、彈性伸縮的云服務(wù)器 Flexus云服務(wù)
滿足科學(xué)研究訴求:提供澎湃昇騰算力+鯤鵬算力;且通過優(yōu)化加速,使昇騰算力在針對科學(xué)計算領(lǐng)域的運算上表現(xiàn)優(yōu)異。 豐富資產(chǎn) 集成豐富的AI4S領(lǐng)域模型、工作流、工具:面向科學(xué)計算領(lǐng)域的典型場景,提供針對6+領(lǐng)域(生物醫(yī)藥、計算化學(xué)、地球科學(xué)、電磁學(xué)、流體仿真、量子力學(xué))的套件(模型/工具/工作流等), 集成80+ 開源
專屬企業(yè)存儲服務(wù) DESS 專屬分布式存儲服務(wù) DSS 功能描述 計算隔離 獨享計算資源,部署在獨立的物理集群,確保云服務(wù)器資源運行在物理隔離的專屬主機內(nèi) 獨享計算資源,部署在獨立的物理集群,確保云服務(wù)器資源運行在物理隔離的專屬主機內(nèi) 靈活創(chuàng)建 支持用戶自行指定主機規(guī)劃資源,合理部署業(yè)務(wù)
主可控。 - 精細(xì)化的數(shù)據(jù)隱私保護策略,確保分析結(jié)果中強制執(zhí)行隱私數(shù)據(jù)的脫敏。 使能數(shù)據(jù)交易 使能數(shù)據(jù)交易 傳統(tǒng)數(shù)據(jù)交易方式,交易的是數(shù)據(jù)所有權(quán),交易完成后,數(shù)據(jù)被無限制的拷貝和復(fù)制。采用可信交易方式,交易的不是數(shù)據(jù),而是數(shù)據(jù)的使用權(quán),賣家賣的是對某個數(shù)據(jù)的用法用量,不用擔(dān)心數(shù)據(jù)被拷貝和復(fù)制。
打造高精度、高分辨率、定制化區(qū)域的基礎(chǔ)大模型。 全球模型 提供高精度的全球模型,無需定制和訓(xùn)練,直接訂閱即可推理 多種部署形態(tài) 支持公有云、混合云、邊緣多種形態(tài),滿足不同需求 文檔與學(xué)習(xí)成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古科學(xué)計算大模型能力與規(guī)格 盤古大模型用戶指南
長計費 高吞吐低時延 采用Apache Flink的Dataflow模型,完全的實時計算框架。采用高性能計算資源,從用戶自建的Kafka、MRS-Kafka、DMS-Kafka消費數(shù)據(jù),單SPU每秒吞吐1千~2萬條消息,不同場景的吞吐量有差異 主要功能 StreamingML 提
0倍增長。通過貨運車輛的運行路線,獲取實時街景,完成動態(tài)地圖的繪制,基于傳統(tǒng)貨運,打造新商業(yè)模式。 了解詳情 西南首個智能網(wǎng)聯(lián)的車路協(xié)同測試場 基于華為云IoT提供的路網(wǎng)數(shù)字化服務(wù),都汶高速采用攝像頭、雷達(dá)等多維度數(shù)據(jù)采集,在不受雨霧遮擋影響、不新增路燈的情況下,實現(xiàn)全天候?qū)崟r感
共三節(jié)課程云精髓入門級培訓(xùn) 培訓(xùn)內(nèi)容:基于公有云的計算、存儲、網(wǎng)絡(luò)、數(shù)據(jù)庫、安全、部署等服務(wù)場景,通過對典型場景的需求和實現(xiàn)解析,配合實操幫助掌握各個服務(wù)正確的使用方式,幫助學(xué)員熟練掌握最核心服務(wù)的正確用法和基礎(chǔ)的操作,轉(zhuǎn)變到云計算的思維方式,是深入學(xué)習(xí)其他華為云技術(shù)的基礎(chǔ)。云原生入門級培訓(xùn)
面向計算技術(shù)領(lǐng)域,提供平臺、賽題、專家、運營、營銷全流程辦賽服務(wù)。實現(xiàn)以賽促產(chǎn),以賽促學(xué),以賽促建,提升品牌影響力。大賽活動特點及優(yōu)勢:1.技術(shù)創(chuàng)新人才聚集:一場競賽可聚集領(lǐng)域眾多技術(shù)創(chuàng)新人才進行共創(chuàng)2.特定場景應(yīng)用領(lǐng)域:通過賽題,挖掘目標(biāo)領(lǐng)域的優(yōu)秀創(chuàng)新人才及項目3.產(chǎn)業(yè)生態(tài)共建
景行銳創(chuàng)攜手全球合作伙伴基于云計算、大數(shù)據(jù)、IoT等技術(shù)幫助制造行業(yè)客戶重塑制造行業(yè)價值鏈,創(chuàng)新商業(yè)模式,實現(xiàn)新的價值創(chuàng)造。景行云仿真計算平臺作為華為云上的一項增值服務(wù),您只需支付華為云的基礎(chǔ)機器資源費用便可免費使用該增值服務(wù)平臺。 服務(wù)背景:為實現(xiàn)景行仿真計算平臺云端化,提供更高效便捷的云計算資源,
功能包括分子發(fā)光性能以及電荷輸運性能的理論計算,廣泛應(yīng)用有機顯示材料、有機照明材料、有機半導(dǎo)體材料、有機太陽能電池材料、有機光檢測、生物傳感材料、有機光通訊材料、有機光催化等領(lǐng)域。載流子動力學(xué)計算模塊,缺陷(雜質(zhì))能量計算模塊,缺陷(雜質(zhì))濃度計算模塊,熱力學(xué)穩(wěn)定性計算模塊
備 上 , 用 來 采 集 客 戶 現(xiàn) 場 設(shè) 備 上 的 數(shù) 據(jù) 或 者 反 向 發(fā) 送 數(shù) 據(jù) , 一 般 用 來 實 現(xiàn) 數(shù) 據(jù) 匯 總 、 數(shù) 據(jù) 透 傳 、 無 線 對 傳 、 協(xié) 議 轉(zhuǎn) 換 、 設(shè) 備 上 云 等 功 能 。 【 通 信 方 式 】 B / C 系 列
。軒轅AI科學(xué)計算平臺是基于華為“鯤鵬+昇騰”算力底座,圍繞數(shù)據(jù)、算法,為科研團隊提供智能預(yù)測、決策推理、文獻共引分析、知識抽取、專利網(wǎng)絡(luò)分析等功能,借助深度學(xué)習(xí)和知識圖譜等AI分析技術(shù),加快科研產(chǎn)出。(基礎(chǔ)版含20賬號及云服務(wù)器) 提供專業(yè)的數(shù)據(jù)治理服務(wù),資深的AI專家團隊支持
據(jù)共享價值。2、多方安全計算:在不需要可信第三方的情況下,多個參與方實現(xiàn)目標(biāo)函數(shù)計算的同時,不會泄漏自有數(shù)據(jù),也無法推斷出其他各參與方的數(shù)據(jù)。3、可信執(zhí)行環(huán)境:通過軟硬件結(jié)合的方法在CPU構(gòu)建安全的物理區(qū)域,實現(xiàn)高效的程序執(zhí)行與數(shù)據(jù)計算。二、天冕隱私計算平臺功能1、聯(lián)邦建模平臺聯(lián)
植和數(shù)據(jù)遷移實戰(zhàn)經(jīng)驗的賦能服務(wù)應(yīng)用數(shù)據(jù)遷移:通過一系列的流程和方法,借助專業(yè)工具和手段,把支撐業(yè)務(wù)運營的存儲及IT系統(tǒng)中的數(shù)據(jù)文件從源平臺平滑遷移到目標(biāo)鯤鵬平臺。同時保證遷移過程對業(yè)務(wù)運行的影響最小,遷移后的業(yè)務(wù)穩(wěn)定運行數(shù)據(jù)庫遷移:完成鯤鵬遷移后,通過一系列的流程和方法,借助專業(yè)
邊緣計算盒Gnosis 100A搭載國產(chǎn)化計算芯片,具備高性能、低功耗、小體積、溫度范圍寬、環(huán)境適應(yīng)性強、易于維護管理等特點。 通過搭配多樣化深度學(xué)習(xí)算法,靈活應(yīng)對城市治理、公共安全、電力能源、軌道交通等需求,實現(xiàn)邊緣側(cè)的AI賦能。邊緣計算盒Gonsis100A 場景豐富:支持城
據(jù)庫平滑遷移上云。 華為云數(shù)據(jù)復(fù)制服務(wù)的在線遷移特性,通過增量遷移技術(shù),能夠最大限度允許遷移過程中業(yè)務(wù)繼續(xù)對外提供使用,有效地將業(yè)務(wù)系統(tǒng)中斷時間和業(yè)務(wù)影響最小化,讓數(shù)據(jù)庫平滑遷移上云。 云上安全災(zāi)備 華為數(shù)據(jù)復(fù)制服務(wù)可支持本地IDC作為業(yè)務(wù)中心,華為云作為災(zāi)備中心的數(shù)據(jù)同步。您可
度上說,云帶來了安全產(chǎn)品的整體提升。 云計算入門學(xué)習(xí)在線課程 華為云入門 本課程從近年來的行業(yè)痛點分析入手,層層揭開云計算的神秘面紗。介紹了云技術(shù)的特點和價值,以及華為云服務(wù)十幾個典型的產(chǎn)品。 課程目標(biāo):通過本課程的學(xué)習(xí),了解云計算、華為云服務(wù),并對華為云的使用有一定的了解。 立即學(xué)習(xí)
為游戲業(yè)務(wù)提供高可靠、高性能、高穩(wěn)定,低時延的高性能云服務(wù)器,給玩家順暢游戲體驗。根據(jù)游戲業(yè)務(wù)對資源的需求快速彈性擴容,合理利用計算資源,節(jié)約成本 怎么搭建云計算平臺 云計算服務(wù)實踐 10分鐘快速入門云計算服務(wù)器 ECS 本實驗指導(dǎo)用戶體驗華為云彈性云服務(wù)器ECS的配置創(chuàng)建、遠(yuǎn)程登錄及服務(wù)器管理
本課程從近年來的行業(yè)痛點分析入手,層層揭開云計算的神秘面紗。介紹了云技術(shù)的特點和價值,以及華為云服務(wù)十幾個典型的產(chǎn)品。 課程目標(biāo):通過本課程的學(xué)習(xí),了解云計算、華為云服務(wù),并對華為云的使用有一定的了解。 立即學(xué)習(xí) 彈性云服務(wù)器ECS:輕松上云第一步 云時代已經(jīng)到來,了解并學(xué)會使用彈性云服
在線課程 華為云入門 本課程從近年來的行業(yè)痛點分析入手,層層揭開云計算的神秘面紗。介紹了云技術(shù)的特點和價值,以及華為云服務(wù)十幾個典型的產(chǎn)品。 課程目標(biāo) 通過本課程的學(xué)習(xí),了解云計算、華為云服務(wù),并對華為云的使用有一定的了解。 立即學(xué)習(xí) 彈性云服務(wù)器ECS:輕松上云第一步 云時代已經(jīng)到
云計算學(xué)習(xí)入門 通過免費課程、在線實驗、專業(yè)認(rèn)證,了解什么是云計算, 掌握云計算的概念及應(yīng)用場景,入門華為云 上華為云學(xué)院,Get更多前沿技能! 在線課程 華為云入門 本課程從近年來的行業(yè)痛點分析入手,層層揭開云計算的神秘面紗。介紹了云技術(shù)的特點和價值,以及華為云服務(wù)十幾個典型的產(chǎn)品。
IFS智能財務(wù)商城的亮點在于其精專業(yè)的咨詢團隊協(xié)同研發(fā),強聯(lián)動的PaaS和SaaS雙層應(yīng)用,高占比的低代碼交互操作,輕接入的智能化效果快速呈現(xiàn),以及多模塊的先進技術(shù)嵌入式增強。這些亮點使得IFS智能財務(wù)商城成為一款功能強大、操作簡便的財務(wù)智能化解決方案。 IFS智能財務(wù)商城的產(chǎn)品優(yōu)勢主要
3.吞吐量 使用系統(tǒng)的吞吐量來定義處理數(shù)據(jù)的整體能力。數(shù)據(jù)庫的吞吐量以每秒的查詢次數(shù)、每秒的處理事務(wù)數(shù)量或平均響應(yīng)時間來測量。數(shù)據(jù)庫的處理能力與底層系統(tǒng)(磁盤I/O,CPU速度,存儲器帶寬等)有密切的關(guān)系,所以當(dāng)設(shè)置數(shù)據(jù)庫吞吐量目標(biāo)時,需要提前了解硬件的性能。 4.競爭 競爭是
規(guī)格 專屬計算集群的規(guī)格提供了對應(yīng)物理服務(wù)器的配置信息,您可以根據(jù)自己的業(yè)務(wù)特性和規(guī)模,選擇合適的專屬計算集群規(guī)格。 專屬計算集群DCC - 查詢專屬云信息 用戶可以查看在不同云服務(wù)區(qū)已經(jīng)申請成功的專屬云。進入指定的專屬云,還可以查看該專屬云內(nèi)專屬計算資源詳情及云服務(wù)器等專屬云內(nèi)基礎(chǔ)服務(wù)的實例信息。
云計算的核心技術(shù)
組件介紹
Flink是一個批處理和流處理結(jié)合的統(tǒng)一計算框架,其核心是一個提供了數(shù)據(jù)分發(fā)以及并行化計算的流數(shù)據(jù)處理引擎。它的最大亮點是流處理,是業(yè)界最頂級的開源流處理引擎。
Flink最適合的應(yīng)用場景是低時延的數(shù)據(jù)處理(Data Processing)場景:高并發(fā)pipeline處理數(shù)據(jù),時延毫秒級,且兼具可靠性。
Flink技術(shù)棧如圖1所示。
Flink在當(dāng)前版本中重點構(gòu)建如下特性,其他特性繼承開源社區(qū),不做增強。
- DataStream
- Checkpoint
- 窗口
- Job Pipeline
- 配置表
架構(gòu)
Flink架構(gòu)如圖2所示。
Flink整個系統(tǒng)包含三個部分:
- Client
- TaskManager
Flink系統(tǒng)的業(yè)務(wù)執(zhí)行節(jié)點,執(zhí)行具體的用戶任務(wù)。TaskManager可以有多個,各個TaskManager都平等。
- JobManager
Flink系統(tǒng)的管理節(jié)點,管理所有的TaskManager,并決策用戶任務(wù)在哪些TaskManager執(zhí)行。JobManager在HA模式下可以有多個,但只有一個主JobManager。
Flink系統(tǒng)提供的關(guān)鍵能力:
Flink開發(fā)接口簡介
Flink DataStream API提供Scala和Java兩種語言的開發(fā)方式,如表1所示。
Flink基本概念
- DataStream
數(shù)據(jù)流,是指Flink系統(tǒng)處理的最小數(shù)據(jù)單元。該數(shù)據(jù)單元最初由外部系統(tǒng)導(dǎo)入,可以通過Socket、Kafka和文件等形式導(dǎo)入,在Flink系統(tǒng)處理后,通過Socket、Kafka和文件等輸出到外部系統(tǒng),這是Flink的核心概念。
- Data Transformation
數(shù)據(jù)處理單元,會將一或多個DataStream轉(zhuǎn)換成一個新的DataStream。
具體可以細(xì)分如下幾類:
- 一對一的轉(zhuǎn)換:如Map。
- 一對0、1或多個的轉(zhuǎn)換:如FlatMap。
- 一對0或1的轉(zhuǎn)換,如Filter。
- 多對1轉(zhuǎn)換,如Union。
- 多個聚合的轉(zhuǎn)換,如window、keyby。
- CheckPoint
CheckPoint是Flink數(shù)據(jù)處理高可靠、最重要的機制。該機制可以保證應(yīng)用在運行過程中出現(xiàn)失敗時,應(yīng)用的所有狀態(tài)能夠從某一個檢查點恢復(fù),保證數(shù)據(jù)僅被處理一次(Exactly Once)。
- SavePoint
Savepoint是指允許用戶在持久化存儲中保存某個checkpoint,以便用戶可以暫停自己的任務(wù)進行升級。升級完后將任務(wù)狀態(tài)設(shè)置為savepoint存儲的狀態(tài)開始恢復(fù)運行,保證數(shù)據(jù)處理的延續(xù)性。
Flink樣例工程介紹
MRS 樣例工程獲取地址為https://github.com/huaweicloud/huaweicloud-mrs-example,切換分支為與MRS集群相匹配的版本分支,然后下載壓縮包到本地后解壓,即可獲取各組件對應(yīng)的樣例代碼工程。
|
樣例工程 |
描述 |
|---|---|
|
FlinkCheckpointJavaExample |
異步Checkpoint機制程序的應(yīng)用開發(fā)示例。 假定用戶需要每隔1秒鐘統(tǒng)計4秒鐘窗口中數(shù)據(jù)的量,并做到狀態(tài)嚴(yán)格一致性,即:當(dāng)應(yīng)用出現(xiàn)異常并恢復(fù)后,各個算子的狀態(tài)能夠處于統(tǒng)一的狀態(tài)。 相關(guān)業(yè)務(wù)場景介紹請參見Flink開啟Checkpoint樣例程序。 |
|
FlinkCheckpointScalaExample |
|
|
FlinkHBaseJavaExample |
通過Flink API作業(yè)讀寫HBase數(shù)據(jù)的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink讀取HBase表樣例程序。 |
|
FlinkHudiJavaExample |
通過Flink API作業(yè)讀寫Hudi數(shù)據(jù)的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink讀取Hudi表樣例程序。 |
|
FlinkKafkaJavaExample |
向Kafka生產(chǎn)并消費數(shù)據(jù)程序的應(yīng)用開發(fā)示例。 通過調(diào)用flink-connector-kafka模塊的接口,生產(chǎn)并消費數(shù)據(jù)。 相關(guān)業(yè)務(wù)場景介紹請參見Flink Kafka樣例程序。 |
|
FlinkKafkaScalaExample |
|
|
FlinkPipelineJavaExample |
Job Pipeline程序的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink Job Pipeline樣例程序。 發(fā)布者Job自己每秒鐘產(chǎn)生10000條數(shù)據(jù),然后經(jīng)由該job的NettySink算子向下游發(fā)送。另外兩個Job作為訂閱者,分別訂閱一份數(shù)據(jù)并打印輸出。 |
|
FlinkPipelineScalaExample |
|
|
FlinkRESTAPIJavaExample |
調(diào)用FlinkServer的RestAPI創(chuàng)建租戶的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見FlinkServer REST API樣例程序。 |
|
FlinkStreamJavaExample |
DataStream程序的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink DataStream樣例程序。 假定用戶有某個網(wǎng)站周末網(wǎng)民網(wǎng)購?fù)A魰r間的日志文本,另有一張網(wǎng)民個人信息的csv格式表,可通過Flink應(yīng)用程序?qū)崿F(xiàn)例如實時統(tǒng)計總計網(wǎng)購時間超過2個小時的女性網(wǎng)民信息,包含對應(yīng)的個人詳細(xì)信息的功能。 |
|
FlinkStreamScalaExample |
|
|
FlinkStreamSqlJoinExample |
Stream SQL Join程序的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink Join樣例程序。 假定某個Flink業(yè)務(wù)1每秒就會收到1條消息記錄,消息記錄某個用戶的基本信息,包括名字、性別、年齡。另有一個Flink業(yè)務(wù)2會不定時收到1條消息記錄,消息記錄該用戶的名字、職業(yè)信息。實現(xiàn)實時的以根據(jù)業(yè)務(wù)2中消息記錄的用戶名字作為關(guān)鍵字,對兩個業(yè)務(wù)數(shù)據(jù)進行聯(lián)合查詢的功能。 |
|
FlinkStreamSqlJoinScalaExample |
|
|
flink-sql |
使用客戶端通過jar作業(yè)提交SQL作業(yè)的應(yīng)用開發(fā)示例。 相關(guān)業(yè)務(wù)場景介紹請參見Flink Jar作業(yè)提交SQL樣例程序。 |
|
pyflink-example |
提供Python讀寫Kafka作業(yè)和Python提交SQL作業(yè)的樣例。 相關(guān)業(yè)務(wù)場景介紹請參見PyFlink樣例程序。 |
云計算的核心技術(shù)常見問題
更多常見問題 >>-
gaussdb免費數(shù)據(jù)庫有哪些?華為gaussdb數(shù)據(jù)庫基于華為云數(shù)據(jù)庫團隊10年+技術(shù)積淀,為您打造更高可用、更高可靠、更高安全、更高性能、即開即用、便捷運維、彈性伸縮的數(shù)據(jù)庫服務(wù),擁有容災(zāi)、備份、恢復(fù)、安防、監(jiān)控、遷移等全面的解決方案。
-
云計算作為近年被熱炒的概念,Google、Amazon、IBM等IT巨頭們也以前所未有的速度和規(guī)模推動著其技術(shù)和產(chǎn)品的普及,那么究竟什么是云計算呢?
-
云計算作為近年被熱炒的概念,Google、Amazon、IBM等IT巨頭們也以前所未有的速度和規(guī)模推動著其技術(shù)和產(chǎn)品的普及,那么究竟什么是云計算呢?
-
SFS的常見問題解答。
-
云計算作為近年被熱炒的概念,Google、Amazon、IBM等IT巨頭們也以前所未有的速度和規(guī)模推動著其技術(shù)和產(chǎn)品的普及,那么究竟什么是云計算呢?
-
云計算的發(fā)展歷程介紹。
更多相關(guān)專題
- 熱門產(chǎn)品
- 大模型即服務(wù)平臺 MaaS
- Flexus云服務(wù)
- 云服務(wù)器
- 盤古大模型
- SSL證書
- 華為云WeLink
- 實用工具
- 文字識別
- 漏洞掃描
- 華為云會議
- 云服務(wù)健康看板
增值電信業(yè)務(wù)經(jīng)營許可證:B1.B2-20200593 | 域名注冊服務(wù)機構(gòu)許可:黔D3-20230001 | 代理域名注冊服務(wù)機構(gòu):新網(wǎng)、西數(shù)

