華為云計算 云知識 Cloud Bursting解決方案,Serverless容器降本增效極致體驗
Cloud Bursting解決方案,Serverless容器降本增效極致體驗

摘要:聚焦華為云Serverless容器服務(wù)CCI提供的 云原生 Cloud Bursting解決方案,結(jié)合典型場景案例及實操演示,幫助企業(yè)和用戶快速構(gòu)建降本增效方案。

本文分享自華為云社區(qū)《DTSE Tech Talk | 第42期:Cloud Bursting解決方案,Serverless容器降本增效極致體驗》,作者:華為云社區(qū)精選。

線下IDC自建K8s集群容量無法滿足業(yè)務(wù)峰值訴求?IDC基礎(chǔ)設(shè)施擴容流程慢,一次性投入大,管理維護成本高?在《云原生Bursting,如何助力企業(yè)降本增效》的主題直播中,華為云云原生 DTSE 技術(shù)布道師劉雨青,聚焦華為云Serverless容器服務(wù)CCI提供的云原生Cloud Bursting解決方案,結(jié)合典型場景案例及實操演示,幫助企業(yè)和用戶快速構(gòu)建降本增效方案。

什么是Cloud Bursting

Cloud Bursting(云爆發(fā))是一種在本地基礎(chǔ)設(shè)施到達峰值容量時使用 云計算 資源的配置方法。當(dāng)企業(yè)內(nèi)部數(shù)據(jù)中心的計算資源不足時,他們會將額外的工作負載突增到外部第三方云服務(wù)。Cloud Bursting是一種方便而經(jīng)濟高效的方式,可為具有不同需求模式和周期性需求峰值的工作負載提供支持。

cke_120.png

通過Cloud Bursting,云消費者可以執(zhí)行以下操作:

  • 高效使用本地資源
  • 減少對本地基礎(chǔ)設(shè)施的進一步投資
  • 享受公有云帶來的規(guī)模和靈活性
  • 避免因業(yè)務(wù)激增而導(dǎo)致業(yè)務(wù)關(guān)鍵型應(yīng)用程序服務(wù)中斷

Cloud Bursting在云原生場景下新實現(xiàn)

Gartner預(yù)測,2025年,基于云原生平臺的數(shù)字化業(yè)務(wù)比例將達到95%。云原生技術(shù)持續(xù)發(fā)展且市場占比不斷提高, Serverless容器成為云原生2.0時代企業(yè)上云新的選擇。

Serverless即通過容器來運行一個應(yīng)用,且基于Serverless架構(gòu),我們無需為基礎(chǔ)設(shè)施維護做管理,當(dāng)前Serverless容器的采用規(guī)模也在逐漸增高,使用公有云Serverless容器服務(wù)可以有效降低運維成本和減少資源浪費。

華為云Serverless容器服務(wù)CCI ( Cloud Container Instance )是基于Serverless架構(gòu)的容器服務(wù)。它具有極致彈性、隨取隨用、安全隔離、大規(guī)模多元算力、低成本等一系列特點。CCI服務(wù)是作為云原生Cloud Bursting場景下的資源提供者。云原生Bursting解決方案主要有三種接入方式——客戶IDC接入、華為云容器集群接入、Console/API接入。

客戶IDC接入

客戶IDC場景下,即用戶在自己的線下IDC中,擁有自建的K8s集群或者已使用類似華為云CCE 敏捷版服務(wù),它托管了一套K8s集群,通過安裝CCI提供的彈性套件,將自己的IDC業(yè)務(wù)彈性到云上的CCI。

華為云容器集群接入

用戶通過華為云提供的CCE/ CCE Turbo,可以一鍵式創(chuàng)建K8s集群,但用戶還需要自行管理Node節(jié)點。安裝彈性套件后,用戶可以將CCE內(nèi)的高峰業(yè)務(wù),彈性到CCI,做一個靈活的配合——用戶可以將常用業(yè)務(wù)運行在集群上,高峰場景業(yè)務(wù)將它彈性到CCI。

 

Console/API接入

正常的接口調(diào)用,用戶通過Console/API接入,進行業(yè)務(wù)下發(fā)。這種場景比較使用一些當(dāng)前內(nèi)部未使用K8s服務(wù)的企業(yè),但內(nèi)部具備自有的調(diào)度平臺,虛機和容器同時使用,這種狀態(tài)下,我們建議其可以采用這種方式。

云原生Bursting關(guān)鍵能力解析

云原生Bursting重要插件Virtual Kubelet

Virtual Kubelet是基于社區(qū)Virtual Kubelet開源項目開發(fā)的插件,作為一種虛擬的Kubelet用來連接Kubernetes集群和其他平臺的API,主要場景是將K8s集群內(nèi)業(yè)務(wù)彈性擴展到Serverless容器平臺(如CCI等)。

社區(qū)VK基礎(chǔ)能力:

  • 管理VK-Node的生命周期
  • 管理調(diào)度到VK-Node Pod的生命周期
  • 提供節(jié)點級API(Pod Exec、Logs等)

CCI增強型VK擴展能力:

  • Pod間網(wǎng)絡(luò)互通、Service互通
  • 支持掛載存儲
  • 智能校驗、智能調(diào)度、智能屏蔽彈性資源池
  • 云上日志、監(jiān)控打通
  • 環(huán)境一致性優(yōu)化(DNS解析、Hostname、同步Event等)
  • 大規(guī)模、可靠性增強

cke_121.png

靈活的的調(diào)度控制策略

提供容器組(Pod)級別彈性控制能力

工作負載中添加virtual-kubelet.io/burst-to-cci標(biāo)簽,進行彈性控制,支持如下配置能力:

  • auto:根據(jù)用戶集群內(nèi)調(diào)度器實際打分結(jié)果自動決定是否彈性至CCI,其中在TaintToleration算法上會優(yōu)先選擇調(diào)度到CCE節(jié)點
  • localPrefer:集群資源不足時,將Pod部署到CCI
  • enforce:強制調(diào)度至CCI
  • off:不調(diào)度至CCI

cke_122.png

 

使用Scheduler Profile對象管理彈性數(shù)量和縮容優(yōu)先級

cke_123.png

容器 鏡像 線下線上統(tǒng)一管理

提供統(tǒng)一的鏡像管理能力,簡化Bursting過程鏡像管理。

  • 默認對接華為云SWR倉庫,支持SWR企業(yè)倉庫
  • 提供工具一鍵式同步存量鏡像到華為云SWR / SWR企業(yè)倉庫
  • 提供工具支持新增鏡像的增量、定時同步華為云
  • 支持直接訪問自建harbor、云廠商企業(yè)倉庫
  • 支持通過鏡像快照能力提升容器鏡像下載性能,單鏡像5s內(nèi)下載
  • Bursting彈性套件支持彈性過程中地址替換,業(yè)務(wù)配置零改造

基于Bursting套件,定義正則表達,替換pod yaml中鏡像地址到華為云SWR。彈性過程業(yè)務(wù)無感,無需處理配置差異

自動匹配華為云倉庫認證憑據(jù),無需業(yè)務(wù)適配

cke_124.png

 

全局的一致體驗

提供全局業(yè)務(wù)統(tǒng)一入口

  • Pod、ConfigMap、Service和Secret等資源統(tǒng)一從原K8s集群下發(fā)
  • Pod依賴項增量同步,避免全量同步造成的帶寬壓力
  • 支持K8s集群容器實例與彈性至CCI實例通過Service靈活互訪

提供統(tǒng)一運維管理

  • CCI Pod提供普羅標(biāo)準(zhǔn)監(jiān)控接口,支持對接客戶普羅監(jiān)控平臺
  • CCI Pod內(nèi)置fluent-bit插件,支持上傳業(yè)務(wù)日志至kafka
  • Virtual Kubelet根據(jù)用戶Pod變化上報event等信息回傳用戶集群

 

cke_125.png

華為云 開發(fā)者聯(lián)盟

,贊3

云原生Bursting客戶案例

基于Serverless容器打造Cloud Bursting靈活上云新體驗

Q公司是全球最大的中文在線旅行網(wǎng)站,為消費者提供機票、酒店、會場、度假產(chǎn)品的實時搜索,并提供旅游產(chǎn)品團購以及其他旅游信息服務(wù),為旅游合作伙伴提供在線技術(shù)、移動技術(shù)解決方案。

客戶核心訴求

受前期疫情等影響,客戶減少IDC的硬件資源投資,改用云上資源,以降本增效??蛻魳I(yè)務(wù)已經(jīng)容器化,并在線下IDC中使用K8s進行容器編排,希望減少或避免應(yīng)用改造。

方案價值

打通IDC和華為云容器CCI,實現(xiàn)IDC資源在公有云上 彈性伸縮 ,云上資源按需使用,按秒計費,成本節(jié)省30+%。云上實例秒級彈性擴縮容,構(gòu)筑基礎(chǔ)設(shè)施層支撐上層業(yè)務(wù)流量變化的動態(tài)響應(yīng)能力和穩(wěn)定性。通過華為云提供的Virtual Kubelet組件完成從IDC的K8S集群到云上Serverless容器對接,無需客戶二次開發(fā),云上/IDC體驗一致。

cke_126.png

 

基于云原生Bursting打造開放、高效的云原生 大數(shù)據(jù) 平臺

Z公司擁有2.3億職場人用戶,累計合作企業(yè)數(shù)達616萬家。依托強大的數(shù)據(jù)實力,顛覆傳統(tǒng)招聘模式,建設(shè)開放職崗生態(tài)系統(tǒng),重塑人力資源市場招聘服務(wù)標(biāo)準(zhǔn)。憑借大數(shù)據(jù)和AI技術(shù)打造開放的人力資本生態(tài),讓人才和機會更精準(zhǔn)高效的建立連接,為生態(tài)內(nèi)的合作伙伴創(chuàng)造更多價值。

客戶核心訴求 

  • 春招秋招及日常活動,算力流量上浮幾倍,無法提前預(yù)測,需實時彈性
  • 未來計劃與業(yè)務(wù)應(yīng)用、算法業(yè)務(wù)等統(tǒng)一資源池和技術(shù)棧,混合部署;Yarn調(diào)度無法按部門按業(yè)務(wù)統(tǒng)計費用,預(yù)算申請與資源分配難。
  • 原有大 數(shù)據(jù)集 群CPU、內(nèi)存及硬盤等資源使用率低,但資源仍不足,節(jié)點彈性顆粒度大,資源浪費嚴重。

方案價值

  • 降本增效:改造后資源按需使用,CCE Turbo少量節(jié)點部署控制面,所有業(yè)務(wù)均彈性CCI,較之前的成本減低20%。利用云上高性能彈性資源,報表任務(wù)執(zhí)行周期縮短一半,實時計算性能提高數(shù)倍。
  • 統(tǒng)一平臺:將Flink on K8s實踐和經(jīng)驗拓展到Spark領(lǐng)域,構(gòu)建出高效低成本云原生大數(shù)據(jù)平臺,為更多人才和機會提供更高效連接,為企業(yè)提供更高價值的數(shù)據(jù)服務(wù)。
  • 極致彈性助力頭部社交公司輕松應(yīng)對突發(fā)流量洪峰

W公司是互聯(lián)網(wǎng)行業(yè)的重點和標(biāo)桿,日活2.55億、月活5.93億,突發(fā)業(yè)務(wù)峰值流量高(如各種明星事件、春晚等),需要借助公有云實現(xiàn)快速彈性擴容能力。

客戶核心訴求

  • IDC資源不足,應(yīng)對突發(fā)事件難以支撐流量洪峰;
  • 流量預(yù)警后,彈性伸縮效率低下,未及時擴容導(dǎo)致業(yè)務(wù)中斷后難以快速恢復(fù),直到流量洪峰退去;
  • 遠高于日常流量需求,高規(guī)格部署,資源成本造成巨大浪費。

方案價值

日峰伸縮,每日業(yè)務(wù)高峰觸發(fā)擴容,按需申請資源,按需計費,節(jié)省資源成本30%+;熱點事件平穩(wěn)運行,規(guī)模虛機+容器實例擴容運行業(yè)務(wù),30秒擴容2.4萬核,幫助W公司應(yīng)對50+次熱點事件突發(fā)流量。

更多華為云Serverless容器服務(wù)CCI以及量身定制Cloud Bursting解決方案,歡迎訪問華為云官網(wǎng):