華為云計算 云知識 存算分離,讓美圖處理海量數據的資源利用率提升40%
存算分離,讓美圖處理海量數據的資源利用率提升40%

內容簡介:

隨著業(yè)務數據量指數級增長,美圖的IDC 大數據 中心機房空間有限,設備老舊,采購擴容周期長,無法快速擴展支撐業(yè)務的增長,同時IDC大數據計算資源和存儲資源耦合,無法按計算和存儲不同的增長規(guī)律分別動態(tài)擴縮容,整體資源利用率低,數據存在多份拷貝,存儲資源冗余,另外在IDC大數據中心機房自建大 數據集 群,采用開源軟件,需要投入大量人力維護開源軟件的功能Bug、可靠性和穩(wěn)定性等問題,大數據集群的資源擴縮容、網絡帶寬調整、大數據本地磁盤的損壞,都需要IT運維,運維工作量大,人力投入成本高。

美圖采用了華為云大數據存算分離方案,統一 數據湖 ,實現了一份數據自由流動,避免重復拷貝,支持多元計算和AI創(chuàng)新,數據快速變現,數據文件存儲規(guī)模無限擴展,打破單集群限制,解決運維痛點,同時對計算與存儲資源進行解耦,存儲不足擴存儲,計算不足擴計算,面對數據激增的浪涌 彈性伸縮 ,資源靈活部署,計算存儲資源利用率整體提升40%。

內容大綱:

1、 智能數據湖 技術趨勢發(fā)展;

2、MRS智能數據湖架構&存算分離關鍵技術介紹;

3、美圖大數據搬遷存算分離案例解讀。

聽眾收益:

1、了解業(yè)界數據湖技術發(fā)展趨勢;

2、了解MRS智能數據湖關鍵技術;

3、了解 互聯網行業(yè)數據湖實踐方案。