硬實力領(lǐng)先的重要突破口在于對基礎(chǔ)核心技術(shù)創(chuàng)新的不懈堅持，華為云存儲創(chuàng)新LAB與華中科技大學(xué)合作撰寫論文，提出業(yè)界首個基于分離式內(nèi)存架構(gòu)的Learned Index (ROLEX)，被大會從收錄的24篇Regular Paper中選中，評選為最佳論文，成為國內(nèi)首次獲此殊榮的研究團(tuán)隊。

【論文信息】

Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.

【論文簡介】

       分離式內(nèi)存系統(tǒng)將完整的服務(wù)器分成獨立的組件，并將不同功能的組件構(gòu)建成池，以提高系統(tǒng)資源的利用率，包括內(nèi)存池和計算池。不同的池子通過高效的RDMA網(wǎng)卡進(jìn)行連接，使計算池可以在內(nèi)存池的CPU不參與的情況下訪問內(nèi)存池中的數(shù)據(jù)。

       在這樣的架構(gòu)中，現(xiàn)有的有序索引要么引入了多次昂貴的網(wǎng)絡(luò)往返開銷，要么嚴(yán)重依賴內(nèi)存節(jié)點處理不同的索引請求，因而無法很好地在分離式內(nèi)存架構(gòu)中提供高效的數(shù)據(jù)存儲和訪問性能。

       為了解決這些問題，論文提出一個面向RDMA單邊操作的存儲有序鍵值數(shù)據(jù)的學(xué)習(xí)型索引技術(shù)ROLEX，通過異步重訓(xùn)練支持計算節(jié)點直接修改數(shù)據(jù)而無需重訓(xùn)練模型，提升了多計算節(jié)點的數(shù)據(jù)存儲和訪問性能。為了減少網(wǎng)絡(luò)帶寬的開銷，ROLEX使用異步、原地重訓(xùn)練的策略在內(nèi)存節(jié)點上利用少量的計算資源對修改后的數(shù)據(jù)進(jìn)行重訓(xùn)練。實驗結(jié)果表明，ROLEX在動態(tài)工作負(fù)載上比其他方案提高了2.2倍的性能。

       對基礎(chǔ)技術(shù)的探索永遠(yuǎn)是華為云長期規(guī)劃和堅持的重要部分，沒有產(chǎn)業(yè)技術(shù)的深根鉆研，就無法前瞻洞察產(chǎn)業(yè)發(fā)展趨勢，無法為客戶提供極致的服務(wù)。面對云上內(nèi)存資源昂貴的難題，華為云在內(nèi)存技術(shù)方面進(jìn)行了一系列創(chuàng)新，包括自研的內(nèi)存哈希索引RACE（USENIX ATC 2021）、分布式內(nèi)存事務(wù)（FAST 2022）、學(xué)習(xí)型內(nèi)存鍵值存儲（FAST 2023）、分離式內(nèi)存鍵值存儲（FAST 2023）等，推動云存算分離架構(gòu)演進(jìn)，大幅提升云應(yīng)用性能并節(jié)省云服務(wù)成本。

附：華為云存儲創(chuàng)新LAB在分離式內(nèi)存方向上的研究成果

1.Pengfei Zuo, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, “One-sided RDMA-Conscious Extendible Hashing for Disaggregated Memory”, Proceedings of the USENIX Annual Technical Conference (USENIX ATC), 2021.

2.Ming Zhang, Yu Hua, Pengfei Zuo, Lurong Liu, “FORD: Fast One-sided RDMA-based Distributed Transactions for Disaggregated Persistent Memory”, Proceedings of the 20th USENIX Conference on File and Storage Technologies (FAST), 2022.

3.Pengfei Zuo*, Qihui Zhou*, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, James Cheng, Rongfeng He, Huabing Yan, “RACE: One-Sided RDMA-Conscious Extendible Hashing”, ACM Transactions on Storage (TOS) 18.2 (2022): 1-29.

4.Jiacheng Shen, Pengfei Zuo, Xuchuan Luo, Tianyi Yang, Yuxin Su, Yangfan Zhou, Michael Lyu, “FUSES: A Fully Memory-Disaggregated Key-Value Store”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.

5.Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.