華為云存儲(chǔ)創(chuàng)新LAB研究成果獲得國(guó)內(nèi)首個(gè)FAST最佳論文獎(jiǎng)！
FAST會(huì)議代表了計(jì)算機(jī)存儲(chǔ)領(lǐng)域的國(guó)際最高水平，被列為CCF A類會(huì)議。FAST論文遴選非常嚴(yán)格，今年在全球范圍內(nèi)僅收錄了28篇論文，其中兩篇來自于華為云，更有一篇被評(píng)為最佳論文獎(jiǎng)。今年FAST被接收的28篇論文中4篇屬于Deployed-System Paper（工業(yè)系統(tǒng)類論文），24篇屬于Regular Paper（學(xué)術(shù)研究類論文）。Deployed-System Paper側(cè)重于介紹工業(yè)系統(tǒng)部署經(jīng)驗(yàn)的歸納與總結(jié)，而Regular Paper則更側(cè)重于基礎(chǔ)技術(shù)領(lǐng)域的創(chuàng)新idea和突破。
硬實(shí)力領(lǐng)先的重要突破口在于對(duì)基礎(chǔ)核心技術(shù)創(chuàng)新的不懈堅(jiān)持，華為云存儲(chǔ)創(chuàng)新LAB與華中科技大學(xué)合作撰寫論文，提出業(yè)界首個(gè)基于分離式內(nèi)存架構(gòu)的Learned Index (ROLEX)，被大會(huì)從收錄的24篇Regular Paper中選中，評(píng)選為最佳論文，成為國(guó)內(nèi)首次獲此殊榮的研究團(tuán)隊(duì)。
【論文信息】
Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.
【論文簡(jiǎn)介】
分離式內(nèi)存系統(tǒng)將完整的服務(wù)器分成獨(dú)立的組件，并將不同功能的組件構(gòu)建成池，以提高系統(tǒng)資源的利用率，包括內(nèi)存池和計(jì)算池。不同的池子通過高效的RDMA網(wǎng)卡進(jìn)行連接，使計(jì)算池可以在內(nèi)存池的CPU不參與的情況下訪問內(nèi)存池中的數(shù)據(jù)。
在這樣的架構(gòu)中，現(xiàn)有的有序索引要么引入了多次昂貴的網(wǎng)絡(luò)往返開銷，要么嚴(yán)重依賴內(nèi)存節(jié)點(diǎn)處理不同的索引請(qǐng)求，因而無法很好地在分離式內(nèi)存架構(gòu)中提供高效的數(shù)據(jù)存儲(chǔ)和訪問性能。
為了解決這些問題，論文提出一個(gè)面向RDMA單邊操作的存儲(chǔ)有序鍵值數(shù)據(jù)的學(xué)習(xí)型索引技術(shù)ROLEX，通過異步重訓(xùn)練支持計(jì)算節(jié)點(diǎn)直接修改數(shù)據(jù)而無需重訓(xùn)練模型，提升了多計(jì)算節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和訪問性能。為了減少網(wǎng)絡(luò)帶寬的開銷，ROLEX使用異步、原地重訓(xùn)練的策略在內(nèi)存節(jié)點(diǎn)上利用少量的計(jì)算資源對(duì)修改后的數(shù)據(jù)進(jìn)行重訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，ROLEX在動(dòng)態(tài)工作負(fù)載上比其他方案提高了2.2倍的性能。
對(duì)基礎(chǔ)技術(shù)的探索永遠(yuǎn)是華為云長(zhǎng)期規(guī)劃和堅(jiān)持的重要部分，沒有產(chǎn)業(yè)技術(shù)的深根鉆研，就無法前瞻洞察產(chǎn)業(yè)發(fā)展趨勢(shì)，無法為客戶提供極致的服務(wù)。面對(duì)云上內(nèi)存資源昂貴的難題，華為云在內(nèi)存技術(shù)方面進(jìn)行了一系列創(chuàng)新，包括自研的內(nèi)存哈希索引RACE（USENIX ATC 2021）、分布式內(nèi)存事務(wù)（FAST 2022）、學(xué)習(xí)型內(nèi)存鍵值存儲(chǔ)（FAST 2023）、分離式內(nèi)存鍵值存儲(chǔ)（FAST 2023）等，推動(dòng)云存算分離架構(gòu)演進(jìn)，大幅提升云應(yīng)用性能并節(jié)省云服務(wù)成本。
附：華為云存儲(chǔ)創(chuàng)新LAB在分離式內(nèi)存方向上的研究成果
1.Pengfei Zuo, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, “One-sided RDMA-Conscious Extendible Hashing for Disaggregated Memory”, Proceedings of the USENIX Annual Technical Conference (USENIX ATC), 2021.
2.Ming Zhang, Yu Hua, Pengfei Zuo, Lurong Liu, “FORD: Fast One-sided RDMA-based Distributed Transactions for Disaggregated Persistent Memory”, Proceedings of the 20th USENIX Conference on File and Storage Technologies (FAST), 2022.
3.Pengfei Zuo*, Qihui Zhou*, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Yu Hua, James Cheng, Rongfeng He, Huabing Yan, “RACE: One-Sided RDMA-Conscious Extendible Hashing”, ACM Transactions on Storage (TOS) 18.2 (2022): 1-29.
4.Jiacheng Shen, Pengfei Zuo, Xuchuan Luo, Tianyi Yang, Yuxin Su, Yangfan Zhou, Michael Lyu, “FUSES: A Fully Memory-Disaggregated Key-Value Store”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.
5.Pengfei Li, Yu Hua, Pengfei Zuo, Zhangyu Chen, Jiajie Sheng, “ROLEX: A Scalable RDMA-oriented Learned Key-Value Store for Disaggregated Memory Systems”, accepted and to appear in the 21st USENIX Conference on File and Storage Technologies (FAST), 2023.