華為云存儲創(chuàng)新LAB論文被USENIX ATC'21接收！提出首個全單邊RDMA訪問的分布式哈希索引
USENIX ATC是計算機系統(tǒng)領(lǐng)域的頂級會議，入選中國計算機協(xié)會（CCF）推薦A類國際會議列表；本次共投稿341篇論文，接收64篇，錄用率18.8%。華為云存儲創(chuàng)新實驗室MemArts團隊提出首個全單邊RDMA訪問的分布式哈希索引RACE Hashing的工作被USENIX ATC’21錄用。RACE Hashing是華為云基礎(chǔ)設(shè)施向內(nèi)存中心架構(gòu)演進的關(guān)鍵技術(shù)成果之一。
【論文信息】
Pengfei Zuo, Jiazhao Sun, Liu Yang, Shuangwu Zhang, Huawei Inc.; Yu Hua, Huazhong University of Science and Technology; "One-sided RDMA-Conscious Extendible Hashing for Disaggregated Memory". USENIX Annual Technical Conference (USENIX ATC), 2021.
【論文簡介】
在以內(nèi)存為中心的計算架構(gòu)（Memory-centric Architecture）中，Disaggregated Memory技術(shù)通過解耦合計算和內(nèi)存資源形成獨立的計算和內(nèi)存資源池。由于資源池化和硬件獨立部署，Disaggregated Memory帶來資源利用率提升、故障隔離和彈性增強等收益，從而在云數(shù)據(jù)中心中具有廣闊的應(yīng)用前景。分布式in-memory哈希索引是很多數(shù)據(jù)中心應(yīng)用的關(guān)鍵構(gòu)建單元。但是，由于disaggregated memory pool上的計算能力非常弱從而不能執(zhí)行復(fù)雜的索引請求，傳統(tǒng)的分布式哈希索引很難高效地使用在Disaggregated Memory中。
為了在Disaggregated Memory上提供高效的索引服務(wù)，我們提出首個基于全單邊RDMA訪問的分布式哈希索引RACE Hashing (one-sided RDMA-Conscious Extendible hashing)，并且支持無鎖的遠程并發(fā)控制和遠程擴容。首先，RACE Hashing提出一個單邊RDMA意識的高性能哈希表結(jié)構(gòu)，其中所有的索引請求（增/刪/改/查）只使用單邊RDMA原語（read/write/atomic）設(shè)計和實現(xiàn)，從而不需要涉及memory pool端任何計算能力。其次，RACE Hashing提出一個無鎖的遠程并發(fā)控制技術(shù)使得不同的客戶端能以無鎖的方式并發(fā)操作memory pool上的同一個哈希索引。最后，RACE Hashing提出一個可擴展的遠程擴容技術(shù)來減少擴容過程中的單邊RDMA訪問數(shù)，并且支持在擴容過程中可以并發(fā)執(zhí)行增刪改查請求。實驗結(jié)果顯示，相對于現(xiàn)有最優(yōu)的分布式哈希索引，RACE Hashing減少了2.5~65.6倍的請求執(zhí)行時延、提升了2.2~17.3倍的請求并發(fā)吞吐量。
RACE Hashing是第一個使用全單邊RDMA設(shè)計和實現(xiàn)的并發(fā)索引結(jié)構(gòu)，正如USENIX ATC的審稿人所述：“To best of my knowledge, the RACE is the first concurrent RDMA hash table, which fully relies on one-sided RDMA operations using only a single one-sided operations almost all cases.”