華為云存儲創(chuàng)新Lab論文被重要學術(shù)會議HotOS'23接收，提出一個在分離式架構(gòu)下支撐數(shù)據(jù)密集型系統(tǒng)的分布式運行時
【論文信息】
Skadi: Building a Distributed Runtime for Data Systems in Disaggregated Data Centers.
【作者信息】
Cunchen Hu, Chenxi Wang, Sa Wang, Ninghui Sun, Yungang Bao, Jieru Zhao, Sanidhya Kashyap, Pengfei Zuo, Xusheng Chen, Liangliang Xu, Qin Zhang, Hao Feng, Yizhou Shan.
【論文簡介】
數(shù)據(jù)密集型系統(tǒng)一直是公有云上的最重要的負載之一。在過去十幾年里，公有云廠商一直用三個原則在保持數(shù)據(jù)密集型系統(tǒng)運行的高性價比：用分離式架構(gòu)來讓資源獨立伸縮，用異構(gòu)加速來加速負載，以及用無服務器計算來進一步降低運行開銷。雖然這些原則獨立都運行得很好，但暫時無法和諧地共存。在這篇文章中，我們提出一個分布式運行時來解決存在的一些缺陷。這個分布式運行時分為兩層，它有一個多級訪問層，對外呈現(xiàn)聲明式API，它的下層是一個呈現(xiàn)分布式任務API的GP無服務器平臺。這個分布式運行時將是數(shù)據(jù)系統(tǒng)與硬件之間的狹窄腰部。分布式運行時的用戶可以不用感知數(shù)據(jù)的布局、并發(fā)、分解狀態(tài)以及底層硬件的狀態(tài)。
