華為云存儲創(chuàng)新Lab論文被重要學(xué)術(shù)會議IEEE ICCD’2022接收，提出并實現(xiàn)一個協(xié)同任務(wù)調(diào)度與緩存管理的系統(tǒng)Tripod
國際計算機設(shè)計會議(IEEE International Conference on Computer Design，IEEE ICCD)是計算機系統(tǒng)領(lǐng)域的重要學(xué)術(shù)會議，IEEE ICCD’2022將于2022年10月23日-26在美國太浩湖召開。本次會議接收率為30%，華為云存儲創(chuàng)新Lab和華中科技大學(xué)合作完成的Tripod論文在本次會議上被接收。
【論文信息】
Yulai Tong (HUST), Cheng Wang (Huawei), Jiazhen Liu (HUST), Hua Wang (HUST), Ke Zhou (HUST). “Tripod: Harmonizing Job Scheduling and Data Caching for Analytics Frameworks”. IEEE 40th International Conference on Computer Design (ICCD), Lake Tahoe, USA, October 2022.
【論文簡介】
現(xiàn)代數(shù)據(jù)分析平臺通常使用Amazon S3等外部數(shù)據(jù)存儲服務(wù)相結(jié)合，以適應(yīng)異構(gòu)的工作負載并滿足擴縮容需求。但是這種存算分離式的部署方式容易造成高昂的計算存儲瓶頸，嚴重影響任務(wù)的執(zhí)行效率。為了緩解該瓶頸，分析集群通常使用緩存（比如Alluxio）來減少數(shù)據(jù)傳輸時延，并利用分析平臺提供的高層信息來實現(xiàn)細粒度的緩存管理。但是現(xiàn)有工作只能夠獲得有限的緩存命中率，無法真正消除該存儲計算瓶頸。
為了解決上述問題，我們提出了一個協(xié)同任務(wù)調(diào)度與緩存管理的系統(tǒng)Tripod。Tripod從數(shù)據(jù)驅(qū)動的角度調(diào)整任務(wù)的執(zhí)行過程，從而實現(xiàn)更為有效的緩存和預(yù)取操作以進一步消除存儲計算瓶頸。我們將Tripod作為Apache Yarn和Tez的擴展模塊，并在標準測試集TPC-H與TPC-DS上進行實驗；結(jié)果表明與最新的工作相比，Tripod可以將計算引擎在單任務(wù)場景中的執(zhí)行效率提高至1.7倍，多任務(wù)場景中提高至2倍。