華為云與華東師范大學合作發(fā)布國內(nèi)首個VM調(diào)度標準數(shù)據(jù)集Huawei-East-1，并開源VM調(diào)度仿真器VMAgent。相關(guān)成果已被人工智能領(lǐng)域最主要的學術(shù)會議之一——IJCAI接受，并將于2022年7月23日至7月29日在奧地利維也納召開的IJCAI會議上報告。

    隨著云計算的飛速發(fā)展，云資源調(diào)度對于云服務(wù)提供商而言的重要性日益提高。云資源調(diào)度通常被建模為一個運籌學問題（組合優(yōu)化問題），而傳統(tǒng)運籌學方法一般具有較高計算時間復雜度，因而在實際應(yīng)用時只適用于離線上界探索。云服務(wù)提供商一直依賴啟發(fā)式方法（比如FirstFit、BestFit等），并結(jié)合專家規(guī)則進行實際云資源調(diào)度。雖然這樣的解決方案可以即時處理請求，但是通常容易陷入局部最優(yōu)。近些年，強化學習技術(shù)在解決組合優(yōu)化與調(diào)度問題時展現(xiàn)出極大潛力，但是目前仍局限在簡單場景中，不能有效處理實際場景中非平穩(wěn)性、持續(xù)性等難點。

    為了幫助虛擬機調(diào)度問題的深入研究，本論文開源了國內(nèi)首個VM調(diào)度標準數(shù)據(jù)集——Huawei-East-1。該數(shù)據(jù)集產(chǎn)生于實際工業(yè)場景，共計二十余萬條虛擬機創(chuàng)刪記錄，包含了CPU、內(nèi)存、創(chuàng)刪時間等信息。本論文一并展示了對該數(shù)據(jù)集的統(tǒng)計分析結(jié)果，以及相應(yīng)的基線結(jié)果，以供研究者更好地使用。

    同時，為了提升強化學習方法處理云資源調(diào)度問題能力和效率，本論文建立了一個華為云實際數(shù)據(jù)與場景驅(qū)動、強化學習友好的云資源調(diào)度仿真平臺——VMAgent。

    VMAgent仿真環(huán)境由三個主要組件構(gòu)成：模擬器、調(diào)度器與可視化器。模擬器基于華為云實際調(diào)度數(shù)據(jù)作為數(shù)據(jù)輸入，并抽象出三種實際調(diào)度場景（衰減、恢復和擴展）。模擬器也是VMAgent仿真環(huán)境的核心。

    VMAgent進一步提供了靈活配置能力，使模擬器與實際云計算架構(gòu)（即多非統(tǒng)一內(nèi)存訪問）和場景兼容。為了方便研究人員實例化調(diào)度程序與模擬器交互，VMAgent預(yù)先構(gòu)建多種類型調(diào)度算法（如啟發(fā)式方法、流行強化學習算法等）?？梢暬髯鳛槟M器和調(diào)度器的輔助組件，交互方便的可視化界面可以方便研究人員對調(diào)度過程進行深入分析，并充分比較不同調(diào)度算法的優(yōu)劣。

    本論文旨在希望促進云資源優(yōu)化與強化學習研究人員更好的探索強化學習在實際云資源調(diào)度問題中的潛力，以及探索更多實用強化學習方法。

論文鏈接：https://arxiv.org/abs/2112.04785

代碼倉庫：https://github.com/mail-ecnu/VMAgent

開源數(shù)據(jù)集：https://github.com/huaweicloud/VM-placement-dataset