隨著云計(jì)算的飛速發(fā)展，大規(guī)模動態(tài)虛擬機(jī)調(diào)度的重要性日益提高。在動態(tài)虛擬機(jī)調(diào)度過程中，最困難的問題在于其隨機(jī)性，即創(chuàng)建請求和刪除請求通常是不定期地隨機(jī)出現(xiàn)的?，F(xiàn)有的調(diào)度算法通常將動態(tài)虛擬機(jī)調(diào)度問題建模成動態(tài)矢量裝箱問題，但沒有明確考慮使用非統(tǒng)一內(nèi)存訪問架構(gòu)的服務(wù)器體系結(jié)構(gòu)。此外，現(xiàn)有的動態(tài)調(diào)度算法存在求解效率不足、僅基于局部信息、容易陷入局部最優(yōu)、無法利用歷史數(shù)據(jù)等問題。本文提出了一種基于深度Q網(wǎng)絡(luò)的單智能體動態(tài)虛擬機(jī)調(diào)度算法SchedRL，針對性地設(shè)計(jì)了特殊的差值獎勵函數(shù)及場景驅(qū)動的高效采樣機(jī)制。為了訓(xùn)練與合理評估本論文所提出的算法，本論文對基于非統(tǒng)一內(nèi)存訪問架構(gòu)的動態(tài)虛擬機(jī)調(diào)度過程進(jìn)行了仿真系統(tǒng)開發(fā)，并設(shè)計(jì)了僅創(chuàng)建場景與普通場景兩種實(shí)驗(yàn)方式。在兩種不同的場景下，本論文在微軟云的公共數(shù)據(jù)集上對提出的算法進(jìn)行了評估，包括基線測試、獎勵函數(shù)研究、及采樣策略消融實(shí)驗(yàn)。SchedRL在完成數(shù)量和分配率方面優(yōu)于 First Fit 和 Best Fit。

本論文開發(fā)了基于多NUMA架構(gòu)的動態(tài)虛擬機(jī)調(diào)度仿真系統(tǒng)，設(shè)計(jì)了兩種具有現(xiàn)實(shí)意義的、不同難度的實(shí)驗(yàn)場景，并在公共數(shù)據(jù)集上訓(xùn)練及驗(yàn)證、對比了兩種算法。實(shí)驗(yàn)表明，SchedRL能夠在兩種場景下超過基線算法。下一步工作可以從如下幾個(gè)角度展開研究：

1) 可擴(kuò)展性：當(dāng)服務(wù)器數(shù)量增加時(shí)，狀態(tài)空間和動作空間都呈指數(shù)增長，給學(xué)習(xí)帶來困難。云服務(wù)提供商在實(shí)際場景中經(jīng)常需要在多個(gè)服務(wù)器之間調(diào)度請求，因此使學(xué)習(xí)過程具有可擴(kuò)展性是一個(gè)重要的未來方向。

2）泛化：我們的方法沒有考慮到請求是由多個(gè)用戶生成的，并且請求分布是隨時(shí)間變化的。如何將調(diào)度策略推廣到變化的分布與元學(xué)習(xí)和魯棒學(xué)習(xí)密切相關(guān)，是未來可能研究的方向。