CCE通過集成Volcano提供高性能計(jì)算能力。

Volcano是基于Kubernetes的批處理系統(tǒng)。Volcano提供了一個(gè)針對(duì)BigData和AI場景下，通用、可擴(kuò)展、高性能、穩(wěn)定的原生批量計(jì)算平臺(tái)，方便AI、大數(shù)據(jù)、基因、渲染等諸多行業(yè)通用計(jì)算框架接入，提供高性能任務(wù)調(diào)度引擎，高性能異構(gòu)芯片管理，高性能任務(wù)運(yùn)行管理等能力。

隨著各行各業(yè)的發(fā)展，涌現(xiàn)出越來越多的領(lǐng)域框架來支持業(yè)務(wù)的發(fā)展，這些框架都在相應(yīng)的業(yè)務(wù)領(lǐng)域有著不可替代的作用，例如Spark，Tensorflow，F(xiàn)link等。在業(yè)務(wù)復(fù)雜性能不斷增加的情況下，單一的領(lǐng)域框架很難應(yīng)對(duì)現(xiàn)在復(fù)雜的業(yè)務(wù)場景，因此現(xiàn)在普遍使用多種框架達(dá)成業(yè)務(wù)目標(biāo)。但隨著各個(gè)領(lǐng)域框架集群的不斷擴(kuò)大，以及單個(gè)業(yè)務(wù)的波動(dòng)性，各個(gè)子集群的資源浪費(fèi)比較嚴(yán)重，越來越多的用戶希望通過統(tǒng)一調(diào)度系統(tǒng)來解決資源共享的問題。

Volcano在Kubernetes之上抽象了一個(gè)批量計(jì)算的通用基礎(chǔ)層，向下彌補(bǔ)Kubernetes調(diào)度能力的不足，向上提供靈活通用的Job抽象。Volcano通過提供多任務(wù)模板功能實(shí)現(xiàn)了利用Volcano Job描述多種作業(yè)類型（Tensorflow、Spark、MPI、PyTorch等），并通過Volcano統(tǒng)一調(diào)度系統(tǒng)實(shí)現(xiàn)多種作業(yè)混合部署，解決集群資源共享問題。

用戶在使用集群資源的時(shí)候通常會(huì)涉及到資源隔離與資源共享，Kubernetes中沒有隊(duì)列的支持，所以它在多個(gè)用戶或多個(gè)部門共享一個(gè)機(jī)器時(shí)無法做資源共享。但不管在HPC還是大數(shù)據(jù)領(lǐng)域中，通過隊(duì)列進(jìn)行資源共享都是基本的需求。

在通過隊(duì)列做資源共享時(shí)，CCE提供了多種機(jī)制?？梢詾殛?duì)列設(shè)置weight值，集群通過計(jì)算該隊(duì)列weight值占所有weight總和的比例來給隊(duì)列劃分資源；另外也可以為隊(duì)列設(shè)置資源的Capability值，來確定該隊(duì)列能夠使用的資源上限。

例如下圖中，通過這兩個(gè)隊(duì)列去共享整個(gè)集群的資源，一個(gè)隊(duì)列獲得40%的資源，另一個(gè)隊(duì)列獲得60%的資源，這樣可以把兩個(gè)不同的隊(duì)列映射到不同的部門或者是不同的項(xiàng)目中。并且在一個(gè)隊(duì)列里如果有多余的空閑資源，可以把這些空閑資源分配給另外一個(gè)隊(duì)列里面的作業(yè)去使用。

當(dāng)用戶向Kubernetes申請(qǐng)容器所需的計(jì)算資源（如CPU、Memory、GPU等）時(shí)，調(diào)度器負(fù)責(zé)挑選出滿足各項(xiàng)規(guī)格要求的節(jié)點(diǎn)來部署這些容器。通常，滿足各項(xiàng)要求的節(jié)點(diǎn)并非唯一，且水位（節(jié)點(diǎn)已有負(fù)載）各不相同，不同的分配方式最終得到的分配率存在差異，因此，調(diào)度器的一項(xiàng)核心任務(wù)就是以最終資源利用率最優(yōu)的目標(biāo)從眾多候選機(jī)器中挑出最合適的節(jié)點(diǎn)。

下圖為Volcano scheduler調(diào)度流程，首先將API server中的Pod、PodGroup信息加載到scheduler cache中。Scheduler周期被稱為session，每個(gè)scheduler周期會(huì)經(jīng)歷OpenSession，調(diào)用Action，CloseSession三個(gè)階段。其中OpenSession階段加載用戶配置的scheduler plugin中實(shí)現(xiàn)的調(diào)度策略；調(diào)用Action階段逐一調(diào)用配置的action以及在OpenSession階段加載的調(diào)度策略；CloseSession為清理階段。

Volcano scheduler通過插件方式提供了多種調(diào)度Action（例如enqueue，allocate，preempt，reclaim，backfill）以及調(diào)度策略（例如gang，priority，drf，proportion，binpack等），用戶可以根據(jù)實(shí)際業(yè)務(wù)需求進(jìn)行配置。通過實(shí)現(xiàn)Scheduler提供的接口也可以方便靈活的進(jìn)行定制化開發(fā)。

Volcano 在支持AI，大數(shù)據(jù)等作業(yè)的時(shí)候提供了高精度的資源調(diào)度策略，例如在深度學(xué)習(xí)場景下計(jì)算效率非常重要。以TensorFlow計(jì)算為例，配置“ps”和“worker”之間的親和性，以及“ps”與“ps”之間的反親和性，可使“ps”和“worker”盡量調(diào)度到同一臺(tái)節(jié)點(diǎn)上，從而提升“ps”和“worker”之間進(jìn)行網(wǎng)絡(luò)和數(shù)據(jù)交互的效率，進(jìn)而提升計(jì)算效率。然而Kubernetes默認(rèn)調(diào)度器在調(diào)度Pod過程中，僅會(huì)檢查Pod與現(xiàn)有集群下所有已經(jīng)處于運(yùn)行狀態(tài)Pod的親和性和反親和性配置是否沖突或吻合，并不會(huì)考慮接下來可能會(huì)調(diào)度的Pod造成的影響。

Volcano提供的Task-topology算法是一種根據(jù)Job內(nèi)task之間親和性和反親和性配置計(jì)算task優(yōu)先級(jí)和Node優(yōu)先級(jí)的算法。通過在Job內(nèi)配置task之間的親和性和反親和性策略，并使用task-topology算法，可優(yōu)先將具有親和性配置的task調(diào)度到同一個(gè)節(jié)點(diǎn)上，將具有反親和性配置的Pod調(diào)度到不同的節(jié)點(diǎn)上。同樣是處理親和性和反親和性配置對(duì)Pod調(diào)度的影響，task-topology算法與Kubernetes默認(rèn)調(diào)度器處理的不同點(diǎn)在于，task-topology將待調(diào)度的Pods作為一個(gè)整體進(jìn)行親和性和反親和性考慮，在批量調(diào)度Pod時(shí)，考慮未調(diào)度Pod之間的親和性和反親和性影響，并通過優(yōu)先級(jí)施加到Pod的調(diào)度進(jìn)程中。

當(dāng)前很多業(yè)務(wù)有波峰和波谷，部署服務(wù)時(shí)，為了保證服務(wù)的性能和穩(wěn)定性，通常會(huì)按照波峰時(shí)需要的資源申請(qǐng)，但是波峰的時(shí)間可能很短，這樣在非波峰時(shí)段就有資源浪費(fèi)。另外，由于在線作業(yè)SLA要求較高，為了保證服務(wù)的性能和可靠性，通常會(huì)申請(qǐng)大量的冗余資源，因此，會(huì)導(dǎo)致資源利用率很低、浪費(fèi)比較嚴(yán)重。將這些申請(qǐng)而未使用的資源（即申請(qǐng)量與使用量的差值）利用起來，就是資源超賣。超賣資源適合部署離線作業(yè)，離線作業(yè)通常關(guān)注吞吐量，SLA要求不高，容忍一定的失敗。在線作業(yè)和離線作業(yè)混合部署在Kubernetes集群中將有效的提升集群整體資源利用率。

目前Kubernetes的默認(rèn)調(diào)度器是以Pod為單位進(jìn)行調(diào)度的，不區(qū)分Pod中運(yùn)行的業(yè)務(wù)類型。因此無法滿足混部場景對(duì)資源分配的特殊要求。針對(duì)上述問題，Volcano實(shí)現(xiàn)了基于應(yīng)用模型感知的智能調(diào)度算法，根據(jù)用戶提交的作業(yè)類型，針對(duì)其應(yīng)用模型對(duì)資源的訴求和整體應(yīng)用負(fù)載的情況，優(yōu)化調(diào)度方式，通過資源搶占，分時(shí)復(fù)用等機(jī)制減少集群資源的空閑比例。

面向AI計(jì)算的容器服務(wù)，采用高性能GPU計(jì)算實(shí)例，并支持多容器共享GPU資源，在AI計(jì)算性能上比通用方案提升3~5倍以上，并大幅降低了AI計(jì)算的成本，同時(shí)幫助數(shù)據(jù)工程師在集群上輕松部署計(jì)算應(yīng)用，您無需關(guān)心復(fù)雜的部署運(yùn)維，專注核心業(yè)務(wù)，快速實(shí)現(xiàn)從0到1快速上線。

CCE通過集成Volcano，在高性能計(jì)算、大數(shù)據(jù)、AI等領(lǐng)域有如下優(yōu)勢(shì)：

●多種類型作業(yè)混合部署：支持AI、大數(shù)據(jù)、HPC作業(yè)類型混合部署。

●多隊(duì)列場景調(diào)度優(yōu)化：支持分隊(duì)列調(diào)度，提供隊(duì)列優(yōu)先級(jí)、多級(jí)隊(duì)列等復(fù)雜任務(wù)調(diào)度能力。

●多種高級(jí)調(diào)度策略：支持gang-scheduling、公平調(diào)度、資源搶占、GPU拓?fù)涞雀呒?jí)調(diào)度策略。

●多任務(wù)模板：支持單一Job多任務(wù)模板定義，打破Kubernetes原生資源束縛，Volcano Job描述多種作業(yè)類型（Tensorflow、MPI、PyTorch等）。

●作業(yè)擴(kuò)展插件配置：在提交作業(yè)、創(chuàng)建Pod等多個(gè)階段，Controller支持配置插件用來執(zhí)行自定義的環(huán)境準(zhǔn)備和清理的工作，比如常見的MPI作業(yè)，在提交前就需要配置SSH插件，用來完成Pod資源的SSH信息配置。

●在線離線業(yè)務(wù)混部：支持集群內(nèi)在離線作業(yè)混部以及節(jié)點(diǎn)CPU和內(nèi)存資源超賣，提升集群整體資源利用率。

GPU加速云服務(wù)器 + 彈性負(fù)載均衡ELB + 對(duì)象存儲(chǔ)服務(wù)OBS

圖1 AI計(jì)算