五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

ACM MM 2022 | 算法創(chuàng)新Lab&清華提出AggCast: 體驗可控下的直播回源帶寬成本降低技術(shù)

基于零熱流的邊緣節(jié)點帶寬資源優(yōu)化算法-2

近年來大規(guī)模視頻直播經(jīng)歷了飛速的發(fā)展。諸如抖音、快手等直播平臺在全球范圍內(nèi)獲得了前所未有的關(guān)注。為了盡可能滿足用戶的觀看體驗,直播內(nèi)容提供商租用云服務(wù)廠商提供內(nèi)容分發(fā)服務(wù),因而云服務(wù)廠商在內(nèi)容分發(fā)過程中起到了至關(guān)重要的作用。相較于傳統(tǒng)的云服務(wù)任務(wù)(比如計算任務(wù)),大量的直播間和分散的用戶請求使得分發(fā)過程中會產(chǎn)生大量的帶寬成本,特別是大量的回源成本,高額的帶寬成本將會嚴重影響內(nèi)容提供商的進入門檻。華為云算法創(chuàng)新lab聯(lián)合清華大學(xué),針對大規(guī)模直播視頻的云服務(wù)業(yè)務(wù),提出一種通過匯聚各區(qū)域分散用戶,減少邊緣節(jié)點個數(shù)并減低回源帶寬的方法。該方法上線華為云一年內(nèi),在保障服務(wù)質(zhì)量的同時節(jié)省15%+的回源帶寬成本。

 

 

傳統(tǒng)LocalDNS調(diào)度的問題

對現(xiàn)網(wǎng)數(shù)據(jù)采用分桶統(tǒng)計,按照流行度(觀眾數(shù)量)將16000+直播間進行間隔分桶,并對桶內(nèi)直播間瓶頸使用的節(jié)點數(shù)作為該流行度對應(yīng)的邊緣節(jié)點使用數(shù)量。統(tǒng)計結(jié)果如下圖所示:

對于不同直播間(圖1),當直播間觀眾較少時,仍占有大量邊緣節(jié)點( 直播間觀眾為100人時,仍占據(jù)50+邊緣節(jié)點),此時回源帶寬利用率極低。

對于同一直播間(圖2),各個邊緣節(jié)點負載分布差異巨大,有35個節(jié)點只服務(wù)了25-的觀眾。

故在觀眾地理分布廣、直播源頭數(shù)量多的情況下,LocalDNS就近原則會導(dǎo)致邊緣節(jié)點利用率低下。

 

本論文方法

為了解決上述問題,本文提出了AggCast: 一種基于冷熱流的邊緣節(jié)點帶寬資源優(yōu)化方法。 其決策邏輯主要分為直播間分類階段和調(diào)度階段,如下圖所示:

 

直播間分類

如圖1所示,當觀眾人數(shù)少時,隨著直播間人數(shù)增加(<100人),邊緣節(jié)點數(shù)量迅速增加,而當直播間流行度夠大(>2000人),邊緣節(jié)點數(shù)趨于穩(wěn)定。故需要找出流行度較低的冷流直播間,并對其進行優(yōu)化,降低回源成本。

  • 流行度預(yù)測:隱馬爾可夫模型

因為直播場景中,絕大多數(shù)用戶傾向于在不同直播間切換,隱馬爾可夫模型作為一種基于狀態(tài)轉(zhuǎn)移的概率預(yù)測模型,可以通過捕捉隱狀態(tài)的變化進行預(yù)測。

下面我們具體給出隱馬爾可夫模型的模型定義。我們用Xt來表示 t 時刻某一直播間的用戶數(shù)量,用StS={S0,S1,...,Sn?1} 來表示隱變量的狀態(tài)。則由隱馬爾可夫模型的定義,St 為隨機變量,因此我們可以定義其概率分布為πt=(P(St=S0),...,P(St=Sn?1))。隱馬爾可夫模型假設(shè)狀態(tài)遷移遵循馬爾可夫過程(Markov process),即當前狀態(tài)的分布只和上一步狀態(tài)有關(guān)。從數(shù)學(xué)形式上,我們可以寫為:

P(St|S0,...,St?1)=P(St|St?1)

其中P={pi,j}為轉(zhuǎn)移概率矩陣,pi,j=P(St=si|St?1=sj)表示狀態(tài)由上一時刻sj切換至下一時刻si的概率。在轉(zhuǎn)移概率矩陣的基礎(chǔ)上,我們可以通過下式計算下一時刻各個狀態(tài)的概率:

πt+1=πt?P.

最后,在已知隱狀態(tài)St的基礎(chǔ)上,下一時刻用戶數(shù)量Xt的概率分布(也被稱為發(fā)射概率)為:

Xt|StN(μst,σst)

即概率分布滿足高斯分布(我們在嘗試了不同的概率分布后,高斯分布的效果最好)。與其他常用回歸模型的效果比較如下(其中衡量指標采用歸一化絕對值誤差):

 

  • 冷熱流閾值計算

按百分比設(shè)定閾值門限 threshold。 通過對觀眾數(shù)量對直播間排序,將觀眾數(shù)量排名末位的 threshold?數(shù) 個直播間,定義為冷流直播間,其余為熱流直播間。

 

服務(wù)質(zhì)量保證的用戶調(diào)度

在調(diào)度中,需要保證的服務(wù)質(zhì)量主要包括延遲(首屏?xí)r長)和卡頓(百秒卡頓時長、百秒卡頓頻率)。本文通過實驗驗證:地理位置的遠近和網(wǎng)絡(luò)鏈路的遠近并不等價,地理就近接入節(jié)點并非時延最優(yōu)節(jié)點??D主要受限于邊緣節(jié)點的接入帶寬,當邊緣節(jié)點不發(fā)生過載時,卡頓與是否跨區(qū)域接入無關(guān)。因此只要保證匯聚過程不過載,AggCast 的匯聚邏輯將不會影響到用戶質(zhì)量。

  • 區(qū)域?qū)蛹塁FLP問題

因為直播間數(shù)量遠遠大于邊緣區(qū)域數(shù)量,預(yù)測開銷極大,且實驗表明,對于單個直播間,每個區(qū)域的觀眾隨時間變化劇烈。而將區(qū)域內(nèi)所有冷流直播間看作一個整體時,單個區(qū)域內(nèi)的所有冷流直播間的觀眾總數(shù)隨時間變化穩(wěn)定。故在邊緣區(qū)域?qū)?/span>而非直播間層面建立優(yōu)化問題。

將某個區(qū)域內(nèi)的所有冷流直播間用戶定義為這個區(qū)域內(nèi)的被匯聚用戶,AggCast對相同區(qū)域內(nèi)的被匯聚用戶采用相同的匯聚邏輯。

設(shè)邊緣節(jié)點的數(shù)量為E,邊緣區(qū)域的數(shù)量為M,區(qū)域mM中被匯聚的用戶數(shù)量為 Rm,邊緣節(jié)點e的最大接入帶寬為 Ce,將區(qū)域m的用戶接入到邊緣節(jié)點e的首屏?xí)r長記為 dm,e。在任意時刻,AggCast的決策變量包括兩個:首先,AggCast需要決定哪些節(jié)點作為用戶匯聚使用的邊緣節(jié)點,為此我們使用一個0/1變量 ye 來表示是否使用邊緣節(jié)點e(若ye=1則使用,否則不使用);其次,在得到了目標邊緣節(jié)點之后,AggCast還需要決定每個節(jié)點應(yīng)該服務(wù)區(qū)域m中的觀眾數(shù)量。為此,我們使用 xm,e 來表示區(qū)域 m 中,被節(jié)點 e 服務(wù)的觀眾占比。綜上,該服務(wù)質(zhì)量保證的調(diào)度問題可以被定義為:

正如我們前文所論述,AggCast將在邊緣區(qū)域?qū)用娑侵辈ラg層面做決策,即我們的目標是找到每個區(qū)域的觀眾分配策略以最小化總首屏?xí)r長。式(1) 表明 ye 為0/1變量。式(2) 表示AggCast從所有 E 個邊緣節(jié)點中選擇出K 個節(jié)點作為匯聚節(jié)點(這里的 K 為該問題的超參數(shù),可以通過調(diào)節(jié)其大小來權(quán)衡成本與服務(wù)質(zhì)量之間的關(guān)系)。式(3)~(5)則保證了所有邊緣區(qū)域中的被匯聚用戶均要被服務(wù),且只能由被選中的K個邊緣節(jié)點服務(wù)。最后,式(6)則表明所有邊緣節(jié)點接入用戶數(shù)量均不能超過最大帶寬限制。因為百秒卡頓時長和百秒卡頓頻率對跨區(qū)域調(diào)度不敏感,因而可以通過式(6)來保證,與此同時,首屏?xí)r長則直接通過將其設(shè)定為優(yōu)化目標來得以保證。

從數(shù)學(xué)形式上,該問題表示的優(yōu)化問題和資源受限下工廠選址問題(Capacitated Facility Location Problem,CFLP)等價(我們問題中的邊緣節(jié)點即對應(yīng)原問題中的工廠)。資源受限下工廠選址問題在運籌學(xué)領(lǐng)域被廣泛研究,雖然該問題是NP-難問題,但很多算法均被證明可以取得非常好的效果,最常見的算法有模擬退火和拉格朗日松弛。綜合考慮實現(xiàn)難度和算法效果,我們最終選擇模擬退火求解。

  • 實時求解

結(jié)合隱馬爾可夫模型以及各邊緣區(qū)域比例計算得用戶數(shù)量 Rm ;通過邊緣服務(wù)器監(jiān)控帶寬上限 Ce ; 通過區(qū)域 m中使用邊緣節(jié)點 e 的 用戶數(shù)據(jù)的均值近似 dm,e ,因此構(gòu)建出一個時延查找表,表中每個元素表示對應(yīng)區(qū)域和邊緣節(jié)點的鏈接延遲。 使用探索-利用(Exploration and Exploitation,E2)算法來更新時延查找表。即如果區(qū)域 m 和邊緣節(jié)點 e 之間有用戶接入,則拿用戶延遲更新 dm,e ,否則用其他已測得的 dm,e 的均值近似。此方法雖開始時會略有誤差,但隨求解過程會逐漸探索到全部真實情況,且效率較高。

  • 冷熱流邊界

對AggCast而言,考慮到預(yù)測模型的誤差以及直播間流行度變化的劇烈程度,某一些直播間可能會在冷熱流之間來回切換,且頻繁切換會使得AggCast的匯聚邏輯失效。故 AggCast 在冷流轉(zhuǎn)換為熱流之前,會根據(jù)流行度預(yù)測結(jié)果和冷熱流劃分的閾值,估算切換為熱流的帶寬收益大小,以決定是否切換。

  • 減少問題規(guī)模

若全量求解,則求解時間超過三分鐘,不滿足實時性的要求。故通過KNN對邊緣節(jié)點的距離進行聚類,對每類并行解決優(yōu)化問題,能有效的將單步?jīng)Q策的時間降低到2s-。

 

實驗結(jié)果

實驗室測試

采用華為云2020年6月真實數(shù)據(jù),覆蓋18w+直播間,2000w+觀眾IP,觀眾來自300+地區(qū),使用超過200+邊緣節(jié)點。華為云作為國內(nèi)最大的云服務(wù)廠商之一,為包括快手、抖音在內(nèi)的直播平臺提供服務(wù),因此針對其數(shù)據(jù)集的測量結(jié)果具有代表性和普適性。

本實驗對比就近接入(按IP地理位置就近接入)、Rildish(盡量將用戶調(diào)度到服務(wù)質(zhì)量最優(yōu)的邊緣節(jié)點)、最小成本最大流MCMF(將調(diào)度問題轉(zhuǎn)化為最大流),其回源成本與服務(wù)質(zhì)量對比如圖所示。

AggCast在回源成本的降低和服務(wù)質(zhì)量的保障上,整體表現(xiàn)最優(yōu)。

 

線上測試

AggCast在華為云上進行了超過8個月的A/B測試,參與實驗的直播間5w+個。如下圖所示,在整個測試階段,AggCast在80%的時間里都能獲得15%+的回源帶寬收益。