五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

KubeEdge Summit 2022回顧:邊緣云創(chuàng)新Lab 實習(xí)生李蘊哲與羅溥晗分享KubeEdge-Sedna終身學(xué)習(xí)前沿應(yīng)用研究


在邊緣計算的浪潮中,AI是邊緣云乃至分布式云中最重要的應(yīng)用之一。隨著邊緣設(shè)備的廣泛使用和性能提升,將人工智能相關(guān)的部分任務(wù)部署到邊緣設(shè)備已經(jīng)成為必然趨勢。


KubeEdge-Sedna子項目作為業(yè)界首個分布式協(xié)同AI框架,基于KubeEdge提供邊云協(xié)同能力,支持現(xiàn)有AI類應(yīng)用無縫下沉到邊緣,降低分布式協(xié)同AI服務(wù)構(gòu)建與部署成本、提升模型性能、保護(hù)數(shù)據(jù)隱私等。


華為云邊緣云創(chuàng)新Lab 實習(xí)生上海交通大學(xué)研究團(tuán)隊的李蘊哲中國科學(xué)技術(shù)大學(xué)研究團(tuán)隊的羅溥晗,在KubeEdge Summit 2022為聽眾介紹如何使用KubeEdge-Sedna的邊云協(xié)同終身學(xué)習(xí)特性來探索和構(gòu)建樓宇冷機(jī)控制領(lǐng)域應(yīng)用。相關(guān)論文已發(fā)表在ACM未來能源系統(tǒng)大會ACM e-Energy 2022,該會議是計算機(jī)+能源交叉領(lǐng)域ACM SIG Energy兩個頂會之一,級別約為B+(與 CCF-A 的 Ubicomp;CCF-B 的 ECAI、TKDD H5-index 相同)。期望能為各位讀者解答一些KubeEdge-Sedna邊云協(xié)同終身學(xué)習(xí)相關(guān)的研究問題。也歡迎關(guān)注Sedna項目,持續(xù)獲得邊云協(xié)同乃至分布式協(xié)同AI框架能力支持。


項目開源GitHub地址:

https://github.com/kubeedge/sedna

樓宇舒適度預(yù)測場景


舒適度是指人對于當(dāng)前的環(huán)境是否感到滿意。簡單點講就是,人感到熱、舒適還是冷。舒適度預(yù)測對樓宇的能源控制極為重要,關(guān)系到樓宇建筑設(shè)計方案的決策以及樓宇空調(diào)系統(tǒng)的管理。現(xiàn)代社會中的人們大約有80%的時間在樓宇里面,樓宇占用了一個城市40%的能源消耗,這些能源消耗大約有54%來自空調(diào)冷機(jī)。因此,對于樓宇的舒適度進(jìn)行準(zhǔn)確預(yù)測并基于此進(jìn)行樓宇冷機(jī)的控制至關(guān)重要。


圖1 舒適度預(yù)測示意圖


樓宇舒適度預(yù)測的問題由來已久。早期的研究是建筑學(xué)等相關(guān)領(lǐng)域的一些研究,一個代表性的舒適度預(yù)測方法是PMV,它為建筑環(huán)境構(gòu)造了一個“平均”的人,用來預(yù)測一群人在一個相同的環(huán)境下對冷熱的反應(yīng);后來,計算機(jī)的一些工具被用上了以構(gòu)建個性化的舒適度模型,但這些方法往往需要額外的設(shè)備或者來自用戶的實時反饋;這是因為舒適度其實是和人的主觀感受是有關(guān)的,必須要額外設(shè)備的介入或者用戶的反饋。然而,額外的設(shè)備以及用戶提供反饋的需求,使得這些舒適度模型并沒有得到廣泛使用,也給方法的大規(guī)模部署帶來了困難。


因此,很多數(shù)據(jù)驅(qū)動的方法被提出來,以解決這些問題。然而,數(shù)據(jù)驅(qū)動的方法要求設(shè)計者對用戶所處的環(huán)境非常熟悉,能夠收集到用戶所處環(huán)境下的所有可能的情況下的數(shù)據(jù),這在邊緣甚至移動場景下同樣是非常困難的。最近,一些基于多任務(wù)學(xué)習(xí)的方法也被提出來解決這一問題。這些工作致力于為不同的環(huán)境訓(xùn)練不同的模型,并且讓不同的環(huán)境之間能夠共享部分知識,以滿足數(shù)據(jù)驅(qū)動方法對數(shù)據(jù)的要求。但是這些方法往往側(cè)重于單次訓(xùn)練,而忽視了知識的保持以及環(huán)境的變換導(dǎo)致的模型更新的需求,帶來了大量的學(xué)習(xí)成本?;谶@些原因,我們基于Sedna的終身學(xué)習(xí)特性提出了終身學(xué)習(xí)的舒適度預(yù)測方法,將在后面進(jìn)行具體介紹。簡單來說,Sedna終身學(xué)習(xí)方法的主要特點在于,它能夠指導(dǎo)模型的使用和保存,并以恰當(dāng)?shù)姆绞絹韺δP瓦M(jìn)行更新,使得系統(tǒng)能夠快速適應(yīng)多個不同的場景。

單任務(wù)增量的局限性


這邊再具體講解一下為什么簡單的基于單任務(wù)的范式對模型做增量是不現(xiàn)實的。這是因為實際情況遠(yuǎn)比很多研究里面所考慮的要復(fù)雜。很多因素都可能導(dǎo)致模型的變化,例如季節(jié)、空調(diào)策略等等,但這些因素往往不會被人們收集。


例如,我們考慮這樣一個例子。在某一時刻,人在戶外,此時戶外的溫度有三十度,人覺得很熱。模型學(xué)到了這一信息,并能夠正確地預(yù)測出人會覺得熱;但下一時刻,人到了室內(nèi),開著空調(diào),在其他任何輸入都沒有改變的情況下,人可能又會覺得冷。這個時候,我們一般會讓模型根據(jù)新數(shù)據(jù)進(jìn)行微調(diào),讓模型更新以學(xué)會新的數(shù)據(jù)。微調(diào)之后,模型確實能夠?qū)2時刻的情況預(yù)測為冷了,但可能到了t3時刻,人又到了戶外,又覺得熱了,但這個時候模型已經(jīng)忘記了曾經(jīng)學(xué)過的這種情況下要預(yù)測為熱,依舊預(yù)測為冷,依舊導(dǎo)致了錯誤。

圖2 單任務(wù)增量示意圖


這是因為在這一系統(tǒng)里面,我們只有一個模型,所以模型在學(xué)新知識的時候不可避免的會忘記曾經(jīng)學(xué)過的知識,導(dǎo)致當(dāng)之前的情況再次出現(xiàn)時,模型依舊會預(yù)測錯誤。這一現(xiàn)象被稱為災(zāi)難性遺忘。

舒適度預(yù)測的落地挑戰(zhàn)-數(shù)據(jù)異構(gòu)與小樣本


在舒適度檢測實際應(yīng)用的落地中,存在數(shù)據(jù)異構(gòu)和小樣本這樣兩個挑戰(zhàn)。


數(shù)據(jù)異構(gòu)是指不同邊緣節(jié)點的數(shù)據(jù)存在明顯的差異的問題。首先,由于季節(jié)更替以及不同邊側(cè)氣候的不同,不同邊側(cè)的數(shù)據(jù)分布可能是不斷變化的,不同邊側(cè)的數(shù)據(jù)可能差別非常大;其次,不同城市的氣候差異也很大,而這些信息是很難由傳感器精準(zhǔn)刻畫然后送給模型去學(xué)習(xí)的,很多時候我們只能獲取一個并不精準(zhǔn)的標(biāo)簽,例如這是哪個城市什么時候的數(shù)據(jù)等等。這樣的不清晰的指導(dǎo)使得不同邊側(cè)的數(shù)據(jù)很難直接進(jìn)行遷移,一味的使用傳統(tǒng)的遷移方法會帶來很嚴(yán)重的負(fù)遷移問題。

圖3 不同城市之間分布的差異示意圖


小樣本是指可用數(shù)據(jù)樣本過少的問題。一般來說,我們構(gòu)建真實應(yīng)用的數(shù)據(jù)有兩個來源:公開數(shù)據(jù)集和自己采集。我們調(diào)研了學(xué)界的公開數(shù)據(jù)集,發(fā)現(xiàn)即使是在開源風(fēng)氣很好的計算機(jī)的學(xué)術(shù)會議上,很多數(shù)據(jù)集也都沒有開源。不開源的情況下,我們在實際應(yīng)用中往往只能自行收集數(shù)據(jù)。這就帶來了數(shù)據(jù)孤島的問題。


首先,因為數(shù)據(jù)異構(gòu)的問題,不同邊側(cè)會負(fù)遷移,所以采集的數(shù)據(jù)往往只能在某個特定的邊側(cè)使用;其次,因為采集設(shè)備、網(wǎng)絡(luò)瓶頸、交付周期等因素的限制,數(shù)據(jù)采集并不容易;這使得每個邊側(cè)的數(shù)據(jù)都很小,每個邊側(cè)的數(shù)據(jù)可能都會很差。

邊云協(xié)同終身學(xué)習(xí)技術(shù)方案


學(xué)界解決數(shù)據(jù)異構(gòu)和小樣本問題的方式有很多,我們這邊基于kubeedge-sedna使用的是終身學(xué)習(xí)。經(jīng)典的機(jī)器學(xué)習(xí)范式是僅有一個任務(wù),任務(wù)包含數(shù)據(jù)以及使用的模型,然后通過一些方法訓(xùn)練,得到模型的參數(shù),最終這個模型將直接被拿去用;經(jīng)典的終身學(xué)習(xí)架構(gòu)會維護(hù)一個知識庫,基于源源不斷的任務(wù)來改進(jìn)這一模型,對模型做增量,使得模型越來越好,能夠更好地服務(wù)于應(yīng)用;這一類的終身學(xué)習(xí)有的時候又被稱作增量學(xué)習(xí)。但是我們剛剛講到,考慮到數(shù)據(jù)異構(gòu)的問題,同樣的輸入,在不同的邊側(cè)可能會有不同的標(biāo)注結(jié)果。在這種情況下,直接對已有的知識庫做增量,顯然不是一個好的選擇。因此,改進(jìn)之后的終身學(xué)習(xí)架構(gòu),增加了一個基于任務(wù)的知識挖掘模塊,只會對特定的知識進(jìn)行增量。我們Sedna邊云協(xié)同終身學(xué)習(xí)技術(shù)方案就是基于這一架構(gòu)設(shè)計。

圖4 終身學(xué)習(xí)架構(gòu)圖


基于終身學(xué)習(xí)以及我們的實際問題,最終對問題進(jìn)行了如下的定義。云需要為多個邊提供舒適度預(yù)測服務(wù)。在某一個時間節(jié)點,我們已經(jīng)為N個邊的任務(wù)提供了服務(wù),這個時候我們的知識庫中存儲著從這N個任務(wù)中學(xué)到的知識。現(xiàn)在來了一個新的邊緣節(jié)點的舒適度預(yù)測任務(wù),這個舒適度預(yù)測任務(wù)可能與已有的舒適度預(yù)測任務(wù)的某一個相似,也可能和每個任務(wù)都不相似。我們想辦法為這個邊緣節(jié)點提供服務(wù);同時,我們也可以學(xué)到來自這個任務(wù)的知識,并更新我們的舒適度預(yù)測知識庫。更新之后,我們就可以為后續(xù)的未來可能到來的任務(wù)提供更高質(zhì)量的服務(wù)。

圖5 邊云協(xié)同終身學(xué)習(xí)流程示意圖


我們的技術(shù)方案包括元知識初始化、任務(wù)分配、未知任務(wù)發(fā)現(xiàn)、未知任務(wù)處理以及元知識庫構(gòu)建模塊。


元知識是從元數(shù)據(jù)中抽取出來的知識,是知識的知識。我們從數(shù)據(jù)集中搜索得到了元數(shù)據(jù),并通過元數(shù)據(jù)到元標(biāo)簽的學(xué)習(xí)抽取出了元知識。元數(shù)據(jù)具體來說指的是一組樣本中具有代表性的特征或項,如夏季或冬季。元標(biāo)簽指的是一個樣本在一個任務(wù)上的置信度,比如預(yù)測結(jié)果置信度是90%,那么我們認(rèn)為這個樣本可以很好地被這個任務(wù)處理。所以元知識是要決策某個任務(wù)是否適用于某個樣本。而整個提取元知識的過程就稱作元學(xué)習(xí),它是一種可以從基礎(chǔ)模型學(xué)習(xí)算法中再次學(xué)習(xí)的學(xué)習(xí)算法。這里基礎(chǔ)模型可以是XGBOOST,SVM,神經(jīng)網(wǎng)絡(luò)等等,有很高的靈活性,包括元標(biāo)簽也可以是自定義的實現(xiàn)方式,我們的工作里使用了置信度實現(xiàn)。

圖6 元知識初始化示意圖


任務(wù)分配模塊的作用是在推理階段利用元知識為推理樣本分配任務(wù),因為知識庫里存儲有很多任務(wù)模型,當(dāng)新樣本到來時,系統(tǒng)可能不知道該用哪個進(jìn)行推理。所以我們需要用元知識來為樣本分配一個最適合的任務(wù),決策模型輸出的結(jié)果是樣本與任務(wù)的相似度,或者可以理解為預(yù)測置信度,相似度越高,使用這個任務(wù)預(yù)測就越準(zhǔn)確。如圖,這里我們發(fā)現(xiàn)最匹配的任務(wù)是2,我們就用任務(wù)2的模型進(jìn)行推理。

圖7 任務(wù)分配流程示意圖


初始化后的知識庫需要基于推理任務(wù)的反饋進(jìn)行更新。我們這里定義了兩類任務(wù)的相似度,即模型的相似度和元知識屬性的相似度。根據(jù)這兩種相似度的組合,我們有4類不同的可能,以及對應(yīng)的更新操作。當(dāng)模型和屬性都相似時,當(dāng)前任務(wù)為已知任務(wù),不需要更新;當(dāng)模型不相似但屬性相似時,需要任務(wù)模型重建,即使用歷史任務(wù)和當(dāng)前任務(wù)的數(shù)據(jù)一起訓(xùn)練新的模型;當(dāng)模型相似但屬性不相似時,需要對任務(wù)屬性進(jìn)行重抽取,即根據(jù)歷史任務(wù)屬性和當(dāng)前任務(wù)屬性,一起提取新的任務(wù)屬性,得到對整體任務(wù)的新描述。而當(dāng)模型和屬性都不相似時,就需要增加一個新任務(wù)了。


我們的終身學(xué)習(xí)元知識存儲在智能樓宇元數(shù)據(jù)庫BRICK中,如下所示。

圖8 知識庫示意圖


這里任務(wù)被定義為一個由模型、屬性、樣本構(gòu)成的三元組,這些三元組被組織成了一個樹狀的結(jié)構(gòu)。模型是指任務(wù)推理使用的模型,屬性存儲的是與任務(wù)分配標(biāo)簽的元知識,樣本是指任務(wù)的訓(xùn)練樣本,供后續(xù)增量使用。當(dāng)我們要使用模型進(jìn)行推理的時候,就可以使用屬性描述最接近的任務(wù)對應(yīng)的模型來進(jìn)行推理。

實驗結(jié)果簡介


我們在舒適度預(yù)測的數(shù)據(jù)集ATCII上進(jìn)行了實驗。ATCII數(shù)據(jù)集收集了1995年到2015年的來自28個國家的99個城市的舒適度數(shù)據(jù),總計有60000條以上的樣本。


我們可以看到,相比于其他的基線方法,我們的方法LEON隨著增量的進(jìn)行,有了最低的預(yù)測錯誤率,且在增量后的任務(wù)以及未知任務(wù)上的性能也比較穩(wěn)定。

總結(jié)


我們詳細(xì)分析了舒適度預(yù)測的場景以及其落地挑戰(zhàn),并基于sedna和brick實現(xiàn)了舒適度預(yù)測案例,案例部分代碼已經(jīng)作為sedna的example進(jìn)行開源:

https://github.com/kubeedge/sedna/blob/main/examples/lifelong_learning/atcii/README.md 。


隨著人工智能以及物聯(lián)網(wǎng)技術(shù)的進(jìn)一步發(fā)展,相信邊云協(xié)同的終身學(xué)習(xí)將賦能更多的應(yīng)用,形成萬物感知、萬物互聯(lián)、 萬物智能的智能世界。

作者介紹


李蘊哲,上海交通大學(xué)計算機(jī)系的博士研究生,研究方向包括邊緣AI,移動計算以及AIoT。


羅溥晗,中國科學(xué)技術(shù)大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院碩士研究生,研究方向包括移動計算、AIoT、輕量級算法等。

關(guān)于KubeEdge


KubeEdge是業(yè)界首個云原生邊緣計算框架、云原生計算基金會內(nèi)部唯一孵化級邊緣計算開源項目,社區(qū)已完成業(yè)界最大規(guī)模云原生邊云協(xié)同高速公路項目(統(tǒng)一管理10萬邊緣節(jié)點/50萬邊緣應(yīng)用)、業(yè)界首個云原生星地協(xié)同衛(wèi)星、業(yè)界首個云原生車云協(xié)同汽車、業(yè)界首個云原生油田項目,開源業(yè)界首個分布式協(xié)同AI框架Sedna及業(yè)界首個邊云協(xié)同終身學(xué)習(xí)范式,并在持續(xù)開拓創(chuàng)新中。


KubeEdge網(wǎng)站 : https://kubeedge.io

GitHub地址 : https://github.com/kubeedge/kubeedge

Slack地址 :https://kubeedge.slack.com

郵件列表 : https://groups.google.com/forum/#!forum/kubeedge

每周社區(qū)例會 :https://zoom.us/j/4167237304

Twitter : https://twitter.com/KubeEdge

文檔地址 : https://docs.kubeedge.io/en/latest/