傳統(tǒng)的云計算習(xí)慣將算 力和數(shù)據(jù)存儲部 署在大型數(shù)據(jù)中心，而與之相對的邊緣計算則強調(diào)讓計算和數(shù)據(jù)存儲更接近數(shù)據(jù)源。 邊緣人工智能（Edge AI）顧名思義結(jié)合了邊緣計算和人工智能兩個領(lǐng)域的技術(shù)優(yōu)勢，在過去幾年中迅速發(fā)展為一個新興的技術(shù)應(yīng)用領(lǐng)域。 由Gartner人工智能發(fā)展周期預(yù)測圖中可以看到，Edge AI技術(shù)當前已經(jīng)處于其發(fā)展周期中的預(yù)期峰值。

Gartner人工智能發(fā)展周期預(yù)測如下圖所示：

Edge AI 可以直接在邊緣或客戶端設(shè)備上實現(xiàn) AI 計算、提高能效、支持低延遲、解決數(shù)據(jù)隱私問題。那么，邊緣場景下傳統(tǒng)深度學(xué)習(xí)算法該如何設(shè)計或改進呢？

為了解答上述問題，哈索普拉特納計算機系統(tǒng)工程院（HPI）多媒體和機器學(xué)習(xí)研究組負責(zé)人楊浩進，協(xié)同華為云邊緣云創(chuàng)新Lab、華為慕尼黑研究所錄制了邊緣AI在線課程。課程從算法、軟件框架以及硬件三個層面帶大家學(xué)習(xí)Edge AI相關(guān)知識。它介紹了深度模型壓縮和加速技術(shù)、云端和邊緣協(xié)同式訓(xùn)練和推理技術(shù)，以及帶大家基于目前開源社區(qū)中流行的Edge AI軟件框架Sedna實踐了聯(lián)邦學(xué)習(xí)和協(xié)同推理等應(yīng)用案例。課程為期六周，除了傳統(tǒng)的線上視頻和作業(yè)外，還基于Kaggle平臺每周為學(xué)員準備了和主題相關(guān)的編程和模型訓(xùn)練任務(wù)。

課程涵蓋“深度學(xué)習(xí)基礎(chǔ)知識及發(fā)展簡史”、“卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的演進”、“高性能小模型設(shè)計、知識蒸餾技術(shù)”、“經(jīng)典深度模型壓縮技術(shù)”、“Edge AI簡介及其技術(shù)挑戰(zhàn)解析”、“Edge AI進階技術(shù)路線和應(yīng)用場景”等邊緣AI領(lǐng)域相關(guān)內(nèi)容。

邊緣AI課程首頁如下圖所示：

AI campus平臺邊緣AI課程封面與目錄如下圖所示：

第openHPI平臺邊緣AI課程簡介如下圖所示：

3.1基于Sedna的聯(lián)邦學(xué)習(xí)實踐課

在本實踐課中，使用聯(lián)邦學(xué)習(xí)來優(yōu)化基于二值神經(jīng)網(wǎng)絡(luò)的BNN基礎(chǔ)模型。通過Sedna聯(lián)邦學(xué)習(xí)框架，每個學(xué)生客戶端作為邊緣的TrainingWorker，只訪問自己本地的訓(xùn)練集，通過將每輪本地訓(xùn)練的權(quán)重共享到云端AggregationWorker進行聚合。這樣通過聯(lián)合不同參與課程的學(xué)生所被分配的數(shù)據(jù)集，多輪循環(huán)迭代訓(xùn)練，在客戶端原始數(shù)據(jù)不互相共享的情況下，提升各自模型的精度。

實踐課Kaggle地址：https://www.kaggle.com/jopyth/edge-ai-w5-federated-learning

基于Sedna的聯(lián)邦學(xué)習(xí)實踐課課程截圖如下所示：

3.2 基于Sedna的協(xié)同推理實踐課

在本實踐課中，基于已訓(xùn)練好的圖像分類的小模型和大模型，在本地和云端分別部署，利用Sedna框架的通信、難例識別等能力協(xié)同進行推理。本地客戶端部署小模型，負責(zé)處理簡單樣本，云端大模型利用較為充足計算資源處理困難樣本。這樣通過對樣本的分流和模型的協(xié)作，在保證吞吐量、時延不明顯降低的情況下，實現(xiàn)整體推理精度的提升。

實踐課Kaggle地址：https://www.kaggle.com/jopyth/edge-ai-w6-collaborative-inference

基于Sedna的協(xié)同推理實踐課課程截圖如下所示：

KubeEdge 是一個開源的邊緣計算平臺，它在Kubernetes原生的容器編排和調(diào)度能力之上，擴展實現(xiàn)了邊云協(xié)同、計算下沉、海量邊緣設(shè)備管理、邊緣自治等能力。KubeEdge還將通過插件的形式支持5G MEC、AI云邊協(xié)同等場景，目前在很多領(lǐng)域都已落地應(yīng)用[2]。

Sedna基于KubeEdge提供的邊云協(xié)同能力，實現(xiàn)AI的跨邊云協(xié)同訓(xùn)練和協(xié)同推理。支持現(xiàn)有AI類應(yīng)用無縫下沉到邊緣，快速實現(xiàn)跨邊云的協(xié)同推理、增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、終身學(xué)習(xí)等，最終降低邊云協(xié)同機器學(xué)習(xí)服務(wù)構(gòu)建與部署成本、提升模型性能、保護數(shù)據(jù)隱私等[1][3]。

Sedna項目由華為云邊緣云創(chuàng)新Lab孵化，于20年12月在KubeEdge SIG AI社區(qū)發(fā)布開源，華為慕尼黑研究所、中國電信研究院目前主要參與新特性的貢獻，并吸引了來自清華大學(xué)、南洋理工大學(xué)、北京交通大學(xué)、西安電子科技大學(xué)、香港理工大學(xué)等各大高校的貢獻者，共同研究與探索邊緣AI領(lǐng)域未來的技術(shù)方向。

Sedna整體架構(gòu)圖如下所示：

歡迎更多對邊緣計算感興趣的同學(xué)們加入KubeEdge社區(qū)，參與AI SIG，一起建設(shè)云原生邊緣計算生態(tài)。

項目地址：

https://github.com/kubeedge/sedna

例會時間和地址：

時間：每周四上午10: 00

地址：https://zoom.us/my/kubeedge

SIG AI工作目標和運作方式：

https://github.com/kubeedge/community/tree/master/sig-ai

[1] “加速AI邊云協(xié)同創(chuàng)新！KubeEdge社區(qū)建立Sedna子項目,” 2021. Available: https://mp.weixin.qq.com/s/FX2DOsctS_Z7CKHndFByRw.

[2] “KubeEdge架構(gòu)解讀：云原生的邊緣計算平臺,” 2020. Available: https://mp.weixin.qq.com/s/8AvkgupCQpI_JCL2P7x8jw.

[3] “kubeedge/Sedna,” 2021. Available: https://github.com/kubeedge/sedna.