眾多AI創(chuàng)新者反饋,構(gòu)建AIGC應(yīng)用時常遇這些挑戰(zhàn)
眾多AI創(chuàng)新者反饋,構(gòu)建AIGC應(yīng)用時常遇這些挑戰(zhàn)
模型開發(fā)/定制門檻高
大模型應(yīng)用是一個模型、數(shù)據(jù)、代碼集成的新型應(yīng)用。 開發(fā)一個完整的大模型應(yīng)用既需要利用多樣化的AI原生技術(shù)又需要強(qiáng)大的工程能力,并將它們充分整合,開發(fā)門檻高
底層資源管理工作量
從物理機(jī)、虛擬機(jī)到容器,測試、開發(fā)環(huán)境的安裝部署周期長,消耗寶貴的算法工程的精力
應(yīng)用運(yùn)行成本高
AI應(yīng)用底層異構(gòu)資源成本高,特別是業(yè)務(wù)流量面臨波峰波谷時,在波谷周期浪費(fèi)大量資源,資源利用率低
應(yīng)用周邊組件管理
除了核心業(yè)務(wù)后端,研發(fā)還需要關(guān)注整體應(yīng)用架構(gòu)部署,涉及安全、網(wǎng)絡(luò)等眾多應(yīng)用組件,導(dǎo)致整體產(chǎn)品上市周期延長
故障后的定位、定界、恢復(fù)
缺少一站式的大屏來監(jiān)控應(yīng)用實(shí)時運(yùn)行情況,缺少智能告警、自動恢復(fù)措施
計算資源的高峰需求
AI模型往往需要大量的計算資源,特別是在處理大規(guī)模數(shù)據(jù)集訓(xùn)練和推理時,需要極強(qiáng)的彈性和極快的啟動速度面對流量洪峰,AI應(yīng)用能否高可用高性能的穩(wěn)定運(yùn)行?傳統(tǒng)服務(wù)器可能難以應(yīng)對瞬時的高負(fù)載
如何簡單化應(yīng)用運(yùn)維
AI原生技術(shù)種類繁多,難以快速集成,構(gòu)建和部署模型涉及復(fù)雜的流程,并且后端服務(wù)運(yùn)維往往需要大量日志、跟蹤定位是哪個服務(wù)出問題的效率較低
隱私安全挑戰(zhàn)
AIGC技術(shù)面臨的隱私安全問題包括數(shù)據(jù)泄露、數(shù)據(jù)濫用、算法偏見等風(fēng)險
華為云Serverless如何低成本極簡創(chuàng)建AI應(yīng)用?
Serverless 函數(shù)工作流 FunctionGraph:八大關(guān)鍵能力,助力一鍵創(chuàng)建AI應(yīng)用
Serverless 函數(shù)工作流 FunctionGraph:八大關(guān)鍵能力,助力一鍵創(chuàng)建AI應(yīng)用
低學(xué)習(xí)成本
? 無需關(guān)注底層基礎(chǔ)設(shè)施
? 主流AI開發(fā)框架集成
? 預(yù)置函數(shù)模板
異構(gòu)資源調(diào)度,“0”閑置
? 毫秒級擴(kuò)縮容
? 預(yù)留實(shí)例智能推薦
可視化編排
? 多模型聚合、拆解
? 企業(yè)應(yīng)用0改造對接大模型
極致冷啟動
? 獨(dú)創(chuàng)Snapshot技術(shù),冷啟動<200ms
? GB級模型秒級響應(yīng)
豐富的語言、運(yùn)行時和觸發(fā)器
? 8+ 主流開發(fā)語言支持
? 20+ 種觸發(fā)方式
應(yīng)用一鍵構(gòu)建,“0”門檻
? 應(yīng)用一鍵構(gòu)建,大模型觸手可及
? 全托管,免運(yùn)維
全??捎^測
? 端到端全鏈路壓測
? 50+監(jiān)控指標(biāo),全語言調(diào)用鏈
邊緣部署
? 邊緣流量近場處理,低時延
? 云邊協(xié)同統(tǒng)一運(yùn)維管理
Serverless 都可以應(yīng)用在哪些AI場景?
Serverless 都可以應(yīng)用在哪些AI場景?
游戲場景圖片生成
-
1、游戲場景創(chuàng)作 2、游戲角色設(shè)計
3、游戲道具設(shè)計 4、游戲UI設(shè)計
-
如:某游戲平臺使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion,批量生成游戲場景圖、游戲海報等。
教育、繪本、插畫圖片生成
-
1、教學(xué)資源制作 2、虛擬教學(xué)助手
3、教學(xué)視頻制作 4、教學(xué)游戲開發(fā)
-
如:某教育公司使用Serverless一鍵創(chuàng)建AI畫圖應(yīng)用Stable Diffusion,批量生成插畫、兒童繪本圖片、宣傳海報等。
電商圖片生成
-
1、電商模特生成 2、商品圖片生成
3、虛擬試衣間 4、商品視頻制作
-
如:某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI+Flux版,批量生成插畫、兒童繪本圖片、宣傳海報等。
廣告、營銷、設(shè)計行業(yè)圖片生成
-
1、個性化營銷 2、內(nèi)容審核
3、服裝設(shè)計 4、廣告創(chuàng)意
-
如:某教育公司使用Serverless免費(fèi)一鍵創(chuàng)建AI畫圖應(yīng)用ComfyUI版,批量生成服裝設(shè)計、廣告圖片等。AI對話-ChatGLM3生成營銷咨詢等。
客戶案例
華為云 Stable Diffusion案例: 低成本構(gòu)建文生圖應(yīng)用,實(shí)現(xiàn)AI繪圖
某在線游戲平臺:為全球用戶提供優(yōu)質(zhì)精彩的游戲、娛樂及服務(wù)。產(chǎn)品涵蓋數(shù)十款棋牌類手游(斗地主、捕魚、象棋等)及休閑類手游。
客戶訴求
? 素材庫精修
? 人物道具設(shè)計
? 海量游戲海報生成
? 設(shè)計師減少工作量,提高效率
? 業(yè)務(wù)按需使用、無需提前部署
客戶價值
? 一鍵部署、便于操作,免運(yùn)維;20分鐘完成了文生圖應(yīng)用的業(yè)務(wù)部署
? 按需使用,根據(jù)調(diào)用次數(shù)收費(fèi),無請求不計費(fèi);客戶每天生成3000+圖片,實(shí)際使用GPU時間僅3.47小時,節(jié)省85%+資源成本
華為云Serverless,賦能豐圖科技AI推理成本銳減30%,可靠性翻倍
豐圖科技(深圳)有限公司 源于順豐科技地理信息研發(fā)中心,最早負(fù)責(zé)構(gòu)建物流場景的工業(yè)級地圖、支撐順豐集團(tuán)的數(shù)字化轉(zhuǎn)型。
目前豐圖科技已經(jīng)搭建了智慧護(hù)航平臺和豐圖智行平臺,為物流企業(yè)提供貨運(yùn)安全監(jiān)管和風(fēng)控服務(wù)。由于將大量計算部署在了云端,如何節(jié)約算力、實(shí)現(xiàn)降本增效也十分重要。豐圖科技利用華為云函數(shù)工作流FunctionGraph實(shí)現(xiàn)了推理算法事件驅(qū)動、 設(shè)備自檢算法、 同時無需運(yùn)維計算資源,使團(tuán)隊(duì)只需要關(guān)注業(yè)務(wù)本身,從而可以更好的控制使用成本。
華為云解決方案
駕駛輔助智能硬件、智慧交通監(jiān)督平臺、7*24小時運(yùn)營支撐,實(shí)現(xiàn)三位一體安全駕駛
豐圖科技還通過駕駛輔助智能硬件、智慧交通監(jiān)督平臺、7*24小時運(yùn)營支撐,實(shí)現(xiàn)了三位一體的安全駕駛解決方案。并以安全云平臺為核心,通過風(fēng)險預(yù)測、實(shí)時干預(yù)、事故調(diào)查表、統(tǒng)計報表等方式,結(jié)合駕駛輔助硬件、設(shè)備算法迭代,系統(tǒng)自動報警實(shí)用技術(shù),大大降低了商用車安全事故,保障了司機(jī)的每一次安全駕駛。
引入了DMS疲勞檢測,高危等級風(fēng)險事件召回率提升32%
針對長途貨運(yùn)司機(jī)容易疲勞駕駛的問題,豐圖科技的安全駕駛解決方案引入了DMS疲勞檢測,支持云端DMS告警補(bǔ)償和告警清洗,自動檢測駕駛員疲勞、分心、吸煙打電話、攝像頭被遮擋等行為?;诰啺鍾esNet圖像分類,對攝像頭狀態(tài)判斷準(zhǔn)確率達(dá)到99%。能夠減少40%以上的無效告警和10%左右的護(hù)航人力投入,高危等級風(fēng)險事件召回率提升32%。
實(shí)踐效果
節(jié)約算力及成本,GPU最小1/16粒度配置,按使用量計費(fèi)
利用華為云函數(shù)工作流FunctionGraph實(shí)現(xiàn)了推力算法事件驅(qū)動,全自動按請求并發(fā)量彈性計算實(shí)例,保障了資源的按需使用;GPU最小1/16粒度配置,按使用量計費(fèi),從而避免了昂貴算力的資源限制。同時FunctionGraph不需要運(yùn)維計算資源,只需要關(guān)注業(yè)務(wù)本身,從而可以更好的控制使用成本。
實(shí)現(xiàn)設(shè)備自檢算法,減少運(yùn)維工作量
通過華為云FunctionGraph實(shí)現(xiàn)設(shè)備自檢算法,設(shè)備自檢業(yè)務(wù)流程中,將圖片計算的部分使用GPU資源的工作放在FunctionGraph中完成。并利用FunctionGraph自帶的監(jiān)控日志系統(tǒng)觀察,減少了運(yùn)維工作量。全自動彈性實(shí)例也更容易應(yīng)對業(yè)務(wù)量變化帶來的資源需求的波動,提高了業(yè)務(wù)穩(wěn)定性。
成本降低30%,可靠性則提升至100%
華為云FunctionGraph是根據(jù)函數(shù)調(diào)用次數(shù)、活躍/閑置內(nèi)存以及GPU使用量進(jìn)行收費(fèi),粒度到1ms級別,只在函數(shù)被調(diào)用時計費(fèi)。華為云FunctionGraph助力豐圖科技成本降低30%,可靠性提升100%。
華為云Serverless常見問題解答
華為云Serverless常見問題解答
游戲素材復(fù)雜精細(xì),例如角色姿勢是否自然、細(xì)節(jié)是否清晰、光照是否合理等都需要很多的考量,影響整體游戲的制作周期
云端算力資源可彈性擴(kuò)展,中低配置物理終端也可執(zhí)行大型游戲美術(shù)生成任務(wù)。
美術(shù)在游戲開發(fā)過程中占比高,尤其是在臨近項(xiàng)目上線時,美術(shù)團(tuán)隊(duì)的人數(shù),可以占到整體的一半以上
AI繪畫任務(wù)隨時執(zhí)行,降低人力成本,云端AI繪畫根據(jù)創(chuàng)建應(yīng)用時的調(diào)用次數(shù)收費(fèi),無請求不計費(fèi)。
公司業(yè)務(wù)對GPU強(qiáng)依賴,而昂貴的GPU算力成為制約業(yè)務(wù)發(fā)展的瓶頸。急需解決算力成本問題
華為云支持多函數(shù)實(shí)例共享顯卡,會根據(jù)選擇的顯存大小進(jìn)行算力和顯存隔離,vGPU可細(xì)粒度靈活組合(1/20 GPU分片),毫秒粒度計費(fèi)。提升GPU硬件資源的利用率并降低成本。
繪圖應(yīng)用響應(yīng)延遲緩慢,客戶提一個畫圖需求,應(yīng)用要加載近1分鐘才能響應(yīng)
預(yù)熱基礎(chǔ)異構(gòu)函數(shù)實(shí)例:提前初始化設(shè)備和依賴庫,設(shè)備初始化時延降低至0ms。
模型加載和計算pipeline化:模型按Layer分批加載,并根據(jù)用戶SLA和模型推理時延歷史數(shù)據(jù),構(gòu)建最優(yōu)pipeline, 降低參數(shù)加載和模型推理總時延。
GPU資源利用率低:業(yè)務(wù)事件觸發(fā),非長穩(wěn)運(yùn)行,訓(xùn)練算法運(yùn)行僅需1/4張GPU卡,采用預(yù)置容器實(shí)例綁定一張卡的方式資源利用率底,價格高
FunctionGraph全自動按業(yè)務(wù)請求量彈性實(shí)例,無請求無費(fèi)用。
華為云Serverless精選文章推薦
華為云Serverless精選文章推薦
華為云Serverless應(yīng)用中心,一鍵構(gòu)建AI繪圖應(yīng)用
華為云Serverless應(yīng)用中心,提供了大量應(yīng)用模板,讓用戶能夠一鍵部署函數(shù)和周邊依賴資源,節(jié)省部署時間,快速上手將應(yīng)用部署到華為云函數(shù)計算FunctionGraph,并一鍵開通周邊依賴資源。
全域Serverless+AI,華為云加速大模型應(yīng)用開發(fā)
為了更好的支撐AIGC應(yīng)用,華為云提供了全域Serverless能力,推出了CCE Autopilot、FunctionGraph、CAE等Serverless產(chǎn)品,將一系列的AI原生技術(shù)構(gòu)筑成后端服務(wù),形成BaaS for AI能力,調(diào)用即可得。結(jié)合完善的工具鏈,幫忙企業(yè)快速構(gòu)建應(yīng)用。
基于Serverless技術(shù)的AIGC應(yīng)用探究
隨著人工智能與圖形計算的融合,AIGC(Artificial Intelligence and Graphics Computing)技術(shù)的發(fā)展已經(jīng)成為當(dāng)今科技領(lǐng)域的熱點(diǎn)之一。
華為云全域Serverless技術(shù)創(chuàng)新:全球首創(chuàng)通用Serverless平臺被ACM SIGCOMM錄用
華為云全域Serverless化背后的“基石”——元戎,中稿全球頂尖學(xué)術(shù)會議ACM SIGCOMM 2024。
匯聚行業(yè)實(shí)踐,樹立應(yīng)用典范——《Serverless應(yīng)用實(shí)踐案例集》重磅發(fā)布
2024年可信云大會·云原生與大模型云服務(wù)分論壇在京成功召開。會上正式發(fā)布了 《Serverless應(yīng)用實(shí)踐案例集》。