眾多AI創(chuàng)新者反饋，構建AIGC應用時常遇這些挑戰(zhàn)
眾多AI創(chuàng)新者反饋，構建AIGC應用時常遇這些挑戰(zhàn)
模型開發(fā)/定制門檻高
大模型應用是一個模型、數據、代碼集成的新型應用。 開發(fā)一個完整的大模型應用既需要利用多樣化的AI原生技術又需要強大的工程能力，并將它們充分整合，開發(fā)門檻高
底層資源管理工作量
從物理機、虛擬機到容器，測試、開發(fā)環(huán)境的安裝部署周期長，消耗寶貴的算法工程的精力
應用運行成本高
AI應用底層異構資源成本高，特別是業(yè)務流量面臨波峰波谷時，在波谷周期浪費大量資源，資源利用率低
應用周邊組件管理
除了核心業(yè)務后端，研發(fā)還需要關注整體應用架構部署，涉及安全、網絡等眾多應用組件，導致整體產品上市周期延長
故障后的定位、定界、恢復
缺少一站式的大屏來監(jiān)控應用實時運行情況，缺少智能告警、自動恢復措施
計算資源的高峰需求
AI模型往往需要大量的計算資源，特別是在處理大規(guī)模數據集訓練和推理時，需要極強的彈性和極快的啟動速度面對流量洪峰，AI應用能否高可用高性能的穩(wěn)定運行？傳統服務器可能難以應對瞬時的高負載
如何簡單化應用運維
AI原生技術種類繁多，難以快速集成，構建和部署模型涉及復雜的流程，并且后端服務運維往往需要大量日志、跟蹤定位是哪個服務出問題的效率較低
隱私安全挑戰(zhàn)
AIGC技術面臨的隱私安全問題包括數據泄露、數據濫用、算法偏見等風險
華為云Serverless如何低成本極簡創(chuàng)建AI應用？
.png)
Serverless 函數工作流 FunctionGraph：八大關鍵能力，助力一鍵創(chuàng)建AI應用
Serverless 函數工作流 FunctionGraph：八大關鍵能力，助力一鍵創(chuàng)建AI應用
低學習成本
? 無需關注底層基礎設施
? 主流AI開發(fā)框架集成
? 預置函數模板
異構資源調度，“0”閑置
? 毫秒級擴縮容
? 預留實例智能推薦
可視化編排
? 多模型聚合、拆解
? 企業(yè)應用0改造對接大模型
極致冷啟動
? 獨創(chuàng)Snapshot技術，冷啟動<200ms
? GB級模型秒級響應
豐富的語言、運行時和觸發(fā)器
? 8+ 主流開發(fā)語言支持
? 20+ 種觸發(fā)方式
應用一鍵構建，“0”門檻
? 應用一鍵構建，大模型觸手可及
? 全托管，免運維
全棧可觀測
? 端到端全鏈路壓測
? 50+監(jiān)控指標，全語言調用鏈
邊緣部署
? 邊緣流量近場處理，低時延
? 云邊協同統一運維管理
Serverless 都可以應用在哪些AI場景？
Serverless 都可以應用在哪些AI場景？
游戲場景圖片生成
-
1、游戲場景創(chuàng)作 2、游戲角色設計
3、游戲道具設計 4、游戲UI設計
-
如：某游戲平臺使用Serverless一鍵創(chuàng)建AI畫圖應用Stable Diffusion，批量生成游戲場景圖、游戲海報等。
教育、繪本、插畫圖片生成
-
1、教學資源制作 2、虛擬教學助手
3、教學視頻制作 4、教學游戲開發(fā)
-
如：某教育公司使用Serverless一鍵創(chuàng)建AI畫圖應用Stable Diffusion，批量生成插畫、兒童繪本圖片、宣傳海報等。
電商圖片生成
-
1、電商模特生成 2、商品圖片生成
3、虛擬試衣間 4、商品視頻制作
-
如：某教育公司使用Serverless免費一鍵創(chuàng)建AI畫圖應用ComfyUI+Flux版，批量生成插畫、兒童繪本圖片、宣傳海報等。
廣告、營銷、設計行業(yè)圖片生成
-
1、個性化營銷 2、內容審核
3、服裝設計 4、廣告創(chuàng)意
-
如：某教育公司使用Serverless免費一鍵創(chuàng)建AI畫圖應用ComfyUI版，批量生成服裝設計、廣告圖片等。AI對話-ChatGLM3生成營銷咨詢等。
游戲場景圖片生成
-
1、游戲場景創(chuàng)作 2、游戲角色設計
3、游戲道具設計 4、游戲UI設計
-
如：某游戲平臺使用Serverless一鍵創(chuàng)建AI畫圖應用Stable Diffusion，批量生成游戲場景圖、游戲海報等。
教育、繪本、插畫圖片生成
-
1、教學資源制作 2、虛擬教學助手
3、教學視頻制作 4、教學游戲開發(fā)
-
如：某教育公司使用Serverless一鍵創(chuàng)建AI畫圖應用Stable Diffusion，批量生成插畫、兒童繪本圖片、宣傳海報等。
電商圖片生成
-
1、電商模特生成 2、商品圖片生成
3、虛擬試衣間 4、商品視頻制作
-
如：某教育公司使用Serverless免費一鍵創(chuàng)建AI畫圖應用ComfyUI+Flux版，批量生成插畫、兒童繪本圖片、宣傳海報等。
廣告、營銷、設計行業(yè)圖片生成
-
1、個性化營銷 2、內容審核
3、服裝設計 4、廣告創(chuàng)意
-
如：某教育公司使用Serverless免費一鍵創(chuàng)建AI畫圖應用ComfyUI版，批量生成服裝設計、廣告圖片等。AI對話-ChatGLM3生成營銷咨詢等。
客戶案例
華為云 Stable Diffusion案例: 低成本構建文生圖應用，實現AI繪圖
某在線游戲平臺：為全球用戶提供優(yōu)質精彩的游戲、娛樂及服務。產品涵蓋數十款棋牌類手游（斗地主、捕魚、象棋等）及休閑類手游。
客戶訴求
? 素材庫精修
? 人物道具設計
? 海量游戲海報生成
? 設計師減少工作量，提高效率
? 業(yè)務按需使用、無需提前部署
客戶價值
? 一鍵部署、便于操作，免運維；20分鐘完成了文生圖應用的業(yè)務部署
? 按需使用，根據調用次數收費，無請求不計費；客戶每天生成3000+圖片，實際使用GPU時間僅3.47小時，節(jié)省85%+資源成本
華為云Serverless，賦能豐圖科技AI推理成本銳減30%，可靠性翻倍
豐圖科技(深圳)有限公司 源于順豐科技地理信息研發(fā)中心,最早負責構建物流場景的工業(yè)級地圖、支撐順豐集團的數字化轉型。
目前豐圖科技已經搭建了智慧護航平臺和豐圖智行平臺,為物流企業(yè)提供貨運安全監(jiān)管和風控服務。由于將大量計算部署在了云端，如何節(jié)約算力、實現降本增效也十分重要。豐圖科技利用華為云函數工作流FunctionGraph實現了推理算法事件驅動、 設備自檢算法、 同時無需運維計算資源,使團隊只需要關注業(yè)務本身，從而可以更好的控制使用成本。
華為云解決方案
駕駛輔助智能硬件、智慧交通監(jiān)督平臺、7*24小時運營支撐,實現三位一體安全駕駛
豐圖科技還通過駕駛輔助智能硬件、智慧交通監(jiān)督平臺、7*24小時運營支撐,實現了三位一體的安全駕駛解決方案。并以安全云平臺為核心,通過風險預測、實時干預、事故調查表、統計報表等方式,結合駕駛輔助硬件、設備算法迭代,系統自動報警實用技術,大大降低了商用車安全事故,保障了司機的每一次安全駕駛。
引入了DMS疲勞檢測，高危等級風險事件召回率提升32%
針對長途貨運司機容易疲勞駕駛的問題,豐圖科技的安全駕駛解決方案引入了DMS疲勞檢測,支持云端DMS告警補償和告警清洗,自動檢測駕駛員疲勞、分心、吸煙打電話、攝像頭被遮擋等行為。基于精簡版ResNet圖像分類,對攝像頭狀態(tài)判斷準確率達到99%。能夠減少40%以上的無效告警和10%左右的護航人力投入,高危等級風險事件召回率提升32%。
實踐效果
節(jié)約算力及成本，GPU最小1/16粒度配置，按使用量計費
利用華為云函數工作流FunctionGraph實現了推力算法事件驅動,全自動按請求并發(fā)量彈性計算實例,保障了資源的按需使用;GPU最小1/16粒度配置,按使用量計費,從而避免了昂貴算力的資源限制。同時FunctionGraph不需要運維計算資源,只需要關注業(yè)務本身,從而可以更好的控制使用成本。
實現設備自檢算法，減少運維工作量
通過華為云FunctionGraph實現設備自檢算法,設備自檢業(yè)務流程中，將圖片計算的部分使用GPU資源的工作放在FunctionGraph中完成。并利用FunctionGraph自帶的監(jiān)控日志系統觀察,減少了運維工作量。全自動彈性實例也更容易應對業(yè)務量變化帶來的資源需求的波動，提高了業(yè)務穩(wěn)定性。
成本降低30%,可靠性則提升至100%
華為云FunctionGraph是根據函數調用次數、活躍/閑置內存以及GPU使用量進行收費,粒度到1ms級別,只在函數被調用時計費。華為云FunctionGraph助力豐圖科技成本降低30%,可靠性提升100%。
華為云Serverless常見問題解答
華為云Serverless常見問題解答
游戲素材復雜精細，例如角色姿勢是否自然、細節(jié)是否清晰、光照是否合理等都需要很多的考量，影響整體游戲的制作周期
云端算力資源可彈性擴展，中低配置物理終端也可執(zhí)行大型游戲美術生成任務。
美術在游戲開發(fā)過程中占比高，尤其是在臨近項目上線時，美術團隊的人數，可以占到整體的一半以上
AI繪畫任務隨時執(zhí)行，降低人力成本，云端AI繪畫根據創(chuàng)建應用時的調用次數收費，無請求不計費。
公司業(yè)務對GPU強依賴，而昂貴的GPU算力成為制約業(yè)務發(fā)展的瓶頸。急需解決算力成本問題
華為云支持多函數實例共享顯卡，會根據選擇的顯存大小進行算力和顯存隔離，vGPU可細粒度靈活組合（1/20 GPU分片），毫秒粒度計費。提升GPU硬件資源的利用率并降低成本。
繪圖應用響應延遲緩慢，客戶提一個畫圖需求，應用要加載近1分鐘才能響應
預熱基礎異構函數實例：提前初始化設備和依賴庫，設備初始化時延降低至0ms。
模型加載和計算pipeline化：模型按Layer分批加載，并根據用戶SLA和模型推理時延歷史數據，構建最優(yōu)pipeline, 降低參數加載和模型推理總時延。
GPU資源利用率低：業(yè)務事件觸發(fā)，非長穩(wěn)運行，訓練算法運行僅需1/4張GPU卡，采用預置容器實例綁定一張卡的方式資源利用率底，價格高
FunctionGraph全自動按業(yè)務請求量彈性實例，無請求無費用。
華為云Serverless精選文章推薦
華為云Serverless精選文章推薦
華為云Serverless應用中心，一鍵構建AI繪圖應用
華為云Serverless應用中心，提供了大量應用模板，讓用戶能夠一鍵部署函數和周邊依賴資源，節(jié)省部署時間，快速上手將應用部署到華為云函數計算FunctionGraph，并一鍵開通周邊依賴資源。
全域Serverless+AI，華為云加速大模型應用開發(fā)
為了更好的支撐AIGC應用，華為云提供了全域Serverless能力，推出了CCE Autopilot、FunctionGraph、CAE等Serverless產品，將一系列的AI原生技術構筑成后端服務，形成BaaS for AI能力，調用即可得。結合完善的工具鏈，幫忙企業(yè)快速構建應用。
基于Serverless技術的AIGC應用探究
隨著人工智能與圖形計算的融合，AIGC（Artificial Intelligence and Graphics Computing）技術的發(fā)展已經成為當今科技領域的熱點之一。
華為云全域Serverless技術創(chuàng)新：全球首創(chuàng)通用Serverless平臺被ACM SIGCOMM錄用
華為云全域Serverless化背后的“基石”——元戎，中稿全球頂尖學術會議ACM SIGCOMM 2024。
匯聚行業(yè)實踐，樹立應用典范——《Serverless應用實踐案例集》重磅發(fā)布
2024年可信云大會·云原生與大模型云服務分論壇在京成功召開。會上正式發(fā)布了 《Serverless應用實踐案例集》。
華為云Serverless，海量企業(yè)的共同選擇
華為云Serverless，海量企業(yè)的共同選擇
