該解決方案有何用途？
該解決方案基于ModelArts Standard資源模式適配PyTorch NPU推理技術(shù)，將主流的開源大模型與硬件相結(jié)合，實現(xiàn)高速、高效的模型推理。幫助用戶快速一鍵部署AI應用、在線推理，主要適用于自然語言處理 LLM應用場景，為用戶提供更加高效、便捷的服務。
方案架構(gòu)
該解決方案使用函數(shù)工作流 FunctionGraph，幫助用戶基于PyTorch NPU快速在AI開發(fā)平臺ModelArts上部署開源大模型推理服務。
基于PyTorch NPU快速部署開源大模型
版本：1.0.0????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
上次更新日期：2024年11月
來源：由華為云構(gòu)建
部署：預計30分鐘
卸載：預計10分鐘
架構(gòu)描述
架構(gòu)描述
-
使用函數(shù)工作流 FunctionGraph創(chuàng)建一個函數(shù)，用于調(diào)用AI應用、在線服務接口，實現(xiàn)在AI開發(fā)平臺ModelArts上快速部署推理服務
-
使用AI開發(fā)平臺ModelArts，創(chuàng)建AI應用，部署在線服務、用于獲取推理結(jié)果
-
在統(tǒng)一身份認證服務 IAM上創(chuàng)建一個委托，用于授權(quán)FunctionGraph獲取IAM用戶Token，訪問ModelArts在線服務和OBS桶