該解決方案有何用途？
該解決方案基于ModelArts Standard資源模式適配PyTorch NPU推理技術(shù)，將主流的開源大模型與硬件相結(jié)合，實(shí)現(xiàn)高速、高效的模型推理。幫助用戶快速一鍵部署AI應(yīng)用、在線推理，主要適用于自然語言處理 LLM應(yīng)用場(chǎng)景，為用戶提供更加高效、便捷的服務(wù)。
方案架構(gòu)
該解決方案使用函數(shù)工作流 FunctionGraph，幫助用戶基于PyTorch NPU快速在AI開發(fā)平臺(tái)ModelArts上部署開源大模型推理服務(wù)。
基于PyTorch NPU快速部署開源大模型
版本：1.0.0????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
上次更新日期：2024年11月
來源：由華為云構(gòu)建
部署：預(yù)計(jì)30分鐘
卸載：預(yù)計(jì)10分鐘
架構(gòu)描述
架構(gòu)描述
-
使用函數(shù)工作流 FunctionGraph創(chuàng)建一個(gè)函數(shù)，用于調(diào)用AI應(yīng)用、在線服務(wù)接口，實(shí)現(xiàn)在AI開發(fā)平臺(tái)ModelArts上快速部署推理服務(wù)
-
使用AI開發(fā)平臺(tái)ModelArts，創(chuàng)建AI應(yīng)用，部署在線服務(wù)、用于獲取推理結(jié)果
-
在統(tǒng)一身份認(rèn)證服務(wù) IAM上創(chuàng)建一個(gè)委托，用于授權(quán)FunctionGraph獲取IAM用戶Token，訪問ModelArts在線服務(wù)和OBS桶