盤古大模型 PanguLargeModels 盤古大模型 PanguLargeModels 盤古大模型是面向B端行業(yè)的大模型，包含L0中5類基礎大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu) 盤古大模型是面向B端行業(yè)的大模型，包含L0中5類基礎大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu)
體驗 政企知識檢索 智能創(chuàng)意營銷 行業(yè)API助手 行業(yè)研發(fā)助手 政企會議助手 文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古NLP大模型能力與規(guī)格 盤古大模型快速入門 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū)
全鏈路專業(yè)服務，讓大模型從可用到好用 · 6大階段30+專業(yè)服務，覆蓋大模型建設全流程，加速政企落地大模型 · 創(chuàng)新運營服務模式，實現(xiàn)全場景模型經(jīng)驗沉淀、全流程運營賦能產(chǎn)業(yè)，快速孵化大模型場景化應用 大模型混合云十大創(chuàng)新技術(shù) 大模型混合云十大創(chuàng)新技術(shù) 了解詳情 十大創(chuàng)新技術(shù) 加速構(gòu)建企業(yè)專屬大模型
文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古預測大模型能力與規(guī)格 盤古大模型快速入門 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū) 優(yōu)質(zhì)昇騰云AI模型專區(qū) 幾行代碼自由部署AI應用 豐富多樣的AI訓練數(shù)據(jù)集 場景化AI案例，助力AI賦能千行百業(yè)
提供高精度的全球模型，無需定制和訓練，直接訂閱即可推理 多種部署形態(tài) 支持公有云、混合云、邊緣多種形態(tài)，滿足不同需求 文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古科學計算大模型能力與規(guī)格 盤古大模型用戶指南 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū)
廣汽借助華為云盤古多模態(tài)大模型，打造業(yè)界首個支持點云生成的大模型，為其端到端仿真高效迭代提供強有力支撐。 文檔與學習成長 盤古大模型 盤古大模型 什么是盤古大模型 盤古多模態(tài)大模型能力與規(guī)格 用戶指南 如何調(diào)用盤古大模型API 查看全部 AI Gallery百模千態(tài)社區(qū) AI Gallery百模千態(tài)社區(qū)
端到端生產(chǎn)工具鏈，一致性開發(fā)體驗 線上線下協(xié)同開發(fā)，開發(fā)訓練一體化架構(gòu)，支持大模型分布式部署及推理 AI工程化能力，支持AI全流程生命周期管理 AI工程化能力，支持AI全流程生命周期管理 支持MLOps能力，提供數(shù)據(jù)診斷、模型監(jiān)測等分析能力，訓練智能日志分析與診斷 容錯能力強，故障恢復快 容錯能力強，故障恢復快
大模型安全護欄 ModelArts Guard 大模型安全護欄 ModelArts Guard 大模型安全護欄（ModelArts Guard），做配套大模型的內(nèi)容安全防線 大模型安全護欄（ModelArts Guard），做配套大模型的安全防線，開放兼容，適用盤古大模型和三方大模型
大模型混合云TOP N 場景 大模型混合云TOP N 場景 1對1咨詢 了解華為云Stack 大模型行業(yè)場景落地三要素 大模型行業(yè)場景落地三要素 場景是大模型行業(yè)落地的關鍵所在，而在場景落地過程中，數(shù)據(jù)、經(jīng)驗和生態(tài)是核心要素，數(shù)據(jù)的數(shù)量和質(zhì)量決定模型效果上限；經(jīng)驗就像“名師指導”
《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》明確，具有輿論屬性或者社會動員能力的算法推薦服務提供者應當在提供服務之日起十個工作日內(nèi)通過互聯(lián)網(wǎng)信息服務算法備案系統(tǒng)填報服務提供者的名稱、服務形式、應用領域、算法類型、算法自評估報告、擬公示內(nèi)容等信息 方便
湘江鯤鵬目前在人工智能大模型領域擁有算力、數(shù)據(jù)、算法三大關鍵要素的經(jīng)驗積累，構(gòu)建了大模型三個方面的差異化競爭力，盤古大模型AI專業(yè)服務覆蓋從前期咨詢、規(guī)劃設計，到數(shù)據(jù)工程、模型訓練，再到應用工程及模型運維的完整流程?；谌A為盤古提供的AI專業(yè)服務包，致力于為企業(yè)提供一站式人工智能解決方案
angChain等流行的大模型開發(fā)框架，構(gòu)建企業(yè)級AI應用；團隊擁有成熟的軟件工程技術(shù)和管理能力。6. 大模型使用的技術(shù)支持，用戶使用大模型平臺，解答用戶使用過程遇到的問題；大模型與應用對接集成，以及進行日常巡檢、故障處理、模型升級等服務。4. 工業(yè)數(shù)據(jù)模型（CAD模型、CAE模
太杉天尊大模型AIGC場景解決方案是以AI場景解決方案為核心的全棧Maas綜合方案，助力政企客戶靈活部署(可公有可私有部署）。具備自研的行業(yè)模型能力，主要用于政府/公安/教育等行業(yè)的數(shù)據(jù)處理、文本處理以及多模態(tài)處理等多場景。太杉天尊大模型AIGC場景解決方案，是一款專為滿足政府企
公司集成了世界領先的底層大模型，具備打通跨模型和工具鏈的平臺，提供從需求分析、數(shù)據(jù)收集、模型設計、訓練優(yōu)化、評估、系統(tǒng)集成、用戶界面設計、部署維護、合規(guī)性檢查、技術(shù)支持、性能監(jiān)控、擴展性設計、定制服務到持續(xù)研發(fā)一站式AI大模型定制研發(fā)服務。光啟慧語是一家圍繞大模型全棧開展技術(shù)研發(fā)和產(chǎn)
. 模型更新后，將新模型部署至相應環(huán)境。 十一、模型評測1. 設計模型評測方案，對大模型各類指標進行評測。2. 能夠按評測標準對大模型各項能力進行打分，輸出大模型評測報告。 十二、Agent開發(fā)1. 基于場景，設計并開發(fā)Agent工具。2. 基于langchain等大模型框架，完
數(shù)據(jù)質(zhì)量。4. 模型訓練：?設計調(diào)優(yōu)方案，實施模型訓練，并進行模型評測。?熟悉盤古大模型工作流和云服務操作，確保模型效果優(yōu)化。5. 應用工程：?提供基于大模型能力的Agent開發(fā)和應用對接服務。?具備良好的軟件開發(fā)和溝通能力，實現(xiàn)大模型與應用的無縫對接。6. 模型運維： ?提供技
天尊大模型AIGC場景解決方案配套服務是太杉AIGC解決方案的人工服務，是以AI應用解決方案為核心的全棧Maas綜合方案，助力政企客戶靈活部署(可公有可私有部署）。主要用于政府/公安/教育等行業(yè)的數(shù)據(jù)處理、文本處理以及多模態(tài)處理等多場景。天尊大模型AIGC場景解決方案配套服務是太
系統(tǒng)。一、方案概述微簽，以靈敏審批流程和便捷電子簽章為特色，為企業(yè)搭建安全合規(guī)、便捷高效的電子文件簽署和管理平臺。微簽提供文件電子簽章的六大場景方案：審批流程簽章、實名驗證簽章、自己簽章、批量自動簽章、虛擬打印簽章、系統(tǒng)集成簽章。 二、審批流程簽章文件要審核后簽字蓋章？用審批電子
華為云盤古大模型 華為云盤古大模型 AI for Industries 大模型重塑千行百業(yè) AI for Industries 大模型重塑千行百業(yè) 盤古大模型致力于深耕行業(yè)，打造金融、政務、制造、礦山、氣象、鐵路等領域行業(yè)大模型和能力集，將行業(yè)知識know-how與大模型能力相結(jié)合
ModelArts支持本地準備模型包，編寫模型配置文件和模型推理代碼，將準備好的模型包上傳至對象存儲服務OBS，從OBS導入模型創(chuàng)建為AI應用。 制作模型包，則需要符合一定的模型包規(guī)范。模型包里面必需包含“model”文件夾，“model”文件夾下面放置模型文件，模型配置文件，模型推理代碼文件。
ModelArts-AI開發(fā)流程 ModelArts 與 ModelArts Studio 對比：全場景平臺 vs 大模型「超級工廠」 查看更多 收起
DeepSeek-R1蒸餾模型部署及體驗 DeepSeek-R1蒸餾模型部署及體驗 在MaaS平臺上，DeepSeek-R1蒸餾模型已經(jīng)部署上線，開發(fā)者可以通過在線體驗或API調(diào)用來使用這些模型。開發(fā)者可以在MaaS平臺上輕松部署和使用這些模型，以滿足不同場景下的需求。 在Maa
的元模型需要符合模型包規(guī)范。 模型包規(guī)范 ModelArts推理部署，模型包里面必需包含“model”文件夾，“model”文件夾下面放置模型文件，模型配置文件，模型推理代碼文件。 • 模型文件：在不同模型包結(jié)構(gòu)中模型文件的要求不同，具體請參見模型包結(jié)構(gòu)示例。 • 模型配置文件：
ModelArts模型訓練 ModelArts模型訓練簡介 ModelArts模型訓練，俗稱“建模”，指通過分析手段、方法和技巧對準備好的數(shù)據(jù)進行探索分析，從中發(fā)現(xiàn)因果關系、內(nèi)部聯(lián)系和業(yè)務規(guī)律，為商業(yè)目的提供決策參考。訓練模型的結(jié)果通常是一個或多個機器學習或深度學習模型，模型可以應用到新的數(shù)據(jù)中，得到預測、評價等結(jié)果。
ModelArts推理部署，使用容器鏡像創(chuàng)建AI應用，需要提前在本地開發(fā)模型，制作自定義鏡像，上傳至容器鏡像SWR服務，制作AI應用的自定義鏡像需滿足ModelArts定義的規(guī)范。 ModelArts推理部署，使用容器鏡像創(chuàng)建AI應用，需要提前在本地開發(fā)模型，制作自定義鏡像，上傳
免費AI客服電話-云蝠智能AI客戶聯(lián)絡中心 免費AI客服電話-云蝠智能AI客戶聯(lián)絡中心 “云蝠智能”企業(yè)提供AI客戶聯(lián)絡中心，包含智能語音電話機器人、智能語音呼叫、短信分發(fā)及企業(yè)微信SCRM的業(yè)務體系。通過提供AI會員回訪、通知、精準營銷的系統(tǒng)進行產(chǎn)品服務和賦能。 “云蝠智能”企
第三彈：數(shù)據(jù)實例的連接 華為云GaussDB Ustore存儲引擎正式發(fā)布 華為云GaussDB專場直播第5期：SQL優(yōu)化解讀 華為云GaussDB發(fā)布5大核心技術(shù)，打造行業(yè)領先的技術(shù)競爭力 客戶案例 為什么他們選擇了GaussDB “星河”數(shù)據(jù)庫標桿案例！工商銀行&華為云GaussDB再創(chuàng)佳績
ai大模型本地部署
在線推理是指利用部署在遠程服務器或云平臺上的 AI/機器學習模型，通過網(wǎng)絡接收用戶輸入的數(shù)據(jù)或問題，并實時返回處理結(jié)果或決策的過程。在線推理是一種基于云端模型的實時交互式服務，提供低延遲、高可用性的 AI 智能服務，讓用戶無需本地部署復雜模型即可獲得強大的分析、預測、理解等能力，適用于需要快速響應和交互的場景。
ModelArts 提供在線部署功能，支持將模型部署為一個Web Service，并且提供在線的測試UI與監(jiān)控功能。部署成功的在線服務會提供一個可調(diào)用的API，您可以對部署成功的在線服務進行預測和調(diào)用。在線推理常用于對實時性要求較高的場景，如在線智能客服、自動駕駛中的實時決策等。
本章節(jié)主要介紹如何在ModelArts部署模型為在線服務，并對部署成功的在線服務進行預測。
計費說明
在ModelArts進行服務部署時，會產(chǎn)生計算資源和存儲資源的累計值計費。計算資源為運行推理服務的費用。存儲資源包括數(shù)據(jù)存儲到 OBS 的計費。具體內(nèi)容如表1所示。
|
計費項 |
計費項說明 |
適用的計費模式 |
計費公式 |
|
|---|---|---|---|---|
|
計算資源 |
公共資源池 |
使用計算資源的用量。 具體費用可參見ModelArts價格詳情。 |
按需計費 |
規(guī)格單價 * 計算節(jié)點個數(shù) * 使用時長 |
|
專屬資源池 |
專屬資源池的費用已在購買時支付，部署服務不再收費。 專屬資源池的費用請參考專屬資源池計費項。 |
- |
- |
|
|
事件通知（不開啟則不計費） |
訂閱消息使用 消息通知 服務，在事件列表中選擇特定事件，在事件發(fā)生時發(fā)送消息通知。 如果想使用消息通知，需要在創(chuàng)建訓練作業(yè)時開啟“事件通知”功能。 具體計費可見消息通知服務價格詳情。 |
按實際用量付費 |
|
|
|
運行日志（不開啟則不計費） |
由 云日志 服務（ LTS ）提供日志收集、分析、存儲等服務。 部署服務時，開啟“運行日志輸出”后，日志數(shù)據(jù)超出LTS免費額度后，會產(chǎn)生費用。具體可云日志服務價格詳情 |
按實際日志量付費 |
超過免費額度后，按實際日志存儲量和存儲時長收費 |
|
約束與限制
單個用戶最多可創(chuàng)建20個在線服務。
前提條件
- 數(shù)據(jù)已完成準備：已在ModelArts中創(chuàng)建狀態(tài)“正?！?/span>可用的模型，模型創(chuàng)建請見創(chuàng)建模型。
- 由于在線運行需消耗資源，確保賬戶未欠費。
- 在線服務使用 SFS Turbo掛載時需要創(chuàng)建并關聯(lián)SFS Turbo，具體操作如下。
- 創(chuàng)建SFS Turbo，詳情請見創(chuàng)建SFS Turbo。
- 在“標準算力集群（Standard Cluster）”頁面單擊資源池名稱，查看部署服務需要選擇的資源池詳情，復制“網(wǎng)絡”字段對應的值。
- 退出詳情后，單擊“網(wǎng)絡管理”頁面，按剛復制的網(wǎng)絡信息搜索，單擊“打通 VPC ”選擇自己SFS Turbo所在的VPC以及子網(wǎng)后單擊“確定”。
或者通過單擊“更多”頁簽后選擇“關聯(lián)SFS Turbo”選擇自己需要掛載的SFS Turbo，該步驟存在規(guī)格要求需要SFS Turbo的 ECS 規(guī)格支持多個網(wǎng)卡，否則會提示掛網(wǎng)卡失敗。
部署在線服務（同步請求）
- 登錄ModelArts管理控制臺，在左側(cè)導航欄中選擇“模型部署 > 在線服務”，默認進入“在線服務”列表。
- 在“在線服務”列表中，單擊左上角“部署”，進入“部署”頁面。
- 在“部署”頁面，填寫在線服務相關參數(shù)。
- 填寫基本信息，詳細參數(shù)說明請參見表2。
- 填寫資源池和模型配置等關鍵信息，詳情請參見表3。
表3 參數(shù)說明 參數(shù)名稱
子參數(shù)
說明
“資源池”
“公共資源池”
部署在線服務使用公共資源池。公共資源池提供公共的大規(guī)模計算集群，根據(jù)用戶作業(yè)參數(shù)分配使用，資源按作業(yè)隔離。
公共資源池有CPU或GPU兩種規(guī)格，不同規(guī)格的資源池，其收費標準不同，詳情請參見價格詳情說明。當前僅支持按需付費模式。
“專屬資源池”
部署在線服務使用專屬資源池。專屬資源池不與其他用戶共享，資源更可控。
在專屬資源池規(guī)格中選擇對應的規(guī)格進行使用。暫不支持選擇創(chuàng)建了邏輯子池的物理池。
“選擇模型及配置”
“模型來源”
部署在線服務的模型來源。根據(jù)您的實際情況選擇“自定義模型”或者“訂閱模型”。
- “自定義模型”：在ModelArts自行訓練或本地開發(fā)并導入ModelArts的模型。
- “訂閱模型”：從AI Gallery中訂閱官方發(fā)布或者他人分享的模型。
“模型及版本”
選擇狀態(tài)“正?！?/span>的模型及版本。
“分流”
設置當前模型版本的流量占比，服務調(diào)用請求根據(jù)該比例分配到當前版本上
如您僅部署一個版本的模型，請設置為100%。如您添加多個版本進行灰度發(fā)布，多個版本分流之和設置為100%。
“實例規(guī)格”
選擇部署在線服務的實例規(guī)格，確保在線服務能夠正常運行。
請根據(jù)界面顯示的列表，選擇可用的規(guī)格，置灰的規(guī)格表示當前環(huán)境無法使用。
如果公共資源池下規(guī)格為空數(shù)據(jù)，表示當前環(huán)境無公共資源。建議使用專屬資源池。
使用所選規(guī)格部署服務時，會產(chǎn)生必要的系統(tǒng)消耗，因此服務實際占用的資源會略大于該規(guī)格。
“實例數(shù)”
設置當前版本模型的實例個數(shù)。如果實例數(shù)設置為1，表示后臺的計算模式是單機模式；如果實例數(shù)設置大于1，表示后臺的計算模式為分布式的。請根據(jù)實際編碼情況選擇計算模式。
“環(huán)境變量”
設置環(huán)境變量，注入環(huán)境變量到容器實例。
為確保您的數(shù)據(jù)安全，在環(huán)境變量中，請勿輸入敏感信息，如明文密碼。
“部署超時時間”
用于設置單個模型實例的超時時間，包括部署和啟動時間。默認值為20分鐘，輸入值必須在3到120之間。
“添加模型版本進行灰度發(fā)布”
當選擇的模型有多個版本時，您可以添加多個模型版本，并通過配置“分流”參數(shù)配置各模型版本的分流占比，完成多版本和靈活流量策略的灰度發(fā)布，實現(xiàn)模型版本的平滑過渡升級。
當前免費計算規(guī)格不支持多版本灰度發(fā)布。
“存儲掛載”
資源池為專屬資源池時顯示該參數(shù)。在服務運行時將存儲卷以本地目錄的方式掛載到計算節(jié)點（計算實例），模型或輸入數(shù)據(jù)較大時建議使用。
SFS Turbo：
使用SFS Turbo掛載準備工作如下：
使用專屬資源池部署服務才允許使用存儲掛載的能力，并且專屬資源池需要打通VPC或關聯(lián)SFS Turbo。
- 打通VPC為打通SFS Turbo所在VPC和專屬資源池網(wǎng)絡，打通步驟請見打通VPC章節(jié)。
- 關聯(lián)SFS Turbo：如果SFS Turbo為HPC型的文件系統(tǒng)，可使用關聯(lián)SFS Turbo功能，具體操作請參見配置ModelArts和SFS Turbo間網(wǎng)絡直通。
參數(shù)說明如下：
- “文件系統(tǒng)名稱”：選擇對應的SFS Turbo極速文件。不支持選擇跨區(qū)域（Region）的極速文件系統(tǒng)。
- “掛載路徑”：指定容器內(nèi)部的掛載路徑，如“/sfs-turbo-mount/”。請選擇全新目錄，選擇存量目錄會覆蓋存量文件。
注意事項如下：
- 相同的文件系統(tǒng)只能掛載一次 ，且只能對應一個掛載路徑，掛載路徑均不可重復。最多可以掛載8個盤。
- 選擇多掛載時請勿設置存在沖突的掛載路徑如相同路徑或相似路徑如/obs-mount/與/obs-mount/tmp/等。
- 選擇SFS Turbo存儲掛載后，請勿刪除已經(jīng)打通的VPC或解除SFS Turbo關聯(lián)，否則會導致掛載功能無法使用。掛載時默認按客戶端umask權(quán)限設置，為確保正常使用須在SFS Turbo界面綁定后端OBS存儲后設置權(quán)限為777。
優(yōu)先級
-
該功能僅在專屬資源池生效，包括邏輯資源池/新創(chuàng)建的物理資源池/邏輯子池，存量物理資源池不支持此功能。
用戶可以通過設置優(yōu)先級，優(yōu)先保障高優(yōu)先級的業(yè)務調(diào)度。
優(yōu)先級可選[1-3]，1為最低優(yōu)先級，3為最高優(yōu)先級。訓推共池時，在創(chuàng)建訓練作業(yè)界面開啟“允許被搶占”后（參考創(chuàng)建訓練作業(yè)的創(chuàng)建生產(chǎn)訓練作業(yè)（新版頁面）），高優(yōu)先級的推理任務可以搶占低優(yōu)先級的訓練作業(yè)。
“服務流量限制”
-
服務流量限制是指每秒內(nèi)一個服務能夠被訪問的次數(shù)上限。您可以根據(jù)實際需求設置每秒流量限制。
“升級為WebSocket”
-
設置在線服務是否部署為WebSocket服務。將服務的通信協(xié)議從HTTP/HTTPS升級為WebSocket協(xié)議。
WebSocket協(xié)議支持客戶端和服務端之間的雙向?qū)崟r通信，適用于需要實時交互的場景，如實時預測、聊天機器人等。
升級為WebSocket后，服務的API接口公網(wǎng)地址將變?yōu)閃ebSocket協(xié)議地址，客戶端可以通過WebSocket客戶端進行連接和數(shù)據(jù)交互。
約束限制如下：
要求模型的元模型來源為從 容器鏡像 中選擇，并且 鏡像 支持WebSocket。
設置“升級為WebSocket”后，不支持設置“服務流量限制”。
“升級為WebSocket”參數(shù)配置，在部署服務后不支持修改。
在線服務支持WebSocket更多了解請參考WebSocket在線服務全流程開發(fā)。
“運行日志輸出”
-
默認關閉，在線服務的運行日志僅存放在ModelArts日志系統(tǒng)，在服務詳情頁的“日志”支持簡單查詢。
如果開啟此功能，在線服務的運行日志會輸出存放到 云日志服務LTS 。LTS自動創(chuàng)建日志組和日志流，默認緩存7天內(nèi)的運行日志。如需了解LTS專業(yè)日志管理功能，請參見云日志服務。
開啟此功能后約束限制如下：
- “運行日志輸出”開啟后，在部署服務后不支持關閉。
- 請勿打印無用的audio日志文件，這會導致系統(tǒng)日志卡死，無法正常顯示日志，可能會出現(xiàn)“Failed to load audio”的報錯。
注意：LTS服務提供的日志查詢和日志存儲功能涉及計費，詳細請參見了解LTS的計費規(guī)則。
“支持APP認證”
“APP授權(quán)配置”
在線服務是否支持通過APP認證進行訪問控制。
APP認證是一種基于AppCode和AppSecret的認證方式，用于驗證客戶端的身份，確保只有授權(quán)的APP能夠調(diào)用服務的API。
通過APP認證，可以實現(xiàn)更細粒度的訪問控制，提升服務的安全性。
默認關閉。如需開啟此功能，請參見通過APP認證的方式訪問在線服務了解詳情并根據(jù)實際情況進行設置。
“訂閱消息”
-
訂閱消息使用消息通知服務，在事件列表中選擇需要監(jiān)控的服務狀態(tài)，在事件發(fā)生時發(fā)送消息通知。
- 可選：配置高級選項。
表4 高級選項參數(shù)說明 參數(shù)名稱
說明
故障自動重啟
服務實例在發(fā)生故障時是否自動重啟。
開啟該功能后，系統(tǒng)檢測到在線服務異常，會自動重新部署在線服務。詳細請參見設置在線服務故障自動重啟。
自動重啟功能可以有效提升服務的可用性和穩(wěn)定性，減少因硬件故障導致的服務中斷時間。適用于對服務連續(xù)性和穩(wěn)定性要求較高的場景。
“支持IPV6”
服務實例是否支持IPv6網(wǎng)絡通信。
默認關閉。開啟該功能后，待在線服務部署完成，服務預測地址中的域名在公網(wǎng)解析時可解析為IPV6地址。
當需要通過IPv6地址訪問服務實例時，開啟此字段以支持IPv6網(wǎng)絡通信。適用于需要在全球范圍內(nèi)提供服務，或需要與支持IPv6的網(wǎng)絡環(huán)境對接的場景。
該功能約束限制如下：
- 僅支持部署時開啟，開啟后不支持修改。
- 僅北京四支持該功能。
“標簽”
ModelArts支持對接標簽管理服務TMS，在ModelArts中創(chuàng)建資源消耗性任務（例如：創(chuàng)建Notebook、訓練作業(yè)、推理在線服務）時，可以為這些任務配置標簽，通過標簽實現(xiàn)資源的多維分組管理。
可以在標簽輸入框下拉選擇TMS預定義標簽，也可以自己輸入自定義標簽。預定義標簽對所有支持標簽功能的服務資源可見。租戶自定義標簽只對自己服務可見。
標簽詳細用法請參見ModelArts如何通過標簽實現(xiàn)資源分組管理。
- 確認填寫信息無誤后，根據(jù)界面提示完成在線服務的部署。部署服務一般需要運行一段時間，根據(jù)您選擇的數(shù)據(jù)量和資源不同，部署時間將耗時幾分鐘到幾十分鐘不等。
您可以前往在線服務列表，查看在線服務的基本情況。在線服務列表中，剛部署的服務“狀態(tài)”為“部署中”，當在線服務的“狀態(tài)”變?yōu)?span id="fhffn72" class="parmname" id="ZH-CN_TOPIC_0000001986022709__zh-cn_topic_0165025304_parmname14442124095518">“運行中”時，表示服務部署完成。
在線服務部署完成后，將立即啟動。服務為“運行中”，“告警”狀態(tài)下正常運行實例正在產(chǎn)生費用，不使用時，請及時停止。
使用預測功能測試在線服務
模型部署為在線服務成功后，您可以在“預測”頁簽進行代碼調(diào)試或添加文件測試。因APIG（API網(wǎng)關）的限制，單次預測的時間不能超過40S。
該功能為調(diào)測使用，實際生產(chǎn)建議使用API調(diào)用。根據(jù)鑒權(quán)方式的不同，可以根據(jù)實際情況選擇通過Token認證的方式訪問在線服務、通過AK/SK認證的方式訪問在線服務或者通過APP認證的方式訪問在線服務。
根據(jù)模型定義的輸入請求不同（JSON文本或文件），測試服務包括如下兩種方式：
- JSON文本預測：如當前部署服務的模型，其輸入類型指定的為JSON文本類，即不含有文件類型的輸入，可以在“預測”頁簽輸入JSON代碼進行服務預測。
- 文件預測：如當前部署服務的模型，其輸入類型指定為文件類，可包含圖片、音頻或視頻等場景，可以在“預測”頁簽添加圖片進行服務預測。
- 如果您的輸入類型為圖片，請注意測試服務單張圖片輸入應小于8MB。
- JSON文本預測，請求體的大小不超過8MB。
- 因APIG（API網(wǎng)關）的限制，單次預測的時間不能超過40S。
- 圖片支持以下類型：“png”、“psd”、“jpg”、“jpeg”、“bmp”、“gif”、“webp”、“psd”、“svg”、“tiff”。
- 如果服務部署時使用的是“Ascend”規(guī)格，則無法預測含有透明度的PNG圖片，因為Ascend僅支持RGB-3通道的圖片。
針對您部署上線的服務，您可以在服務詳情頁面的“調(diào)用指南”中，了解本服務的輸入?yún)?shù)，即上文提到的輸入請求類型。
調(diào)用指南中的輸入?yún)?shù)取決于您選擇的模型來源：
- 如果您的元模型來源于預置算法，其輸入輸出參數(shù)由ModelArts官方定義，請直接參考“調(diào)用指南”中的說明，并在預測頁簽中輸入對應的JSON文本或文件進行服務測試。
- 如果您的元模型是自定義的，即推理代碼和配置文件是自行編寫的（配置文件編寫說明），“調(diào)用指南”只是將您編寫的配置文件進行了可視化展示。調(diào)用指南的輸入?yún)?shù)與配置文件對應關系如下所示。
圖2 配置文件與調(diào)用指南的對應關系
不同輸入請求的預測方式如下：
- JSON文本預測
- 登錄ModelArts管理控制臺，在左側(cè)菜單欄中選擇“模型部署 > 在線服務”，進入“在線服務”管理頁面。
- 單擊目標服務名稱，進入服務詳情頁面。在“預測”頁簽的預測代碼下，輸入預測代碼，然后單擊“預測”即可進行服務的預測，如圖3所示。
JSON文本類的預測代碼和返回結(jié)果樣例如下所示。
- 文件預測
- 登錄ModelArts管理控制臺，在左側(cè)菜單欄中選擇“模型部署 > 在線服務”，進入“在線服務”管理頁面。
- 單擊目標服務名稱，進入服務詳情頁面。在“預測”頁簽，單擊“上傳”，然后選擇測試文件。文件上傳成功后，單擊“預測”即可進行服務的預測，如圖4所示，輸出標簽名稱，以及位置坐標和檢測的評分。
文件類的預測代碼和返回結(jié)果樣例，可參見花卉識別樣例。此樣例是使用訂閱算法訓練的元模型，其輸入類型為ModelArts官方定義，不可更改，如需自定義的元模型，請參見手寫數(shù)字識別樣例。
使用CloudShell調(diào)試在線服務實例容器
允許用戶使用ModelArts控制臺提供的CloudShell登錄運行中在線服務實例容器。
約束限制：
- 只支持專屬資源池部署的在線服務使用CloudShell訪問容器。
- 在線服務必須處于“運行中”狀態(tài)，才支持CloudShell訪問容器。
- 登錄ModelArts管理控制臺，左側(cè)菜單選擇“模型部署 > 在線服務”。
- 在線服務列表頁面單擊“名稱/ID”，進入在線服務詳情頁面。
- 單擊CloudShell頁簽，選擇模型版本和計算節(jié)點，當連接狀態(tài)變?yōu)?span>
時，即登錄實例容器成功。
如果遇到異常情況服務器主動斷開或超過10分鐘未操作自動斷開，此時可單擊“重新連接”重新登錄實例容器。圖5 CloudShell界面
部分用戶登錄Cloud Shell界面時，可能會出現(xiàn)路徑顯示異常情況，此時在Cloud Shell中單擊回車鍵即可恢復正常。圖6 路徑異常
- 登錄實例容器成功后，在容器的終端環(huán)境執(zhí)行所需的調(diào)試命令。例如：
查看日志：
tail -f /var/log/app.log
檢查服務狀態(tài)：
systemctl status app
執(zhí)行自定義腳本：
./debug_script.sh
- 完成調(diào)試后，使用以下命令退出容器：
exit
返回CloudShell終端后，您可以查看調(diào)試結(jié)果或日志文件。
常見問題
ai大模型本地部署常見問題
更多常見問題 >>-
盤古大模型致力于深耕行業(yè)，打造金融、政務、制造、礦山、氣象、鐵路等領域行業(yè)大模型和能力集，將行業(yè)知識know-how與大模型能力相結(jié)合，重塑千行百業(yè)，成為各組織、企業(yè)、個人的專家助手。
-
近年來越來越多的行業(yè)采用AI技術(shù)提升效率、降低成本，然而AI落地的過程確并不容易，AI在具體與業(yè)務結(jié)合時常常依賴于業(yè)務數(shù)據(jù)的采集、處理、模型訓練、調(diào)優(yōu)、編排、部署和運維等很多環(huán)節(jié)。華為云ModelArts是全流程AI開發(fā)平臺，包含了AI應用的開發(fā)、部署和分享交易，通過解決AI開發(fā)各個環(huán)節(jié)所遇到的核心問題，ModelArts有效解決了AI落地難的問題，將極大促進AI技術(shù)的普惠。本議題將分享ModelArts的主要關鍵技術(shù)和應用案例。
-
ModelArts是一個一站式的開發(fā)平臺，能夠支撐開發(fā)者從數(shù)據(jù)到AI應用的全流程開發(fā)過程。包含數(shù)據(jù)處理、模型訓練、模型管理、模型部署等操作，并且提供AI Gallery功能，能夠在市場內(nèi)與其他開發(fā)者分享模型。
-
模型轉(zhuǎn)換，即將開源框架的網(wǎng)絡模型（如Caffe、TensorFlow等），通過ATC（Ascend Tensor Compiler）模型轉(zhuǎn)換工具，將其轉(zhuǎn)換成昇騰AI處理器支持的離線模型。
-
企業(yè)ERP上云通用解決方案提供ERP軟件及云上架構(gòu)，助力企業(yè)ERP一站式上云，ERP云上部署優(yōu)勢：減低成本，提升企業(yè)管理效率，助力企業(yè)數(shù)字化轉(zhuǎn)型。
-
本次Serverless應用中心上線文生圖應用，用戶無需下載源代碼、了解各種安裝部署知識、安裝復雜的依賴，通過華為云Serverless應用中心即可一鍵創(chuàng)建AI文生圖應用，體驗 “0” 構(gòu)建門檻、“0” 資源閑置并具備極致彈性的Serverless AI繪圖能力。
