AI模型開發(fā)完成后，在ModelArts服務(wù)中可以將AI模型創(chuàng)建為AI應(yīng)用，將AI應(yīng)用快速部署為推理服務(wù)，您可以通過調(diào)用API的方式把AI推理能力集成到自己的IT平臺。

1、開發(fā)模型：模型開發(fā)可以在ModelArts服務(wù)中進(jìn)行，也可以在您的本地開發(fā)環(huán)境進(jìn)行，本地開發(fā)的模型需要上傳到華為云OBS服務(wù)。制作模型包可參見模型包規(guī)范介紹。

2、創(chuàng)建AI應(yīng)用：把模型文件和推理文件導(dǎo)入到ModelArts的模型倉庫中，進(jìn)行版本化管理，并構(gòu)建為可運(yùn)行的AI應(yīng)用。

3、部署服務(wù)：把AI應(yīng)用在資源池中部署為容器實(shí)例，注冊外部可訪問的推理API。

4、推理：在您的應(yīng)用中增加對推理API的調(diào)用，在業(yè)務(wù)流程中集成AI推理能力。

ModelArts AI應(yīng)用支持如下幾種場景的導(dǎo)入方式：

• 從訓(xùn)練中選擇：在ModelArts中創(chuàng)建訓(xùn)練作業(yè)，并完成模型訓(xùn)練，在得到滿意的模型后，可以將訓(xùn)練后得到的模型創(chuàng)建為AI應(yīng)用，用于部署服務(wù)。獲取數(shù)據(jù)的問題。
• 從OBS中選擇：如果您使用常用框架在本地完成模型開發(fā)和訓(xùn)練，可以將本地的模型按照模型包規(guī)范上傳至OBS桶中，從OBS將模型導(dǎo)入至ModelArts中，創(chuàng)建為AI應(yīng)用，直接用于部署服務(wù)。
• 從容器鏡像中選擇：針對ModelArts目前不支持的AI引擎，可以通過自定義鏡像的方式將編寫的模型鏡像導(dǎo)入ModelArts，創(chuàng)建為AI應(yīng)用，用于部署服務(wù)。
• 從模板中選擇：相同功能的模型配置信息重復(fù)率高，將相同功能的配置整合成一個通用的模板，通過使用該模板，可以方便快捷的導(dǎo)入模型，創(chuàng)建為AI應(yīng)用，而不用編寫config.json配置文件。

如果您在ModelArts中創(chuàng)建訓(xùn)練作業(yè)，并完成模型訓(xùn)練。在得到滿意的模型后，可以將訓(xùn)練后得到的模型創(chuàng)建為AI應(yīng)用，用于部署上線。

如果您使用常用引擎在本地完成模型開發(fā)和訓(xùn)練，可以將您的模型上傳至OBS中，直接用于部署上線。ModelArts預(yù)置鏡像支持的AI引擎及其Runtime請參見推理支持的AI引擎。

針對ModelArts目前不支持的AI引擎，可以通過模型鏡像的方式將本地的模型導(dǎo)入ModelArts。通過配置健康檢查，支持在線服務(wù)進(jìn)行無損滾動升級。

因為相同功能的模型配置信息重復(fù)率高，ModelArts提供模型模板方便您快捷地導(dǎo)入模型，創(chuàng)建AI應(yīng)用，而不用編寫配置文件。

您需要根據(jù)模型格式、模型AI引擎、模型運(yùn)行環(huán)境選擇對應(yīng)的模板。

在完成AI應(yīng)用的創(chuàng)建后，可在“部署上線”頁面對AI應(yīng)用進(jìn)行部署。ModelArts當(dāng)前支持如下幾種部署類型：

• 在線服務(wù)：將AI應(yīng)用部署為一個Web Service，并且提供在線預(yù)測與監(jiān)控功能。
• 批量服務(wù)：批量服務(wù)可對批量數(shù)據(jù)進(jìn)行推理，完成數(shù)據(jù)處理后自動停止。
• 邊緣服務(wù)：通過智能邊緣平臺，在邊緣節(jié)點(diǎn)將AI應(yīng)用部署為一個Web Service。

AI應(yīng)用準(zhǔn)備完成后，您可以將AI應(yīng)用部署為在線服務(wù)，對在線服務(wù)進(jìn)行預(yù)測和調(diào)用。ModelArts支持可以把服務(wù)部署到公共資源池或者專屬資源池，專屬資源池不與其他用戶共享，更加高效。

AI應(yīng)用準(zhǔn)備完成后，您可以將AI應(yīng)用部署為批量服務(wù)。選擇您上傳數(shù)據(jù)的OBS目錄，ModelArts批量服務(wù)輸入數(shù)據(jù)支持圖片和csv格式文件，單張圖片建議小于10MB，輸入數(shù)據(jù)格式為csv時，建議文件大小不超過12MB。

AI應(yīng)用準(zhǔn)備完成后，您可以將AI應(yīng)用部署為邊緣服務(wù)。邊緣服務(wù)依賴智能邊緣平臺（IEF），部署前需要有IEF的委托權(quán)限。ModelArts當(dāng)前支持節(jié)點(diǎn)、節(jié)點(diǎn)組部署邊緣服務(wù)。

AI應(yīng)用部署為在線服務(wù)成功后，您可以在“預(yù)測”頁簽進(jìn)行代碼調(diào)試或添加文件測試。根據(jù)AI應(yīng)用定義的輸入請求不同（JSON文本或文件），ModelArts測試服務(wù)包括如下兩種方式：

• JSON文本預(yù)測：如當(dāng)前部署服務(wù)的AI應(yīng)用，其輸入類型指定的為JSON文本類，即不含有文件類型的輸入，可以在“預(yù)測”頁簽輸入JSON代碼進(jìn)行服務(wù)預(yù)測。
• 文件預(yù)測：如當(dāng)前部署服務(wù)的AI應(yīng)用，其輸入類型指定為文件類，可包含圖片、音頻或視頻等場景，可以在“預(yù)測”頁簽添加圖片進(jìn)行服務(wù)預(yù)測。

ModelArts支持文本預(yù)測，如果您的輸入類型為文本，請注意測試服務(wù)文本應(yīng)小于12MB。

ModelArts支持圖片預(yù)測，如果您的輸入類型為圖片，請注意測試服務(wù)單張圖片輸入應(yīng)小于8MB。圖片支持以下類型：“png”、“psd”、“jpg”、“jpeg”、“bmp”、“gif”、“webp”、“psd”、“svg”、“tiff”。