檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
NPU虛擬化概述 NPU虛擬化是指將通過(guò)資源虛擬化的方式將物理機(jī)中配置的NPU（昇騰AI產(chǎn)品）切分為多個(gè)虛擬NPU（vNPU），并掛載至容器中使用，以實(shí)現(xiàn)對(duì)硬件資源的靈活切分與動(dòng)態(tài)管理。
手動(dòng)實(shí)現(xiàn)NPU虛擬化 在CCE中，支持手動(dòng)進(jìn)行NPU虛擬化，從而實(shí)現(xiàn)節(jié)點(diǎn)級(jí)別的NPU切分，允許手動(dòng)控制每張NPU卡的資源分配，提供更高的靈活性。然而，該方式的配置過(guò)程相對(duì)復(fù)雜，更適合對(duì)NPU資源使用有精細(xì)化需求的場(chǎng)景（如特定算力分配、資源隔離要求嚴(yán)格的業(yè)務(wù)）。
現(xiàn)有一個(gè)Snt3P IDUO2類(lèi)型的節(jié)點(diǎn)，其內(nèi)部有4張推理卡，每張推理卡有2個(gè)NPU芯片。假設(shè)該節(jié)點(diǎn)上剩余3NPU資源，位于2張推理卡，即一個(gè)推理卡剩余2個(gè)NPU，另一個(gè)剩余1個(gè)NPU。
建議搭配使用 對(duì)象存儲(chǔ)服務(wù)OBS 人臉識(shí)別服務(wù)FRS 云日志服務(wù)LTS API網(wǎng)關(guān)APIG 函數(shù)工作流FunctionGraph 輕量級(jí)邊緣AI應(yīng)用場(chǎng)景 從云上HiLens平臺(tái)在線將AI應(yīng)用部署到帶一定AI算力的邊緣設(shè)備上，比如帶AI加速卡（GPU或NPU）的邊緣智能盒子或服務(wù)器。
huawei-npu插件 插件簡(jiǎn)介 huawei-npu插件是支持容器里使用huawei NPU設(shè)備的管理插件。 安裝本插件后，可支持使用NPU的節(jié)點(diǎn)，實(shí)現(xiàn)快速高效地處理推理和圖像識(shí)別等工作。
選擇NPU節(jié)點(diǎn)，添加標(biāo)簽“accelerator/huawei-npu”，標(biāo)簽值可為空。 圖1 添加npu插件標(biāo)簽 單擊“確定”完成npu節(jié)點(diǎn)標(biāo)簽添加。 父主題： NPU調(diào)度
開(kāi)發(fā)深度學(xué)習(xí)模型 創(chuàng)建和訓(xùn)練模型 使用如下命令創(chuàng)建并訓(xùn)練模型： 1 2 3 4 5 6 7 8 9 10 11 # create model model = keras.Sequential([ keras.layers.Flatten(input_shape
去年都是在華為云上買(mǎi)linux服務(wù)器配置gpu版本的mindspore跑程序，也明顯比cpu的快很多但是今年用modelarts上這個(gè)ascend跑同樣的代碼，發(fā)現(xiàn)速度和cpu差不多，而且好像也沒(méi)有g(shù)pu的版本正常的話ascend應(yīng)該是用這個(gè)npu跑深度學(xué)習(xí)的是嗎？
環(huán)境 昊算平臺(tái) 910b NPU docker容器 下載中心 Ascend/pytorch 安裝torch_npu插件-安裝步驟-配置與安裝-開(kāi)發(fā)文檔-昇騰社區(qū) 安裝流程 查閱所需的對(duì)應(yīng)版本 PyTorch Extension版本號(hào)采用{PyTorch版本}-{昇騰版本}命名規(guī)則，
昇騰AI加速卡（NPU）應(yīng)用異常如何解決？ 故障現(xiàn)象 NPU應(yīng)用下發(fā)失敗或者NPU應(yīng)用無(wú)法運(yùn)行。 解決方法 NPU應(yīng)用創(chuàng)建失?。?應(yīng)用如果需要申請(qǐng)NPU資源，只能部署到啟用昇騰AI加速卡的節(jié)點(diǎn)上。未在注冊(cè)節(jié)點(diǎn)時(shí)啟用昇騰AI加速卡的節(jié)點(diǎn)，部署申請(qǐng)NPU資源的應(yīng)用會(huì)提示創(chuàng)建失敗。
方案概述 應(yīng)用場(chǎng)景 該解決方案基于ModelArts Standard資源模式適配PyTorch NPU推理技術(shù)，將主流的開(kāi)源大模型與硬件相結(jié)合，實(shí)現(xiàn)高速、高效的模型推理。
登錄HOST查詢(xún)NPU芯片名稱(chēng)命令：npu-smi info 父主題： 安裝與維護(hù)
NPU驅(qū)動(dòng)升級(jí)失敗如何解決？ 在NPU驅(qū)動(dòng)升級(jí)過(guò)程中，可能因版本兼容性或環(huán)境配置等問(wèn)題導(dǎo)致命令報(bào)錯(cuò)。本文整理了NPU驅(qū)動(dòng)升級(jí)過(guò)程中的典型報(bào)錯(cuò)場(chǎng)景及其解決方案，您可根據(jù)實(shí)際報(bào)錯(cuò)代碼或錯(cuò)誤描述快速解決問(wèn)題。
不滿(mǎn)足以上場(chǎng)景，則不能實(shí)現(xiàn)NPU_Flash_Attn功能。 父主題： 訓(xùn)練腳本說(shuō)明
CCE AI套件（Ascend NPU） 插件介紹 CCE AI套件（Ascend NPU）是支持容器里使用NPU設(shè)備的管理插件。 安裝本插件后，可創(chuàng)建“AI加速型”節(jié)點(diǎn)，實(shí)現(xiàn)快速高效地處理推理和圖像識(shí)別等工作。
對(duì)于這種場(chǎng)景昇騰NPU有什么更好的方案呢？ 在昇騰NPU方案中，我們可以利用NPU上的媒體處理硬件模塊DVPP，以及內(nèi)置的SpatialTransformer算子結(jié)合把整個(gè)流程都在芯片內(nèi)完成。
## 2 解決辦法 通過(guò)查找onnxruntime社區(qū)，可以發(fā)現(xiàn)npu已經(jīng)對(duì)onnxruntime進(jìn)行了適配，參考如下文檔：[onnxruntime/docs/execution-providers/community-maintained/CANN-ExecutionProvider.md
1 ascend_rt_visible_devices string 必填 在線服務(wù)NPU卡的數(shù)量，單卡設(shè)為0，4卡設(shè)為0,1,2,3。
!RANK=0 WORLD_SIZE=1 MASTER_ADDR=127.0.0.1 MASTER_PORT=任意端口號(hào)\ python 執(zhí)行腳本 --model 模型名稱(chēng) --data-path 指定訓(xùn)練數(shù)據(jù)的路徑 --vae 變分自編碼器類(lèi)型\ --global-batch-size
