為完成一個(gè)神經(jīng)網(wǎng)絡(luò)應(yīng)用的實(shí)現(xiàn)和執(zhí)行，昇騰AI軟件棧在深度學(xué)習(xí)框架到昇騰AI處理器之間架起了一座橋梁，為神經(jīng)網(wǎng)絡(luò)從原始模型，到中間計(jì)算圖表征，再到獨(dú)立執(zhí)行的離線(xiàn)模型提供了快速轉(zhuǎn)化的捷徑。昇騰AI軟件棧圍繞離線(xiàn)模型的生成、加載和執(zhí)行，聚集了流程編排器、數(shù)字視覺(jué)預(yù)處理模塊、張量加速引擎、框架管理器、運(yùn)行管理器和任務(wù)調(diào)度器等功能塊形成了一個(gè)完整的功能集群。
網(wǎng)絡(luò)軟件結(jié)構(gòu)圖.jpg)
流程編排器負(fù)責(zé)完成神經(jīng)網(wǎng)絡(luò)在昇騰AI處理器上的落地與實(shí)現(xiàn)，統(tǒng)籌了整個(gè)神經(jīng)網(wǎng)絡(luò)生效的過(guò)程。
數(shù)字視覺(jué)預(yù)處理模塊在輸入之前進(jìn)行一次數(shù)據(jù)處理和修飾，來(lái)滿(mǎn)足計(jì)算的格式需求。
張量加速引擎作為神經(jīng)網(wǎng)絡(luò)算子兵工廠，為神經(jīng)網(wǎng)絡(luò)模型源源不斷提供功能強(qiáng)大的計(jì)算算子。
框架管理器將原始神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換成昇騰AI處理器支持的形態(tài)，并且將轉(zhuǎn)換的模型與昇騰AI處理器相融合，引導(dǎo)神經(jīng)網(wǎng)絡(luò)運(yùn)行并高效發(fā)揮出性能。
運(yùn)行管理器為神經(jīng)網(wǎng)絡(luò)的任務(wù)下發(fā)和分配提供了各種資源管理通道。
任務(wù)調(diào)度器作為一個(gè)硬件執(zhí)行的任務(wù)驅(qū)動(dòng)者，為昇騰AI處理器提供具體的目標(biāo)任務(wù)。運(yùn)行管理器和任務(wù)調(diào)度器聯(lián)合互動(dòng)，共同組成了神經(jīng)網(wǎng)絡(luò)任務(wù)流通向硬件資源的大壩系統(tǒng)，實(shí)時(shí)監(jiān)控和有效分發(fā)不同類(lèi)型的執(zhí)行任務(wù)。
總之，整個(gè)神經(jīng)網(wǎng)絡(luò)軟件為昇騰AI處理器提供一個(gè)軟硬件結(jié)合且功能完備的執(zhí)行流程，助力相關(guān)AI應(yīng)用的開(kāi)發(fā)。
