框架管理器協(xié)同TBE為神經(jīng)網(wǎng)絡(luò)生成可執(zhí)行的離線模型。在神經(jīng)網(wǎng)絡(luò)執(zhí)行之前，框架管理器與昇騰AI處理器緊密結(jié)合生成硬件匹配的高性能離線模型，并拉通了流程編排器和運行管理器使得離線模型和昇騰AI處理器進行深度融合。在神經(jīng)網(wǎng)絡(luò)執(zhí)行時，框架管理器聯(lián)合了流程編排器、運行管理器、任務(wù)調(diào)度器以及底層的硬件資源，將離線模型、數(shù)據(jù)和達芬奇架構(gòu)三者進行結(jié)合，優(yōu)化執(zhí)行流程得出神經(jīng)網(wǎng)絡(luò)的應(yīng)用輸出。
框架管理器功能框架
框架管理器包含了三個部分，分別為離線模型生成器（Offline Model Generator，OMG）、離線模型執(zhí)行器（Offline Model Executor，OME）以及模型管家（AI Model Manager），如圖所示。開發(fā)者使用離線模型生成器來生成離線模型，以om為后綴的文件進行保存。隨后，軟件棧中的流程編排器調(diào)用框架管理器中模型管家，啟動離線模型執(zhí)行器，將離線模型加載到昇騰AI處理器上，最后再通過整個軟件棧完成離線模型的執(zhí)行。從離線模型的誕生，到加載進入昇騰AI處理器硬件，直至最后的功能運行，離線框架管理器始終發(fā)揮著管理的作用。
