框架管理器協同TBE為神經網絡生成可執(zhí)行的離線模型。在神經網絡執(zhí)行之前，框架管理器與昇騰AI處理器緊密結合生成硬件匹配的高性能離線模型，并拉通了流程編排器和運行管理器使得離線模型和昇騰AI處理器進行深度融合。在神經網絡執(zhí)行時，框架管理器聯合了流程編排器、運行管理器、任務調度器以及底層的硬件資源，將離線模型、數據和達芬奇架構三者進行結合，優(yōu)化執(zhí)行流程得出神經網絡的應用輸出。
框架管理器功能框架
框架管理器包含了三個部分，分別為離線模型生成器（Offline Model Generator，OMG）、離線模型執(zhí)行器（Offline Model Executor，OME）以及模型管家（AI Model Manager），如圖所示。開發(fā)者使用離線模型生成器來生成離線模型，以om為后綴的文件進行保存。隨后，軟件棧中的流程編排器調用框架管理器中模型管家，啟動離線模型執(zhí)行器，將離線模型加載到昇騰AI處理器上，最后再通過整個軟件棧完成離線模型的執(zhí)行。從離線模型的誕生，到加載進入昇騰AI處理器硬件，直至最后的功能運行，離線框架管理器始終發(fā)揮著管理的作用。
