本文由AI智能模型生成，在自有數(shù)據(jù)的基礎(chǔ)上，訓(xùn)練NLP文本生成模型，根據(jù)標(biāo)題生成內(nèi)容，適配到模板。內(nèi)容僅供參考，不對其準(zhǔn)確性、真實(shí)性等作任何形式的保證，如果有任何問題或意見，請聯(lián)系contentedit@huawei.com或點(diǎn)擊右側(cè)用戶幫助進(jìn)行反饋。我們原則上將于收到您的反饋后的5個(gè)工作日內(nèi)做出答復(fù)或反饋處理結(jié)果。
猜你喜歡：因此，如果使用此參數(shù)，則不需要對因子進(jìn)行UB空間劃分，分別用UB中的Scalar值。因此，首先根據(jù)shape的大小進(jìn)行UB空間劃分，所以對于float16的要求時(shí)，要在中UB上進(jìn)行任何整數(shù)倍的計(jì)算。首先我們要確定一個(gè)shape來實(shí)現(xiàn)多核的泛化。在滿足分例定義的情況下，我們還會(huì)引入額外的tiling模塊，編譯時(shí)減少不必要的scalar操作，計(jì)算性能。更多標(biāo)題相關(guān)內(nèi)容，可點(diǎn)擊查看
猜您想看：在循環(huán)中，我們可以通過doublebuffer和tbe_vadd接口來計(jì)算data_move。設(shè)置獨(dú)立的計(jì)算結(jié)果，將其與算子計(jì)算邏輯分離可以很好的做到算子的shape泛化。對于不同的shape，我們可以在不改變計(jì)算邏輯的情況下，只改變tiling參數(shù)來優(yōu)化搬運(yùn)和計(jì)算的次數(shù)，來做到泛化和高性能。根據(jù)tiling的計(jì)算結(jié)果，我們判斷要不要使用多核。更多標(biāo)題相關(guān)內(nèi)容，可點(diǎn)擊查看
智能推薦：如果要使用多核，就需要設(shè)置多核循環(huán)。并且定義UBtensor的操作必須定義在多核循環(huán)內(nèi)，防止編譯時(shí)出現(xiàn)沖突。對于多核場景，每次循環(huán)都會(huì)遍歷輸入張量indices，在計(jì)算出index后判斷該index是否在當(dāng)前核的處理范圍內(nèi)再進(jìn)行計(jì)算。該函數(shù)主要操作是將indices分片搬入到UB中，然后遍歷和計(jì)算出需要更新的var對應(yīng)的index。搬運(yùn)的時(shí)候需要考慮最后一個(gè)分片，搬運(yùn)的burst_len需要單獨(dú)計(jì)算。更多標(biāo)題相關(guān)內(nèi)容，可點(diǎn)擊查看
