基于在自然語言理解和阿拉伯語NLP的沉淀，華為云語音語義創(chuàng)新Lab聯(lián)合華為諾亞實(shí)驗(yàn)室，共同構(gòu)建了阿拉伯語預(yù)訓(xùn)練語言模型JABER和SABER。在業(yè)內(nèi)權(quán)威的阿拉伯語預(yù)訓(xùn)練語言模型榜單ALUE中，SABER與JABER分獲第一名和第二名的成績，相比榜單中第三名的阿語預(yù)訓(xùn)練語言模型，整體評(píng)分分別提升10.2與6.6分。

近年來，預(yù)訓(xùn)練語言模型成為自然語言處理研究領(lǐng)域中的重點(diǎn)方向，它對(duì)提升諸如問答、命名實(shí)體識(shí)別等下游NLP任務(wù)起著至關(guān)重要的問題。由于語法復(fù)雜、方言體系龐大等特點(diǎn)，已有的開源阿拉伯語預(yù)訓(xùn)練語言模型通常面臨著諸多問題。華為云語音語義創(chuàng)新Lab與華為諾亞實(shí)驗(yàn)室將阿語特性融入預(yù)訓(xùn)練語言模型的訓(xùn)練過程中，大幅提升模型對(duì)阿語的理解能力，在阿語NLP下游任務(wù)中都獲得了不錯(cuò)的表現(xiàn)。

         目前，我們已經(jīng)將阿拉伯語預(yù)訓(xùn)練語言模型JABER所涉及的技術(shù)通過論文形式進(jìn)行了公開，歡迎感興趣的同仁聯(lián)系我們，共同探索阿語預(yù)訓(xùn)練語言模型技術(shù)。

隨時(shí)獲取華為云AI最新動(dòng)態(tài)，歡迎關(guān)注華為云AI公眾號(hào)：