EMNLP 2021（The 2021 Conference on Empirical Methods in Natural Language Processing）將于2021年11月7日至11日以在線會(huì)議的形式舉辦。EMNLP是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域頂級(jí)國(guó)際會(huì)議之一，由ACL SIGDAT（語(yǔ)言學(xué)數(shù)據(jù)特殊興趣小組）主辦，每年舉辦一次。CoNLL 2021（The SIGNLL Conference on Computational Natural Language Learning）是由ACL SIGNLL主辦，每年舉辦一次，今年將會(huì)和EMNLP2021聯(lián)合舉行。本次華為云語(yǔ)音語(yǔ)義創(chuàng)新Lab共有4項(xiàng)研究成果被錄用。研究方向主要包括：視頻語(yǔ)言定位，句法分析、詞法分析等領(lǐng)域。以下是成果速覽。

視頻語(yǔ)言定位：Adaptive Proposal Generation Network for Temporal Sentence Localization in Videos.

本文解決視頻語(yǔ)言定位的問(wèn)題。傳統(tǒng)的方法主要按照從上到下（top-down）的框架進(jìn)行研究，其核心思想是預(yù)先定義一些視頻段，然后去選擇出最匹配的視頻段。雖然這類(lèi)方法取得了不錯(cuò)的效果，但是這些視頻段都是手工提取的，并且有冗余的情況，使得網(wǎng)絡(luò)的運(yùn)行效率吧較低。最近，從底到頂（bottom-up）的方法框架由于其出色的運(yùn)行效率，獲得了廣泛的關(guān)注，這類(lèi)方法直接預(yù)測(cè)視頻的每一幀是目標(biāo)視頻段邊界的概率。然而，這類(lèi)從底到頂?shù)姆椒ㄔ谛阅苌贤ǔＯ噍^從上到下的方法要差一些，這是因?yàn)樗鼈儧](méi)有考慮到視頻段與文本的交互。在這篇文章中，我們提出了一個(gè)適應(yīng)性生成候選段的網(wǎng)絡(luò)（Adaptive Proposal Generation Network， APGN），在保持視頻段與文本交互的同時(shí)，能加速網(wǎng)絡(luò)的運(yùn)行效率。具體實(shí)現(xiàn)上，我們首先在視頻上進(jìn)行了一個(gè)前后景分離，然后基于包含動(dòng)作的前景幀，去適應(yīng)性地生成候選視頻段。通過(guò)這種方式，手工設(shè)計(jì)式的候選片段提取可以被拋棄，并且使得冗余的視頻段數(shù)量大大減少。然后我們?cè)O(shè)計(jì)了一個(gè)候選片段鞏固模塊，去進(jìn)一步增強(qiáng)生成的候選視頻的語(yǔ)義特征。最后，我們使用從上到下的框架基于這些生成的候選視頻段，去定位目標(biāo)視頻段。我們?cè)谌齻€(gè)挑戰(zhàn)性的數(shù)據(jù)集上做了實(shí)驗(yàn)，結(jié)果展示我們的APGN模型顯著超過(guò)了之前的最佳模型。

圖一：視頻語(yǔ)言定位APGN網(wǎng)絡(luò)框架

視頻語(yǔ)言定位：Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding.

解決視頻語(yǔ)言定位這個(gè)問(wèn)題的關(guān)鍵在于，如何將從未剪輯的視頻中抽取出的特征，以及從文本中的提取的語(yǔ)言特征，進(jìn)行有效地對(duì)齊?，F(xiàn)有的方法通常利用普通的注意力機(jī)制并以單步的方式來(lái)進(jìn)行對(duì)齊。但是，這種單步的注意力機(jī)制在實(shí)際情況中往往是不夠的，因?yàn)槟B(tài)間和模態(tài)內(nèi)的復(fù)雜關(guān)系通常需要通過(guò)多步推理來(lái)獲得。在這篇文章中，我們針對(duì)視頻語(yǔ)言定位任務(wù)提出了一個(gè)迭代對(duì)齊網(wǎng)絡(luò)（IA-Net），該網(wǎng)絡(luò)以多步的形式迭代地交互模態(tài)間和模態(tài)內(nèi)的特征以獲得準(zhǔn)確的定位。具體來(lái)說(shuō)，我們?cè)诘评淼倪^(guò)程中，在非匹配的視頻幀-單詞之間，通過(guò)補(bǔ)充可學(xué)習(xí)的多模態(tài)特征去緩解無(wú)處關(guān)注（nowhere-to-attend）的問(wèn)題，并以一個(gè)并行的方式去增強(qiáng)基本的注意力機(jī)制。為了進(jìn)一步在每一個(gè)推理步驟中造成的注意力不對(duì)齊的問(wèn)題，我們也在每一個(gè)注意力模塊后，設(shè)計(jì)了一個(gè)修正模塊去修正對(duì)齊的信息。利用這種迭代注意的方式，我們的IA-Net能逐步魯棒地捕捉到視頻和語(yǔ)言間細(xì)粒度的關(guān)系，來(lái)逐漸進(jìn)行時(shí)序邊界的推理。在三個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集上的實(shí)驗(yàn)也證明了我們的方法比之前的最佳方法要好。

圖二：視頻語(yǔ)言定位IA-Net網(wǎng)絡(luò)框架

句法分析：APGN: Adversarial and Parameter Generation Networks for Multi-Source Cross-Domain Dependency Parsing

得益于深度學(xué)習(xí)的強(qiáng)大表征能力，尤其是預(yù)訓(xùn)練技術(shù)的發(fā)展，使依存句法分析在域內(nèi)（In-domian）場(chǎng)景中取得了巨大的性能提升，并為目標(biāo)域提供了豐富的訓(xùn)練數(shù)據(jù)標(biāo)簽。然而，句法分析研究者必須面對(duì)更為現(xiàn)實(shí)的場(chǎng)景，也就是當(dāng)這些標(biāo)簽數(shù)據(jù)只存在于幾個(gè)固定領(lǐng)域時(shí)，句法分析的性能仍然會(huì)急劇下降。在這篇文章中，我們針對(duì)多源跨領(lǐng)域的依存句法分析任務(wù)，提出了對(duì)抗的參數(shù)生成網(wǎng)絡(luò)（Adversarial and Parameter Generation Networks， APGN）。具體來(lái)說(shuō)，該網(wǎng)絡(luò)基于雙仿射解析器（Biaffine Parser）分別設(shè)計(jì)了兩個(gè)子網(wǎng)絡(luò)，一個(gè)是參數(shù)生成網(wǎng)絡(luò)，用來(lái)區(qū)分領(lǐng)域特定（domain-specific）特征，另一個(gè)是對(duì)抗網(wǎng)絡(luò)，用來(lái)學(xué)習(xí)領(lǐng)域不變（domain-invariant）特征。我們?cè)诮诎l(fā)布的包含4個(gè)領(lǐng)域的多領(lǐng)域依存句法分析數(shù)據(jù)集NLPCC-2019上進(jìn)行了實(shí)驗(yàn)，結(jié)果顯示了我們的模型在跨領(lǐng)域任務(wù)的性能上顯著超過(guò)了之前的基于BERT的最佳方法。

圖三：句法分析APGN網(wǎng)絡(luò)框架

詞法分析：A Coarse-to-Fine Labeling Framework for Joint Word Segmentation, POS Tagging, and Constituent Parsing

針對(duì)分詞（WS）、詞性標(biāo)注（POS）和成分分析（PAR）的聯(lián)合任務(wù)，最直接的方法是將詞語(yǔ)級(jí)別（word-level）的樹(shù)轉(zhuǎn)化為字級(jí)別（char-level）的樹(shù)。但是，這種方法存在兩個(gè)問(wèn)題，第一個(gè)是當(dāng)標(biāo)簽集的數(shù)量很大（例如大于600），或者輸入文本很長(zhǎng)時(shí)，會(huì)急劇地增加計(jì)算成本；第二個(gè)是無(wú)法排除的非法樹(shù)，這些樹(shù)往往包含沖突的生成式規(guī)則（production rules），從而影響模型的可靠性評(píng)估。在這篇文章中，我們針對(duì)上述兩個(gè)問(wèn)題，提出了一個(gè)面向WS-POS-PAR聯(lián)合任務(wù)的兩階段的粒度從粗到細(xì)（coarse-to-fine）的標(biāo)記框架。首先，在粗粒度標(biāo)記階段，模型會(huì)輸出一個(gè)括號(hào)樹(shù)，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)于四個(gè)標(biāo)簽（phrase，subphrase，word，subword）中的一個(gè)，同時(shí)通過(guò)約束CKY解碼的方法來(lái)保證樹(shù)的合法性；之后，在細(xì)粒度標(biāo)記階段，模型將每個(gè)粗粒度標(biāo)簽拓展為最終的細(xì)粒度標(biāo)簽。在三個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)顯示了我們的方法比之前的最佳方法要好。

圖四：兩階段的標(biāo)記網(wǎng)絡(luò)框架

完整論文列表：

Adaptive Proposal Generation Network for Temporal Sentence Localization in Videos. In EMNLP 2021.

Progressively Guide to Attend: An Iterative Alignment Framework for Temporal Sentence Grounding. In EMNLP 2021.

APGN: Adversarial and Parameter Generation Networks for Multi-Source Cross-Domain Dependency Parsing. In EMNLP 2021（findings）.

A Coarse-to-Fine Labeling Framework for Joint Word Segmentation, POS Tagging, and Constituent Parsing. In CoNLL 2021.

隨時(shí)獲取華為云AI最新動(dòng)態(tài)，歡迎關(guān)注華為云AI公眾號(hào)：