2024年7月16日，多媒體領(lǐng)域頂級國際會議ACM International Conference on Multimedia (ACM MM) 公布了論文錄用名單，華為云AI系統(tǒng)創(chuàng)新Lab參與研究的論文《SegTalker: Segmentation-based Talking Face Generation with Mask-guided Local Editing》被主會接收。ACM MM是計(jì)算機(jī)圖形學(xué)與多媒體領(lǐng)域的頂級國際會議，被中國計(jì)算機(jī)學(xué)會推薦為A類學(xué)術(shù)會議。ACM MM 2024將于2024年10月28日至11月1日在澳大利亞墨爾本召開。

       本文提出了一種新穎的兩階段語音驅(qū)動說話人研究，解決現(xiàn)有模型尤其在細(xì)節(jié)部分比如牙齒等區(qū)域生成質(zhì)量不高的問題。具體地，通過使用分割圖作為中間表征，實(shí)現(xiàn)口型和紋理生成的解耦。第一階段使用語音驅(qū)動分割圖生成和語音匹配口型的mask序列。第二階段使用encoder和對應(yīng)的mask提取不同區(qū)域的不同尺度(large、medium、small)的細(xì)粒度特征，最后得到不同區(qū)域的latent style codes。最后，將style codes和生成的mask序列注入到mask-guided stylegan中實(shí)現(xiàn)紋理生成。通過這種方式，我們的模型能更大限度地保留原視頻的紋理細(xì)節(jié)。此外，利用分割圖信息，我們的模型天然地能夠?qū)崿F(xiàn)前后景分離和細(xì)粒度的人臉編輯，這是目前其它說話人生成模型所不具備的。實(shí)驗(yàn)結(jié)果表明，在大部分關(guān)鍵指標(biāo)上尤其是在圖像質(zhì)量上，優(yōu)于目前的開源模型。