聶禮強團隊與快手合作，斬獲ACM MM 2022最佳論文獎

• 2022 年 10 月 14 日
• AI

作者 | 施方圓

編輯 | 陳彩嫻

2022年10月12日晚，ACM Multimedia 大會官方公布了最佳論文等多個獎項。本屆 ACM Multimedia 於 2022 年 10 月 10 日至 14 日在葡萄牙里斯本舉辦，會議共接收到了 3009 篇投稿論文，共有13篇論文入選高分論文。

有 5 篇論文入圍最佳論文獎（Best Paper Award）候選，其中，哈工大聶禮強教授團隊獲得了備受矚目的最佳論文獎。

聶禮強教授的獲獎論文題目為「Search-oriented Micro-video Captioning」，由哈爾濱工業大學（深圳）、山東大學、快手、華為和佛羅倫薩大學聯合團隊共同完成。

該獲獎論文介紹如下：

這篇論文主要研究如何為「沒有影片描述的短影片」自動生成一個文本描述的問題。為了給38%沒有文字描述的短影片自動生成有一個抽象的文本描述，研究者通過建立相關模型，從針對用戶搜索需求的角度自動生成文本去描述一個短影片，以滿足用戶搜索影片的多樣化需求。

以往工作致力於以內容為導向的影片字幕工作，從創作者的角度生成相關的句子來描述給定影片的視覺內容。這項工作的目標則是以搜索為導向，通過用戶的角度生成關鍵詞來總結給定的影片。除了相關性，多樣性對於從不同角度描述用戶的搜索意向也至關重要。

為此，研究團隊設計了一個大規模多模態的預訓練網路，通過五個任務來加強下游影片表徵，該網路在研究團隊收集的 1100 萬個微影片上訓練。之後，研究團隊提出了一種基於流的多樣化字幕模型，以根據用戶的搜索需求生成不同的字幕。該模型通過重建損失在先驗和後驗之間的KL分歧進行優化。通過構建由 69 萬個<查詢，短影片>對組成的黃金數據集合，作者驗證了他們的模型，實驗結果也證明了其優越性。

據了解，這項工作所研發的「短影片摘要生成演算法」在快手得到落地，已平穩運行半年，每日處理約 3 千萬個短影片。

聶禮強教授，西安交通大學本科，新加坡國立大學博士、博士後，兩次入選國際級人才計劃，目前為哈爾濱工業大學（深圳）電腦學院二級教授、博導和執行院長，兼任 IEEE TKDE 、 ACM ToMM 等彙刊編委，以及 ACM MM 2018-2022 領域主席，2019 年獲得 ACM 中國新星獎， 2020 年獲得達摩院青橙獎， 2020 年入選《麻省理工科技評論》「 35 歲以下科技創新 35 人」中國區榜單。

ACM International Conference on Multimedia （簡稱 ACM MM， ACM 國際多媒體會議）自 1993 年成立，是多媒體領域國際首屈一指的盛會，旨在展示多媒體領域的科學科學成就和創新工業產品，也是中國電腦學會推薦的該領域唯一的 A 類國際學術會議。

雷峰網