中國唯一ACL最佳論文得主馮洋：衝擊最佳論文需要知道的事情
在10月30日CCL2020的學生研討會中，來自中科院計算所的馮洋研究員進行了《衝擊最佳論文需要知道的事情》的報告。在本次演講中，馮洋老師分別從讀者和審稿人的角度對最佳論文的共性特徵進行了總結，介紹了高峰會評選最佳論文的評價標準，以及將論文寫得邏輯自洽的方法，為有志於衝擊最佳論文的研究者給出了撰寫最佳論文的指導建議。馮洋是中科院計算所「新百星人才引進計劃」入選者、2019年度「卓越之星」獲得者，主要研究方向為自然語言處理、機器翻譯和人機對話。在中科院計算所獲得博士學位後，她先後在謝菲爾德大學和南加州大學資訊科學研究所（USC/ISI）開展研究工作。擔任ACL、EMNLP、COLING等中國外會議領域共同主席。她在去年獲得ACL 2019唯一最佳長文獎，為ACL開辦58年來中國唯一獲獎，獲得世界人工智慧大會青年優秀論文獎、CCF自然語言處理專委會 「青年新銳獎」，併入選人工智慧學會首批傑出會員（共70人），多次在NIST、CWMT等中國外權威機器翻譯評測中獲得第一名，作為項目負責人主持國家重點研發計劃、國家自然科學基金面上項目等。（1）論文評審過程。對於投稿人來說，在撰寫論文之前需要對審稿的具體操作流程有所了解，才能做到「知己知彼，百戰不殆」，從而有的放矢，將精力投入到更重要的環節中；（4）最佳論文的評選流程。重點討論最佳論文評選相較於普通論文評審額外的步驟；從論文撰文到發表的過程
圖 3：評審過程如圖 3 所示，一篇論文從剛開始撰寫到最終在學術會議上進行報告，需要經歷許多的環節。首先，我們需要撰寫論文。接著，我們需要在合適的時機提交論文。有學者對提交論文的時機進行過統計，有趣的是，統計結果表明在周末提交的論文往往並不容易被錄用。Track Assignment
在作者將論文提交至投稿系統後，程式委員會主席（PC Chair）會根據以下標準將論文分配到不同的軌道（track）中：首先，作者在投稿時會選擇論文涉及的研究領域，並為這些研究領域分配優先順序。系統會根據作者選擇的研究領域自動為論文分配 track。此外，還會判斷作者提交的論文是否被重複提交至其它會議。實際上，許多知名學術會議之間會共享一個論文提交名單，用於檢測論文是否被重複提交至多個會議。甚至，如果作者將論文提交至會議 B 的日期是某月 10 號，而該論文被會議 A 拒稿或撤回的日期是當月 11 日，也是不符合提交規範的。系統還會檢查作者填寫的利益衝突（conflict of interests）情況，這是為了避免領域主席或相關利益者審閱與自己有關的文章。Desk Check
在論文被分配之後，會進入到「Desk Check」環節，許多研究者的論文甚至在沒有經過仔細的審閱之前，就在 Desk Check 環節中被拒稿了。實際上，Desk Check 環節可能根據以下幾點判斷是否拒稿：（1）格式是否正確。有的會議對格式要求十分嚴格，即使對論文頁面的寬度進行微小調整也是不允許的。（2）選擇的研究領域是否正確。此外，在 Desk Check 階段，系統會再次核查作者填寫的利益衝突情況，從而將論文在避嫌的情況下分配給高級程式主席或高級領域主席。最後，系統還會核實審稿人的數量是否足夠，如果出現審稿人不足的情況，將即時招募新的審稿人。Bidding
在 Bidding 階段中，審稿人可以勾選出自己感興趣、與自己研究領域相關的論文。這一步非常重要，可以防止審稿人審閱自己不熟悉的，或不感興趣的論文。有時審稿人會由於工作繁忙等原因錯過 Bidding 階段，但最終的審稿任務分配並不會過於偏頗。這是由於系統會要求審稿人事先提交其最近發表的若干篇論文，系統可以根據審稿人的論文發表情況算出每篇待審論文和審稿人的相關度，並以此為依據自動分配審稿任務。Paper assignment
在 paper assignment 階段，PC Chair 會將論文發放給領域主席，領域主席可以根據審稿人的研究領域，手動地對系統自動生成的論文分配方案進行調整，將論文分配給研究領域對口的審稿人審閱，從而使審稿過程更加公正。Paper Review
在審稿任務分配完畢後，論文會進入到審稿階段。值得注意的是，有的審稿人可能會未能按時提交審稿意見，此時領域主席會親自審稿或緊急招募新的審稿人進行審稿。因此，某些論文可能有 4 個審稿意見。Author Response
在 Author response 階段，作者會對審稿人提出的意見進行回復。Author Response 是否有用取決於很多因素。首先，並不是所有的審稿人都有時間查看作者的回復。值得一提的是，作者在 Author Response 階段並不能提交新的實驗結果，我們只能針對審稿人可能對文章產生的誤解進行進一步的解釋。在這一過程中，領域主席將發揮至關重要的作用，他們將審稿意見差異較大的論文收集起來，向審稿人發郵件，組織他們重新對這些文章進行討論。Meta Review
在 Meta Review 階段，資深審稿人或領域主席會綜合考慮論文的品質、審稿人的評論和論文作者在 Author Response 階段的回復，判斷是否接收該論文，並給出比較簡短的意見，供資深領域主席參考。值得注意的是，實質性評審的審稿人有一票否決權，即使所有普通審稿人都認為可以接收某篇論文，實質性評審的審稿人也可以認為論文達不到會議接收所要求的水準，可以在評審意見中給出強烈拒稿的意見。Paper Ranking
領域主席會根據實質性評審的審稿人給出的意見，對軌道（track）中的所有的論文進行排序。Accept/Reject Decision
在得到論文的排序之後，程式委員會主席會最終決定是否接收某篇論文。在這一階段中，程式委員會主席往往會徵求領域主席的意見。Notification&Camera Ready
審稿結果通知下發之後，會進入 Camera Ready 階段，一般是20天左右。此時，作者需要根據審稿人的意見對論文進行修改（例如，重新組織論文中混亂的部分）。這一修改過程對於提升論文品質十分有用，審稿人從讀者的視角對論文內容的組織提出了意見，作者往往需要接受這類意見。然而，有時審稿人還會要求作者補充一些實驗。此時，作者需要理性判斷，盡量補充必要的實驗。當然，文章中的語法錯誤是需要及時糾正的。一般來說，論文中提出的方法不能有太大的變動，作者只能修改論文中的瑕疵，而不能將原來的方法修改為新的方法。值得注意的是，有的作者對 Camera Ready 環節並不是特別重視，其實是十分可惜的。對於每一名作者而言，從開始創作論文到最後在學術會議上作報告其實是一個很辛苦的過程，往往需要花費數月的時間。發表論文的目的就是將思路呈獻給讀者，通過文章與大家交流作者對某種方法的嘗試，而論文品質對於最終這種交流的效果至關重要。正所謂「見論文即見其人」，發表論文的過程就是不斷塑造作者個人學術形象的過程。Presentation
最後，在大會上報告論文或展示海報的過程也是十分重要的。作者需要將自己的工作介紹得引人入勝，激發讀者的閱讀興趣。值得注意的是，有一些作者往往會陷入一種誤區，他們希望在報告中將論文的所有細節都介紹到位。然而，報告的時長可能往往只有 12-15 分鐘，想要在如此短的時間內面面俱到地介紹論文是非常困難的，如此密集的資訊也可能會使報告的焦點不明。因此，論文報告旨在向聽眾傳遞作者的核心思想，對此感興趣的讀者會通過閱讀論文進一步了解細節。論文寫作
圖 4：論文寫作的理想情況
從審稿人的角度來看，對於一篇論文而言，理想的情況是論文行文能夠遵循「發現問題」、「分析問題」、「解決問題」的過程。我們應該針對研究領域中主流方法存在的痛點，分析引起該痛點的原因，最終給出解決痛點的方法。審稿人往往希望看到想法新穎的論文，這種創新可以分為 3 類：- 新問題老辦法：作者發現了以前沒有人發現的問題，或者針對已經被發現、但是沒有解決方法的問題，提出用現有的方法（可能來自其它領域）來解決此類問題。此類問題應該具有足夠大的影響力。
- 老問題新辦法：針對已經存在的問題，提出新的解決方法。此類新方法需要體現出其在模型性能、計算效率等方面的提升。
需要注意到的是，當作者針對新問題使用「老辦法」時，審稿人可能會認為作者使用了現有的方法，因此創新性不足。此外，論文需要「引經據典」，在「Related Work」中應該對相關的工作調研充分，盡量列舉出重要的相關文獻。對於論文中所有結論性的話語，作者都應該通過引用前人論文中已經經過驗證的論據或者通過自己的實驗對其進行驗證。論文需要提供充分的實驗描述，這涉及到以下 3 個方面：（2）充分的「消融分析實驗」（ablation study）。最後，作者還需要對論文的行文進行精雕細琢。文中不能出現過多的語法錯誤、邏輯混亂等情況，需要體現出對審稿人足夠的尊重。
圖 5：論文寫作的雷區然而，理想很豐滿，現實很骨感。相較之下，品質較差的論文存在以下 4 種特點：（1）創新不足：首先，作者可能迫於一定的投稿任務壓力，基於還不成熟的研究思路撰文，或者將本來只足以撰寫短文的思路用於撰寫長文。此外，在針對新問題使用老辦法時，作者找到的新問題並不足夠重要，也不足夠複雜，或者作者使用的解決方案僅僅是將前人提出的各個組件堆砌起來，最終形成了非常長但是創新並不足的處理流程。（2）調研不夠：在寫論文的過程中體現出對相關工作的總結與回顧不充分，論文提出的方法可能與前人工作有所重複，對比實驗也很有可能不夠充分。（3）實驗單薄：缺少某些相關的對比基準線的實驗結果。更隱蔽的一種情況是，作者沒有親自實現對比基準線，而是從他人的論文中直接將實驗結果粘貼過來。審稿人往往會認為作者工作量不足。（4）寫作倉促：由於作者寫作倉促，無法保證論文寫作的品質。對於以英語為母語的審稿人而言，可以很輕易地發現論文中的語法錯誤、錯誤拼寫、邏輯錯誤。論文評審
圖 6：論文評審的理想情況在論文評審過程中，作者往往希望審稿人仔細閱讀論文並進行反覆的推敲。正常情況下，審稿人應該對每篇論文閱讀三遍：第一遍了解論文的大體思想；第二遍對論文演算法細節進行仔細閱讀；第三遍需要審稿人組織全文行文思路，按照自己的理解撰寫審稿意見，審稿意見需要總結論文實驗分析的內容、作者根據實驗得到的結論、論文提出的方法的優缺點等，並且提出審稿人不理解的問題、指出文中存在的錯誤。理想情況下，作者希望即使論文內容本身有些模糊，審稿人也能夠領會論文的含義，根據上下文的蛛絲馬跡推測出論文每一段的意思。甚至有的作者還嘗試在論文中埋入一些「梗」，希望審稿人能發現他們。
圖 7：論文評審的實際情況實際上，審稿人往往有三種類型：高校教師、企業或研究機構的研究人員、學生審稿人，他們的工作往往都非常繁忙。首先，高校教師每年可能要審閱數十篇論文，他們基本上沒有時間按照上述理想狀況來審閱論文。也有一些高校教師會讓自己的高年級學生幫忙審閱論文，他們會根據學生的審稿意見再查看文章的細節，判斷學生對文章創新性、正確性等方面的把握是否正確。第二，對於沒有學生的企業或研究機構的科研人員來說，他們的工作十分繁忙，有時會根據論文的品質來判斷每篇論文花費的時間。審稿對於他們來說是一種「義務勞動」，為的是推動學術社區的發展。最後，學生審稿人通常會非常仔細地審稿。尤其是對於實驗部分而言，由於學生自己做過很多實驗，他們非常清楚這篇論文的實驗配置是否正確，應該做什麼實驗。因此，老師在將審稿任務分配給學生時，往往會找研究方向對口的學生審稿。當然，學生最後撰寫的評審意見可能也帶有一定的主觀性，這時就需要老師把關。
圖 8：評審標準在審稿時，系統往往會要求審稿人提交「評審表格」（review form），我們根據評審表格的內容提煉出了如圖 8 所示的一系列論文評審標準：（1）正確性。首先，作者需要確保論文研究的問題是確實存在的，論文介紹的現有方法的缺陷是值得研究的。此外，作者引出新方法的理論需要經得起推敲。如果文中提出的方法涉及較多的數學推導，那麼數學證明需要十分嚴謹。此外，作者應該確保論文中的操作流程正確。例如，訓練集中不能包含測試集的內容，處理訓練集和測試集的數據的方法應該保持一致，對文中提出方法進行測試的設置應該與對比基準線使用的設置保持一致，報告的實驗結果應該是模型收斂後的結果。總而言之，作者需要確保論文中的敘述與現實情況相符。(2)創新性。創新性關注於文章是否研究了新的問題、是否提出了新的方法，或者實驗是否在新的數據集上進行。對於綜述性的文章來說，審稿人還會判斷作者是否從一個較高層次的角度，通過新的視角切入，梳理整個研究領域的發展脈絡。（3）重要性。審稿人會判斷文中研究的問題是否具有重要意義，文中的研究過程涉及的工作量是否足夠。此外，審稿人還會判斷論文中介紹的工作將來是否會產生一定的影響力的、該方法是否能夠復用的。如果文中提出的方法具有較強的泛化能力，就會體現出較高的重要性。（4）簡明性。從寫作上說，論文的行文組織應該合理，文字敘述應該條理清晰，不能存在明顯的歧義。對於複雜的方法，文章的描述應該深入淺出。（5）實驗是否充分。作者應該在文中提供自己實現的相關的對比基準線，還應該進行充分的「消融分析實驗」（ablation study）。文中提出的方法可能包含多個要素，作者需要通過實驗說明沒有冗餘的要素，並且分析每個要素對最終結果的影響程度。此外，作者還應該分析各個要素之間的相互作用（例如，互斥現象）。作者應該通過充分的實驗印證文中所有提出的論點，提供充分的實驗依據。（6）資源的影響力。資源包括程式碼、數據集，甚至是評估方法。面對各種各樣新的應用場景，研究人員往往苦於沒有針對性的數據集。如果作者能在論文中提供一個新的數據集，就會產生一定的資源影響力；此外，以同聲傳譯為例，許多研究者會在論文中給出一種評估延遲的方法，儘管這種評估方法還不足以單獨支撐起一篇論文，但是也可以在一定程度上提升論文的影響力。（7）引用。對參考文獻的引用以及對相關工作的描述也是十分重要的。文章提出的新方法需要與相關工作有足夠大的區別。審稿人主要會幫作者檢查列出的參考文獻是否完備，是否能讓讀者對論文中研究有比較完整的認識。描述相關工作還有一個作用，即說明文章的創新之處。如果作者在文中用到了前人提出的方法，需要在相關方法後加上引用，這是對前人勞動成果的尊重，也可以用於明確區分出作者在本文中新加入的工作。（8）可復現性。近年來，審稿人對文章的可復現性越來越重視。審稿人會單獨核查論文中提出的數據集是否是公開的，他人是否能夠得到該數據集並復現實驗。如果作者在文中使用了一些現有的模型，作者需要給出詳細的參數配置，方便他人復現實驗。對於作者新提出的方法，審稿人會查看該方法的實現程式碼是否已經公開。當然，審稿人往往也並沒有時間親自復現實驗，因此可復現性並不太容易判斷。（9）學術倫理。作者進行的研究實應該是正能量的，讓世界變得更加美好，而不應該是引起各種犯罪，不能對社會產生危害。
圖 9：約定俗成的評審標準除了被列舉在「評審表格」中的評審標準，還有一些評審標準是審稿人約定俗成的：（1）論文提出的方法是當前最佳的結果。審稿人往往期望提出的方法的性能優於現有方法。但這種情況也並非是絕對的，如果文中提出的方法與現有方法性能相當，但是模型更為簡單或運行速度更快，也是具有科學價值的。新方法達到目前最佳的效果並不是論文被錄用的充分條件（例如，通過調整 Drop out 率實現最佳效果），也不是必要條件，但是如果模型確實達到了最佳效果，在一定程度上也可以加大論文被錄用的概率。（2）研究問題是否足夠困難。論文中描述的研究工作應該具有一定的意義。此外，審稿人也會關注論文中使用的數據集是否過於簡單。論文中提出的方法在一個很簡單的數據集上可以得到提升，但並不代表這種方法在現實中複雜的數據集上也能得到性能提升，實驗結果無法反映出新方法真實的性能。（3）文中提出的方法是否出人意料。對於作者提出的研究問題而言，如果研究者們公認該問題是值得研究的，但是作者提出的方法是大多數人都能想到的常規做法，論文就不會為審稿人帶來太大驚喜，論文很難獲得高分。相反，如果針對文中提出的研究問題，作者的研究視角會讓審稿人或讀者眼前一亮，發現新方法的玄妙之處，就會大大提升文章被錄用的概率。此外，如果文中得到的結論與人們的直覺不同，能夠顛覆人們以往的一些認識，也會引起審稿人和讀者的閱讀興趣。（4）工作是否真實。作者驗證新方法的場景應該是真實的。例如，現在許多研究者進行強化學習研究的環境是虛擬的，這種虛擬環境有時與現實場景出入較大。如果審稿人認為文中的結論不能代表在現實場景下的真實狀況，也有可能拒絕接收論文。
圖 10：Eric Jang 的評審標準然而，除了上述的常見評審標準之外，每個審稿人也可能有自己各不相同的標準。如圖 10 所示，Google科學家 Eric Jang 個人的審稿標準是這樣的：首先，他認為對於一篇論文來說，最重要的是要正確性和創新性。第二，如果論文提出的方法並沒有達到目前最佳的性能（SOTA），作者也應該分析該方法沒有達到 SOTA 的原因。如果論文提出的方法是合理的、仍然具有進一步提升的潛力，也是具有發表價值的。如今，很多我們經常使用的方法在發表之時其實也沒有達到當時 SOTA 的性能。第三，如果論文提出了新的演算法，我們期望這種新演算法優於現有方法，否則需要分析其弱於現有方法的原因。最後，如果文中提出了某些論點，作者需要在實驗部分對此進行驗證。
圖 11：Julian Togelius 的審稿標準NeurIPS 領域主席 Julia Douglas 也對外發布了自己的審稿標準。在他看來，論文可能由於以下原因被拒稿：（1）作者使用了錯誤的對比測試方法，包括錯誤的對比基準線、數據集、評估標準等。（2）不充分的分析實驗。（3）遺漏引用相關的工作。此外，他認為所有的工作都是有瑕疵的。正如前文所述，如果論文提出的新方法足夠吸引人，研究思路足夠「出人意料」，那麼就「瑕不掩瑜」。最後，Julian 認為現在大多數的文章太過保守，存在「Bulletproof」的現象，而這些文章四平八穩，稍顯無聊。現在許多審稿人會帶著一種先入為主的心態，去尋找論文中存在的瑕疵。除非論文足夠引人入勝，給審稿人帶來了較大的心理衝擊，否則審稿人會因為這些瑕疵對論文拒稿。我們希望一篇好的論文既能夠做到「Bulletproof」也能夠引人入勝。寫論文的心態
在動手撰寫一篇論文之前，我們需要明白寫出一篇好論文應該具備怎樣的心態。
圖 12：寫出一篇好論文應有的心態首先，時間安排是十分重要的。正所謂慢工出細活，匆忙趕製的論文往往不如反覆仔細打磨出的論文品質高。因此，在時間安排上，作者應該采倒推法。根據論文的截稿日期決定何時動筆、何時應該準備好完備的實驗、何時應該確保方法的有效性。總之，作者應該把握好各個時間節點，保證在截稿日期到來時，論文是經過精心準備的。作者還應該明確論文的定位。古人云：求其上者得其中。在撰寫文章之前，最好的心態是立志寫一篇具有影響力的好文章。值得一提的是，對於一些新的研究人員來說，他們需要通過投稿熟悉寫論文的流程，如果過於追求完美，可能遲遲不敢動手寫作，這樣也不見得是一種合適的心態。審稿是一件主觀的事。審稿結果與審稿人的「審美」、個人喜好緊密相關。此外，文章類型的曝光度也對審稿人的判斷有所影響。如果大量研究者都已經發文討論某一類工作，同類工作就很難引起審稿人的閱讀興趣。無論如何，作者應該通過看論文建立自己的科研品味，這種科研品味會決定作者自己做出來的工作的品質。在撰寫論文時，作者還應該換位思考，站在讀者的角度上思考文章應該如何組織。有很多作者自己熟知的知識，對於讀者來說可能是陌生的，作者在行文時就應該充分參考讀者的邏輯思維。好論文的特質
圖 13：好論文的特質在立意方面，論文的選題需要具有較為重要的意義，不能夠違背學術倫理，工作需要有足夠的難度。否則如果任務過於簡單，可能其他人實際上在工作中都已經解決了該問題，只不過沒有撰寫論文。在論文提出的方法方面，方法要具有新意，要保證正確性，並且新的方法和以往的方法應該具有一定的區分度。在實驗方面，作者應該進行充分的對比實驗，並且對實驗結果進行透徹的分析，實驗結果還要對文中的論點進行完備地論證，最終還需要確保實驗的可復現性。在寫作方面，作者需要保證行文簡明，易於理解，文章內容需要經過反覆打磨。如果作者並非以英語為母語，則最好需要進行 Proof-Read。最佳論文的評審過程
相對於其他論文，最佳論文還有一些額外的評審過程。首先，每位審稿人在審稿時都會面臨一個選項，即是否推薦該論文稱為最佳論文。領域主席會從其管理的審稿人推薦的論文中選出一部分推薦給程式委員會主席。程式委員會主席會組織一些資深的研究人員組成最佳論文評審委員會，篩選出若干候選的最佳論文（即最佳論文提名獎）。之後，候選論文的作者需要在大會上宣講論文，而最佳論文委員會的評委將會根據作者在現場宣講的表現投票，最終產生最佳論文。最佳論文的特點
圖 14：最佳論文的特點首先，在寫作方面，讀者可以很直觀地感受到論文的內容應該是經過反覆打磨的。此外，論文的內容應該層次清晰。如果摘要、引言、方法等部分都涉及對論文提出的新方法的描述，作者需要從不同的層次上進行論述，不應該有簡單重複的話。眾所周知，一篇好的文章應該經過多輪修改，作者應該提前寫好論文，經過多輪的自己、同行、老師的修改，才能產出一篇高品質論文。在實驗方面，最佳論文需要保證實驗部分具有很明顯的性能提升，應該提供廣泛的對比實驗，並且對實驗結果進行完備的分析。從方法上來說，正所謂大道至簡，目前審稿人普遍偏好比較簡潔的方法，並且文中提出的新方法應該是正確的，方法的通用型越強越好。在大會宣講論文時，作者需要確保演講內容易懂、重點突出，幻燈片的製作應該精美。此外，作者還需要通過反覆的演練，嚴格控制演講時長。結語
想要產出一篇好的論文，作者要早做準備，首先要讓自己對論文足夠滿意。此外，論文需要達到邏輯自洽，行文通順，易於理解。當然，文章的實驗必須充分，作者要在平時多做實驗，避免最終寫論文時時間不足而導致實驗不充分。
「CCF-NLP走進高校」是由中國電腦學會自然語言處理專業委員會（CCF-NLP）發起，聯合AI研習社及各個知名高校開展的一系列高校NLP研究分享活動。
「CCF-NLP走進高校」第四期將走進「新疆大學」，一起聆聽新疆大學NLP的前沿研究分享。本次活動邀請的嘉賓有哈爾濱工業大學（深圳）教授徐睿峰、清華大學電腦系長聘副教授黃民烈、天津大學教授熊德意、復旦大學教授黃萱菁、新疆大學教授汪烈軍、西湖大學特聘研究員張岳。敬請期待！
點擊閱讀原文，直達直播頁面
圖 3：評審過程
圖 5：論文寫作的雷區
圖 6：論文評審的理想情況
圖 7：論文評審的實際情況
圖 8：評審標準
圖 9：約定俗成的評審標準
圖 10：Eric Jang 的評審標準
圖 11：Julian Togelius 的審稿標準
圖 12：寫出一篇好論文應有的心態
圖 13：好論文的特質
圖 14：最佳論文的特點
