ACL2022引入滾動審稿機制，Deadline不足一個月啦

• 2021 年 10 月 15 日
• AI

作者 | 杏花
編輯 | 琰琰

今年4月，國際計算語言學協會（ACL）提出滾動審稿機制（ACL Rolling Review，ARR），以提高ACL系列會議的審稿效率和品質，並優化當前ACL會議的自由審稿流程。

根據官方說明，ARR使用OpenReview作為審稿平台（審稿意見不會公開），作者可在每個月的15號（截稿日期）之前，將論文提交到統一的ARR審稿池，由Action Editor（AE）處理，並且允許論文修改後重新提交（與期刊類似）。整個流程會在每個月截稿後的30-35天左右完成。

近日，ACL在官網上發布報告，從論文提交數、審稿人數量和審稿周期三個方面彙報了目前ARR機制的使用效果和需要解決的問題。

1、論文提交數

報告數據顯示，截止9月OpenReview平台的投稿論文已經達到312篇。這些論文已匿名，並通過機器人ARRPreprints在推特上進行了發布。截至目前，ARRPreprints帳號有343個關注，與同類帳號相比略少。大多數推文的點擊量約為100-200次，也有少數推文的點擊量高達1.5萬次。

2、審稿池

論文審核過程涉及審稿人和Action Editor（簡稱AE，在大多數會議中通常稱為Area Chairs）。下圖顯示，ARR審稿池中大約在1,200名審稿人，其中AE為100-150名。據悉，ACL 2021有60個SACs, 323個ACs以及3685位主要審稿人，共同處理3,350篇論文。

3、審稿周期

ARR的最初目標是在35天內完成所有的審稿和元審稿（meta-review）流程：每個月截稿後，AE需要在7天內處理最多5篇論文，確定論文是否存在利益衝突（COI），並滿足基本格式和要求。經過推薦審稿人的二次評審後，AE在35天內閱讀審稿意見並與審稿人討論，撰寫最終的meta-review。

需要說明的是，ACL 2021從提交到討論（不包括元審稿時期）需要51天，是ARR審稿和元審稿的兩倍；從提交到錄用通知需要92天，是ARR目標時長的3倍。

從結果上來看，雖然ARR機制還沒有達到承諾的評審周期，但還是明顯壓縮了的評審時間。

下圖顯示，少數審稿人在20天內完成了審稿，大部分人在30天左右完成審稿，還有四分之一的人需要40天才能完成審稿，也不乏個別審稿人用了90天。相比於ACL 2021，絕大部分人能夠在51天之前完成。（兩條虛垂直線分別代表ACL 2021的討論和通知日期）。

(註：這張圖表不包括24個尚未完成的審稿，其中大多數都是8月截止日期前的論文)

下圖為論文從提交到元審稿結束所用的時間，大部分都是ACL 2021審稿結點之前完成的。

ARR機制只負責審稿，不決定論文是否會被接收，通過ARR審稿的論文及評審意見將被提交至對應的會議或Workshop。下圖顯示，目前已有26篇論文通過ARR審稿並提交到了主會議。

針對以上數據，報告總結了ARR機制目前面臨的挑戰，以及對應的解決方案。

1. 如何達成35天審稿標準？

ARR目前面臨的挑戰仍是審稿不及時的問題。截至2021年9月，還有一篇6月的論文沒完成3輪審核，非規定時間內完成審稿的情況幾乎每個月都有發生。造成這種現象的原因，一方面出自技術層面和工作失誤（例如沒有及時發送提示），但主要還是審稿人對審核工作不夠積極。對此，報告提出了兩點解決方案：

• 改善AE和審稿人的分配，並自動提醒AE和審稿人及時審核。

• 聘用緊急審稿人和緊急AE，在審稿人和AE未能完成工作時輔助審核。

2. 審稿人拒絕審稿怎麼辦？

AE面臨的最大難題就是審稿人拒絕審核，這也是審稿工作不及時的主要原因。之所以會出現這種情況，可能有以下兩點原因：1. 部分審稿人認為分配的論文品質太差，主觀不願意評審；2. 審稿人專業方向與論文不夠匹配，短時間無法完成。

一般來講，審稿人在提交截止日期前可以申請免除審核，通過後可以拒絕評審。報告提出計劃取消申請環節，讓審稿人沒有理由拒絕審核。此外，為了方便審稿人與AE之間交流和溝通，來往電子郵件將顯示AE和審稿人的姓名和身份。

3. 解決技術層面的挑戰

ARR面臨的技術障礙是將OpenReview系統擴展到一個新的應用。在許多大型會議上，OpenReview已成功使用了好幾年，包括NeurIPS和ICML。但在這些使用案例里，每個審稿池只有一個截止期限。而ARR每個月都有截止交稿日期，因此，OpenReview每個月都需要創建一個全新的會議。ARR工作人員需要把前一個月的審稿人和AE複製過來，這大大加重了他們的編輯工作。比如說，不可能在一個地方跟蹤所有缺席的審稿人和元審稿人，同樣地，目前還不可能在幾個月內跟蹤和平衡總體審稿負載。對此，ACL計劃改進審稿流程，加強與OpenReview開發人員的密切合作，打造一個更流暢、簡便的審核平台。

ACL 2022 引入ARR機制

ACL 2022 和NAACL 2022已正式引入ARR機制。隨著ARR系統的引入，論文投稿和審稿流程也發生了一些變化。ACL 2022程式委員會已在部落格中對ACL 2022的投稿細節進行了說明：

關於ACL 2022的截稿時間

• 提交到ARR的截止時間：2021年11月15日

  作者如果要想投稿至ACL 2022，則必須在11月15日前提交至ARR，不過作者也可以在9月15日或者10月15日提交到ARR，以儘早獲得審稿意見並對論文加以修改。

• 提交到ACL 2022的截止時間：2022年1月7日

  作者需要將已經經過ARR審稿後的論文、審稿意見、綜合審稿意見提交到ACL 2022。同時，作者可以附加一個「向高級領域主席的備註資訊」。）

• 錄用通知時間：2022年2月20日

• 撤稿截止時間：2022年2月23日

ACL 2022 將於 2022 年 5 月 22 日至 27 日在愛爾蘭都柏林召開。值得注意的是，今年ACL 設置一個特殊主題：語言多樣性：從低資源語言到瀕危語言。官方表示，ACL 2022 將與 ARR 合作，為這一特殊主題選擇 Action Editor 和審稿人，並為這一主題的論文提供一種特殊的審稿形式。據悉，特殊主題接收的論文將以 oral 或 poster 的形式呈現，還將評選出一個最佳專題論文獎。

更多細節可參見官方頁面：//www.2022.aclweb.org/post/acl-2022-theme-track-language-diversity-from-low-resource-to-endangered-languages

相關鏈接：//aclrollingreview.org/status-report/

雷鋒網