10萬美元獎金！清華、阿里、UIUC打造CVPR 2021 AI安全頂級國際賽事

• 2021 年 2 月 26 日
• AI

這是一場非常好玩，回報豐厚的比賽！四大亮點

• 阿里、清華、UIUC聯手打造CVPR2021挑戰者計劃第六期。

• 兩個賽道，全球唯一；全球首個提供在線運行環境的白盒對抗攻擊競賽+全球首個在線測試的無限制對抗樣本競賽。

• 獲獎選手將獲邀參加CVPR2021線下會議並在workshop上分享。

• 獎勵豐厚！10萬美金現金+10萬獎品+阿里清華UIUC榮譽證書+高峰會頒獎等超預期回報！

  
  

CVPR2021官網：

//aisecure-workshop.github.io/amlcvpr2021/#competition

什麼是安全AI挑戰者計劃？

安全AI挑戰者計劃迄今已經舉辦了五期比賽，吸引全球300+校企的上萬人參加，通過高難度、高創新、高趣味、高回報的題目任務和運營玩法，使得選手能夠實現超預期的累加技術成就。

近期，安全AI挑戰者計劃第六期進行了進一步升級，阿里安全、清華大學和UIUC在人工智慧領域的頂級國際會議CVPR2021上，打造AI安全國際賽事。競賽由阿里雲天池平台提供雲上競賽環境，並鏈接研究者深度參與。

該比賽針對當前人工智慧安全研究的熱點問題，圍繞不同防禦模型對抗攻擊和無限制對抗攻擊兩個具有挑戰性的前沿問題，邀請國際頂尖大學和研究機構的相關研究者參賽，力爭探索新型的人工智慧演算法，推動人工智慧理論、技術和應用的發展。

賽道一:防禦模型白盒對抗攻擊

深度學習模型的對抗安全是「道高一尺，魔高一丈」的攻與防的博弈過程。隨著對抗攻擊威脅的出現，相關研究者從數據、模型和訓練方法等方面提出了大量不同的防禦方法，以降低深度學習模型應用的安全風險。但是，由於深度學習模型自身的複雜性，目前對於模型的脆弱性機理尚不清晰，導致很多防禦演算法很快會被新的攻擊演算法所攻破。

為了更好的評估不同的攻擊和防禦技術，進而啟發新的攻防演算法，本次比賽上圍繞不同對抗防禦策略的有效性進行研究，通過對模型的壓力測試發現模型的安全性漏洞，以期更加深入理解深度學習模型工作機理，為人工智慧模型在實際應用中安全部署提供理論和技術保障。

同之前的對抗攻防競賽相比，本次比賽著眼於白盒攻擊這一更加基礎的研究問題，同時是目前首個提供了在線測試環境的競賽，以期對不同防禦機制的模型進行綜合比較分析，對於未來深度學習的安全性研究具有重要的意義。

本次比賽包含三個階段，其中首階段是公榜評測，模型對選手公開；第二和第三階段比測中，防禦模型將不對選手公開。選手將通過提交程式碼的方式，對白盒模型進行攻擊並測試其攻擊性能。

圖1 深度學習的對抗性攻擊

本賽道將在清華大學人工智慧研究院與瑞萊智慧聯合自主研發的深度學習對抗性魯棒開源平台ARES (Adversarial Robustness Evaluation for Safety）上進行，相關的程式碼、教程可以通過//github.com/thu-ml/ares下載。

l  參賽選手需要首先安裝ARES軟體包，具體方式如下

git clone //github.com/thu-ml/ares

cd ares/

pip install -e .

l 安裝完軟體包之後，可以非常方便的嘗試運行不同的攻擊演算法，實現對深度學習模型的攻擊

#import whatever benchmark you want

fromares.benchmark.distortionimport DistortionBenchmark

fromares.model.loaderimport load_model_from_path

fromares.datasetimport cifar10

session=...  # load tf.Session

model= load_model_from_path('path/to/the/model.py').load(session)

dataset= cifar10.load_dataset_for_classifier(model, load_target=True)

# read documentation for the benchmark for all parameters

benchmark= DistortionBenchmark(attack_name='mim', model=model,...)

# config the attack method

benchmark.config(decay_factor=1.0)

result= benchmark.run(dataset, some_logger)

更多不同演算法的相關比較可以參考論文：

Y. Dong, Q. Fu, X. Yang, Tianyu Pang, Hang Su, Zihao Xiao, Jun Zhu. Benchmarking Adversarial Robustness on Image Classification, in CVPR2020.

賽道二:ImageNet無限制對抗攻擊

目前對抗攻擊多數是通過在輸入上增加Lp-Norm限制的微小擾動獲得（即限制篡改後樣本和原圖之間的Lp距離）。這個做法雖然保證了擾動的不可見性，卻很大限制了對抗樣本生成的自由度。

例如下圖所示，第一行分別是原圖，PGD attack，JPEG Compression Attack，以及ColorAttack，這三種攻擊形態都保持了語義不變（視覺上看不出變化），JPEG壓縮和ColorAttack其實改變了很大像素值（第二行所示）。所以，在實際生活中，攻擊者在製作對抗樣本時可任意篡改不受限，研究在不受限擾動下的對抗樣本更具有現實意義。

圖一 不同對抗樣本類型

本次比賽旨在探究更貼近實際且攻擊性更強的生成無限制對抗擾動的方式。同時通過多種無限制攻擊測試幫助理解當前深度模型脆弱之處並構建更魯棒的分類服務。

為了更真實地模擬現實生活中的攻擊場景，我們舉辦了本次ImageNet無限制對抗攻擊競賽，本次比賽不限制選手提交樣本的擾動大小，自由度更大，也提供給選手更大的發揮空間。在評價標準設計上，我們採用了結合客觀指標和主觀指標的方式使得評價更加公平和科學。

首先，在比賽初賽和複賽階段，採用了三個客觀指標：樣本的攻擊成功率Attack Success Rate（ASR），影像自然性指標(FID) ，感知距離（LPIPS），來計算客觀指標。由於影像語義度量一致是CV領域的一個難點，目前沒有非常準確率的模型來語義改變程度。

為了更加科學地對演算法進行衡量，我們進一步引入主觀指標，主觀指標分由打標人員從影像語義改變和影像品質兩方面的審核結果決定，主觀指標的引入使得對抗樣本在肉眼感知上是有效且高品質的，這也充分保證了評測的公平性和科學性。

賽道二沖榜攻略：

尋找遷移性較強且最大程度上維持影像品質的擾動是破題點，我們鼓勵選手用盡量多且豐富的模型進行自測，因為在初賽和複賽會使用不一樣的後台模型，攻擊的遷移性是至關重要的。

其次，我們不建議通過預測後台模型的方式，過擬合客觀分指標，雖然此類方案能維持影像品質，獲得較高的客觀分，他們很容易在複賽後台模型被替換後失效。

我們推薦的解題方案是優化一種可疊加到影像上的通用擾動，並最大維持疊加後的影像品質。另外使用生成模型重構或者遷移影像也是一種可選方案。總結三點

1、不要試圖通過黑盒遷移攻擊的方式來提交樣本

2、不要試圖去過擬合客觀機器打分指標

3、不要引入其他語義資訊

豐厚獎勵都有啥？

比賽時間：

報名及實名認證：2021.3.24結束
正式賽：2021.3.31結束

激勵獎金：

挑戰者計劃第二季總獎金池為200萬元，本期總獎金為10萬美金，並包含近10萬元的獎品福利

Pioneering Award：比賽思路發表高水平學術論文，前兩位獲得1萬元現金。
奇思妙想獎：阿里巴巴20周年限定勳章禮盒（獎勵給思路有創意的同學，上不設限）。
榮譽證書：前十名隊伍和奇思妙想獎，都將獲得阿里、清華、UIUC共同頒發的頂級證書。
線下頒獎：優秀隊伍將有機會受邀參加6月的CVPR2021線下會議，並在國際舞台擔任speaker分享思路。
綠色通道：總成績排名Top20的隊伍，可獲得阿里安全校招綠色通道。

二次元雙周榜：四輪雙周榜，獎勵頭部戰隊和進步突出戰隊-絕贊手辦。

邀請好友獎：邀請同學好友報名參賽，可獲得RTX或者iphone12一台。

阿里安全首席架構師錢磊表示：「在阿里安全，基於複雜業務場景的攻防對抗幾乎每天都在發生。當數字技術正在構建前所未有的新世界，阿里安全團隊面對的是互聯網企業中最豐富的業態和風險，毫無疑問，這是訓練和提升人才專業能力最好的練兵場。」

清華大學教授朱軍評價說：「安全 AI 挑戰者計劃是我們針對目前機器學習演算法魯棒性不足、容易受到惡意攻擊的問題，主動地挖掘目前機器學習演算法的安全漏洞，以期構建更加安全和可信的 AI 系統的一次嘗試。我們希望通過這種努力，發展新的機器學習演算法，並逐步將 AI 的安全問題體系化、標準化，逐漸形成一個優秀的線上社區，凝聚對抗樣本乃至 AI 安全方面的研究者與開發者，通過大家的共同努力提升機器學習演算法的安全性和可靠性。」

點擊底部閱讀原文，直達10萬美金賽事！

安全AI系列B站直播還有兩場，詳情如下

點擊底部閱讀原文，直達報名！