AI威脅論興起？Nature欲發表「罪犯識別」研究，遭1700名科學家聯名抵制
- 2020 年 7 月 15 日
- AI
作者 | 青 暮
編輯 | 蔣寶尚
今日，一份長長的公開信在reddit機器學習版塊火了起來，信的內容涉及1700名科學家聯名抵制一項人工智慧研究發表在Springer Nature上。
（雷鋒網）
這1700名科學家，不少是來自MIT、NYU、哈佛等著名學府以及Google、DeepMind、微軟等知名企業的學者。例如《演算法霸權》一書的作者凱西·奧尼爾、Responsible AI 的全球領導者Rumman Chowdhury 博士等等。
聯合抵制的研究是名為《A Deep Neural Network Model to Predict Criminality Using Image Processing》的論文。
論文的作者是來自美國哈里斯堡大學的研究人員，在論文中作者聲稱開發了能夠預測某人是否可能成為犯罪分子的自動電腦面部識別軟體。並且該軟體具有80％的準確性，可以僅基於其面部圖片來預測某人是否為罪犯。另外作者還強調了論文中的演算法模型沒有種族偏見。
對於這篇論文具體所講述的「故事」，其中一個作者Sadeghian表示：「我們已經知道，機器學習技術在與面部識別和情感檢測有關的各種任務上可以勝過人類。」 「這項研究表明，這些工具可以從影像中提取出高度可預測犯罪的微小特徵，從而說明這些工具的功能多麼強大。」
事件爆發來源於對AI威脅論的擔憂
其實，這次「1700名科學家聯名抵制」事件爆發其實是：人們對AI技術中存在的公平性問題或者是AI威脅論長期擔憂的結果。比如人臉生成或人臉翻譯模型經常因為生成結果偏向白人而備受吐槽。Yann LeCun也於6月23日在twitter上批評道：
當數據有偏差時，ML系統也會有偏差。這個臉部上取樣系統使每個人看起來都是白人，因為該網路已在FlickFaceHQ上進行了預訓練，該數據集主要包含白人照片。
（雷鋒網）
如下圖所示，我們能輕易認出左邊打碼人臉是奧巴馬，但演算法卻將其轉換成了一張白人男性的臉。 
（雷鋒網）
儘管作者聲稱「僅根據他們的面部表情來預測某人是否為罪犯」、準確性為「 80％、沒有種族偏見。」問題是，通過使用「無種族偏見」一詞，他們將演算法偏見與社會偏見混為一談。這句話很好地說明了社會偏見問題：由於「犯罪」類別本身是帶有種族偏見的，因此無法開發一種系統來預測或識別沒有種族偏見的「犯罪」。在Reddit上網友也對此事件評論寫道：
這就是為什麼電影《少數派報道》如此受歡迎的原因，因為「犯罪前預測」並沒有道理。即使是預測的指示/建議也根本不是一個好的預測。否則，我們將已經使用演算法對股票市場進行了博弈。我們不會逮捕21歲以上的成年人飲酒，而是逮捕他們的酒後駕駛。即使21歲飲酒可能是他們可能會酒後駕車的強烈跡象。
模型可能不會存在相對於訓練數據的「偏見」，但是訓練數據中本身就存在固有的偏差。基於當前數據的演算法只會延續目前存在的不公平偏見鏈。
在美國，我們的《第五修正案》規定：「除非有大陪審團的陳述或起訴，否則任何人不得被要求為死刑或其他以臭名昭著的罪行負責」。這項研究的糟糕程度超出了數據偏見的範疇，侵犯了我們的自由。」
也許作為一個機器學習社區需要先解決一個術語問題，以便我們可以更好地傳達演算法偏見（取決於期望的結果可能是不期望的）與偏見的社會觀念之間的區別。 2
請願書概括
儘管篇幅很長，但這篇請願書清楚地闡明了圍繞ML公平性所討論的許多問題。
請願書地址：//medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
我們來簡單概覽一下這封請願書：
親愛的Springer Nature編輯委員會：
我們寫信給您，代表了各個技術、科學和人文領域（包括統計、機器學習和人工智慧、法律、社會學、歷史、傳播研究和人類學）的專家研究人員和從業人員。我們共同對即將出版的研究論文「A Deep Neural Network Model to Predict Criminality Using Image Processing」深表關注。根據最近的消息，本文將在您的期刊「Springer Nature — Research Book Series: Transactions on Computational Science and Computational Intelligence」中發表。
我們敦促：
審核委員會將公開撤銷該特定研究的發表，並解釋用於評估的標準。
Springer Nature發表聲明，譴責使用刑事司法統計數據預測犯罪行為的做法，並承認其過去在激勵有害學術方面的作用。
所有出版商今後都不要發表類似的研究。
社區組織者和黑人學者一直處於執法部門對使用AI技術的抵制的最前沿，尤其側重於面部識別。然而，即使業界和研究院投入大量資源來建立用於機器學習和AI的「公平、負責和透明」的實踐，這些聲音仍被邊緣化。
機器學習的吸引力之一是它具有很高的延展性，可以使用任何可能的因果機制來合理化對預測或檢測有用的相關性。
然而，這些研究最終被表示和解釋的方式在很大程度上取決於數據科學的政治經濟學及其使用環境。機器學習應用不是中立的。機器學習技術和它們使用的數據集通常會繼承關於世界的主流文化信仰。這些技術反映了處於開發機器學習模型的特權位置的人們的動機和觀點，以及他們所依賴的數據。
對默認假設的不加批判的接受不可避免地導致演算法系統中的歧視性設計，重現使社會等級制度規範化併合法化針對邊緣化群體的暴力行為的觀念。
此類研究不需要研究人員故意的惡意或種族偏見。相反，它是任何領域的預期副產品，幾乎都是在「預測性能」的基礎上評估其研究品質的。
看起來請願書的效果立竿見影。Springer Nature已經在twitter上聲明不會發表該論文，不過還不清楚其會如何回應請願書的具體要求。
不同於中國人臉識別技術普及的「潤物細無聲」，在種族主義的背景下，人臉識別在美國一直處於尷尬的境地。
2018 年的一個調查顯示，人臉識別針對黑人女性的錯誤率高達 21%-35%，而針對白人男性的錯誤率則低於 1%——這在美國可以說是非常政治不正確的。
IBM更是於今年6月8日宣布不再提供任何人臉識別和人臉分析軟體。
美國公民自由聯盟（American Civil Liberties Union，ACLU）稱人臉識別為 「可能是有史以來最危險的監視技術」，並多次上書美國政府：要求亞馬遜停止向警方提供其旗下的「Rekognition」人臉識別技術。
在美國，黑人群體本身犯罪率更高。即使技術本身自稱無偏見，也不可能消除群體差異導致的社會偏見。如果「罪犯識別」技術在實際應用中發現黑人比白人更可能被識別為罪犯，難免會像近期的George Floyd死亡事件那樣再次觸發美國種族衝突的敏感神經。
其次，在演算法準確率上也存在爭議。據報道，亞馬遜的影像識別 AI 系統 「Rekognition」 曾將 28 名美國國會議員識別成了罪犯。而儘管這項「罪犯識別」研究聲稱有80%的準確率，但是誰也不希望成為那20%，畢竟被誤識別為罪犯是非常嚴重的冒犯。
最後，「罪犯識別」並沒有成為系統的科學，人臉可能僅僅是非常片面的線索，在小樣本數據集上獲得再高的準確率，也不能保證其在實踐應用中的可靠性。
參考資料：
//twitter.com/SpringerNature/status/1275477365196566528
//medium.com/@CoalitionForCriticalTechnology/abolish-the-techtoprisonpipeline-9b5b14366b16
