用AI分析姓名識別男女 Genderify為啥被罵到服務下線?
上周剛面世的一項服務Genderify,號稱能通過AI分析姓名、用戶名或電郵地址來判斷某人性別,結果因為算法偏差實在離譜,在社交媒體上引起了廣泛關注。
我們來看看Genderify的一小部分「成績單」:
輸入「Meghan Smith」,評估結果為「男性:39.60%,女性:60.40%」;
但輸入「Dr.Meghan Smith」,評估就會變為:「男性:75.90%,女性:24.10%」。
其他名字加上「Dr」,也會讓系統給出更偏向男性的結果。
有網友試着輸入了一些單詞或名人姓名,Genderify也表現得令人失望:
比如輸入「scientist」,評估結果為「男性:95.7%,女性:4.3%」;
輸入「Oprah Winfrey」(美國著名脫口秀女主持),評估結果為「男性:78.3%,女性:21.7%」;
Genderify的首席運營官Arevik Gasparyan是一名女性,但系統連自家高管都不認得,給出了「男性:91.2%,女性:8.8%」的結果。
群眾抗議情緒之強烈,已經迫使Genderify徹底關閉了這項服務,網站現已脫機,其免費API也無法再訪問。
一位代表通過電子郵件向媒體回應:「如果大家不想要,這樣的結局也許是公平的。」
儘管類似的性別偏見經常出現在機器學習中,但Genderify這種「不過大腦」的程度似乎讓該領域的許多專家感到驚訝。Meredith Whittaker是紐約大學 AI Now的聯合創始人,專註研究AI對社會造成的影響,她的反應就非常典型:「科技圈的愚人節來了?這是一種干擾科技與司法世界的心理戰嗎?」
為什麼Genderify會引發大規模吐槽?就因為它根據某人的名字對其性別做出假設?並非如此。業界指出,其實人類也會通過名字猜性別,有時也會在這個過程中犯錯誤,這就需要了解人們的自我認同感,思考對方希望得到怎樣的稱呼,才能降低冒犯對方的可能。
Genderify的問題在於,它自動化了這些假設,顯得太過「想當然」了,加深了這個過程中的性別刻板印象。比如前文提到的,在名字前加Dr.的情況,意味着系統認為:如果你是醫生,那你大概率是個男人。
雖然創始人Arevik Gasparyan強調這是一個用於營銷的數據分析工具,但有觀點認為,它在特定的應用方式和地點下,會出現潛在危害。
例如這項服務被集成到醫療聊天機械人中,它對用戶性別的假設,可能會導致聊天機械人發出誤導性的醫療建議。
用戶們對產品的性別歧視色彩表示擔憂,有提問稱:「如果我選擇了既不是男性也不是女性,你如何處理這個問題?你如何避免性別歧視?你是如何處理性別偏見的?」
對此,Gasparyan稱,服務是基於「已經存在的姓名/性別數據庫」,公司也「正在積極尋求解決辦法,以改善跨性別者等群體的用戶體驗」,試圖將姓名/用戶名/電子郵件的概念與性別身份區分開來。
一位代表也通過電子郵件給出了較為詳細的回應:
「我們明白,我們的模型永遠不會提供理想的結果,算法需要顯著改進。為了讓它更好地發揮作用,我們非常期待LGBTQ等群體的反饋,以協助我們儘可能地改進性別分析算法。我們的目標是建立一個自學習的人工智能,它將不會像任何現有的解決方案那樣帶有偏見。」