再不怕用外語髒話圖亂罵人 阿里新技術0.15秒識別攔截
一年多前，阿里巴巴國際安全內容風控小二小荷（化名）在用戶交互場景發現了特殊的為規避平台審查的「髒話」案例。
她的工作是藉助技術和規則識別與清掃影響清朗環境的違規內容，剛開始，一些小廣告和口吐芬芳的髒話只是以文字形式呈現，後來隨著對抗升級，一些髒話嵌入到圖片中，甚至會使用多國語言進行偽裝。
為解決這個問題，阿里安全進行了多語種識別技術升級。近日，阿里安全演算法團隊宣布，其研發用於網路髒話的AI（OCR）技術，已能識別近30種語言，包括嵌入圖片中的英文、阿拉伯、俄語、法語、西語、日語、韓語、泰語、越南語、波斯語、孟加拉、尼泊爾、僧伽羅、朝鮮、蘇丹、德語、荷蘭語，以及馬來語、塔加洛語、土耳其語、義大利語、印尼語等國語言，甚至還包括三種中國少數民族語言。
在部分國際平台中，「買家」在商品評論中以英語評論圖罵人，或者在交互場景中，買賣雙方以俄語髒話圖片對陣。國際平颱風控團隊和演算法團隊復盤了很多案例，發現除了多語種髒話，多語種垃圾廣告以及不良資訊也會暗藏在圖片中，試圖對抗風控。
全球有幾百種語言，重點的語言也有幾十種，一個工作人員最多認識三四種語言，在國際化場景下，靠人工識別風險圖片是不現實的，多語言識別的技術需求應運而生。
圖（左）為俄語髒話示意圖 圖（右）為暗藏英語髒話的罵人圖
阿里安全高級演算法工程師沄帆介紹，要識別多語種文字，就要了解各個語言文字特點，以及影響演算法識別的問題。每種文字體系都有自己的字體，不同字體會導致同一字元出現字形上的差異，例如下左圖展示了漢字「字」在不同字體時的形態，以及手寫文字中的字元變化。下右圖則展示了俄語字母在手寫體和印刷體時的差異，紅框標出了部分字元會出現字形上的巨大變化。
不同字體會導致同一字元出現字形上的差異（圖片來源：網路）
「字元連接導致字形變化，不同文字體系，書寫及閱讀順序是不同的，這些都會影響AI識別和對語義的判斷。」沄帆說。例如，相同的單詞在不同的語種里也可能有不同的含義，「jammer」在荷蘭語里是「遺憾」的意思，但是在英語中是「訊號屏蔽器」，可能涉及違規。
「以前沒有多語種識別功能的時候，我們如果把這個口語詞直接攔截，可能會造成『誤殺』，髒話圖識別也是如此，要依據語種來判斷。」小荷說。
除此之外，還有髒話圖以置換正常字元順序，對抗風控的情況出現，如下圖所示，即使調換字元順序，人還是可以輕而易舉地判斷單詞的含義，但這種「攻擊」試圖以打亂字母順序的方式騙過機器識別。
對抗的髒話圖
當然，要訓練如此多語種的識別模型，並解決多種對抗情況並不容易。技術團隊既要保證好的識別效果，又要儘可能提高計算效率及控制成本，解決好訓練樣本及模型方案的問題。
通過一年多努力研究，阿里安全演算法團隊對這些點進行了逐個突破，通過改進多語言樣本生成方案與多語種識別模型框架，在多種圖片語言的識別上做到了高識別率，以及做到識別1張髒話圖只需0.15秒的速度，目前該技術也已應用在阿里多項國際業務中，總體識別準確率可達95%以上，並對各種藝術字體、複雜背景以及手寫圖進行了針對性識別優化。
其實，髒話攔截只是多語種OCR識別技術應用的場景之一，阿里安全國際風控小二文萱介紹，在交互場景里，違規資訊中還有大部分屬於垃圾資訊。
現在，基於阿里安全的演算法能力，每天僅單個國際平台就為全球用戶攔截幾萬次包含危險、辱罵、垃圾文本的多語言髒話圖片。阿里安全圖靈實驗室演算法負責人薛暉表示：「期待以科技創新解決實際業務問題，幫助造就更好的網路環境和網路安全。」
