斯坦福開發新AI框架，防止機器行為異常

編輯 | KING 發布 | ATYUN訂閱號

馬薩諸塞州大學阿默斯特分校和斯坦福大學的研究人員聲稱他們已經開發了一種演算法框架，可以確保AI不會出現不良行為。該框架使用的是「 Seldonian」演算法，該演算法以艾薩克·阿西莫夫（Isaac Asimov）的「基地」（Foundation）系列小說的主角命名。

根據團隊的研究，Seldonian體系結構允許開發人員自定義操作條件，以防止系統在訓練或優化時超過某些閾值。換句話說，它允許開發人員阻止AI系統歧視或傷害人類。

深度學習系統的應用已經非常廣泛，從面部識別到股市預測，它都可以提供技術支援。在大多數情況下，例如影像識別，只要機器是正確的，機器如何得出結論的過程並不重要。如果AI能夠以90％的準確率識別貓，那麼我們可能會認為它成功了。但是，當涉及到更重要的事情時，例如使藥物劑量自動化的AI，幾乎沒有誤差的餘地。

為此，研究人員使用他們的Seldonian演算法框架創建了一個AI系統，該系統可以監視和分配糖尿病患者中的胰島素，以及預測學生的GPA（平均學分績點）。在前者中，研究人員建立了Seldonian框架，以確保該系統在學習優化劑量時不會使患者病情加重。在後者中，他們想要一次來防止性別偏見。

這兩個實驗都證明是有效的，並且據研究人員稱，這已成功證明Seldonian演算法可以抑制不良行為。

當前的AI開發模板將消除偏見的負擔施加在了最終用戶身上。Seldonian框架應減輕最終用戶的負擔，並將其放在開發者身上。通過適當的緩解演算法（例如，告訴機器「無種族偏見」的資訊），可以消除有害偏見的可能性，同時仍允許軟體運行。

這是數學角度上來說是行得通的。研究人員演示了幾種簡單的演算法，這些演算法用機器可以理解的術語表達不需要的行為。因此，Seldonian演算法沒有告訴機器「不要讓性別偏見影響您的GPA預測」，而是更準確地預測每個人的GPA，但不要讓預測的GPA與實際GPA之間的差異超過某個問題。考慮性別的門檻。」

研究人員希望，隨著團隊的進一步發展，該框架可以做的事情不僅僅是徹底改革當前的AI技術。使用此框架設計的演算法不僅是現有應用中ML演算法的替代品，而且能夠為新應用鋪平道路。