xgboost的輸出其實就是個lr

• 2020 年 6 月 28 日
• AI

假設xgboost有10個葉子節點，每個葉節點的權重結果為：

這裡的wi和邏輯回歸中的wi的概念很類似，以二分類問題為例，xgboost的最終輸出為：

w1*I+w2*I+…..w10*I

這裡的I不是1就是0，1表示這個樣本落入這個葉子節點，0表示沒有落入，則最終的輸出就是

sigmoid（w1*I+w2*I+…..w10*I）

和lr一毛一樣，因此我們使用min_child_weight實際上就是限制w不能太大，這和在邏輯回歸中通過l1限制權重w的大小是基本類似的思路；