
一文入門:XGBoost與手推二階導
- 2020 年 6 月 22 日
- 筆記
作者前言 在2020年還在整理XGB的算法,其實已經有點過時了。。不過,主要是為了學習算法嘛。現在的大數據競賽,XGB基 …
Continue Reading作者前言 在2020年還在整理XGB的算法,其實已經有點過時了。。不過,主要是為了學習算法嘛。現在的大數據競賽,XGB基 …
Continue Reading先縷一縷幾個關係: GBDT是gradient-boost decision tree GBDT的核心就是gradien …
Continue Reading梯度消失問題和梯度爆炸問題,總的來說可以稱為梯度不穩定問題。 【要背住的知識】:用ReLU代替Sigmoid,用BN層, …
Continue Readingboosting Boosting 算法的特點在於:將表現一般的弱分類器通過組合變成更好的模型。代表自然就是我們的隨即森 …
Continue Reading什麼是過擬合 過擬合就是在訓練集上表現得非常好,在測試集上表現得不好。也就是我們俗稱的泛化能力弱。 過擬合無法避免,只能 …
Continue Readingkd樹(k-dimensional樹的簡稱),是一種分割k維數據空間的數據結構,主要應用於多維空間關鍵數據的近鄰查找(N …
Continue Reading關於決策樹的purity的計算方法可以參考: 決策樹purity/基尼係數/信息增益 Decision Trees 如果 …
Continue Reading1 定義 百度百科的定義: 它是通過把所有地表真實分類中的像元總數(N)乘以混淆矩陣對角線(Xkk)的和,再減去某一類地 …
Continue Reading