
一文入门:XGBoost与手推二阶导
- 2020 年 6 月 22 日
- 筆記
作者前言 在2020年还在整理XGB的算法,其实已经有点过时了。。不过,主要是为了学习算法嘛。现在的大数据竞赛,XGB基 …
Continue Reading作者前言 在2020年还在整理XGB的算法,其实已经有点过时了。。不过,主要是为了学习算法嘛。现在的大数据竞赛,XGB基 …
Continue Reading先缕一缕几个关系: GBDT是gradient-boost decision tree GBDT的核心就是gradien …
Continue Reading梯度消失问题和梯度爆炸问题,总的来说可以称为梯度不稳定问题。 【要背住的知识】:用ReLU代替Sigmoid,用BN层, …
Continue Readingboosting Boosting 算法的特点在于:将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森 …
Continue Reading什么是过拟合 过拟合就是在训练集上表现得非常好,在测试集上表现得不好。也就是我们俗称的泛化能力弱。 过拟合无法避免,只能 …
Continue Readingkd树(k-dimensional树的简称),是一种分割k维数据空间的数据结构,主要应用于多维空间关键数据的近邻查找(N …
Continue Reading关于决策树的purity的计算方法可以参考: 决策树purity/基尼系数/信息增益 Decision Trees 如果 …
Continue Reading1 定义 百度百科的定义: 它是通过把所有地表真实分类中的像元总数(N)乘以混淆矩阵对角线(Xkk)的和,再减去某一类地 …
Continue Reading