了解XGBoost

时间:2019-02-16 来源:365bet备用 作者:365bet赌博
XGBoost目前是一种适用于分析抽象数据的主动算法,并且在Kaggle和其他比赛中赢得了很高的声誉。
关于XGBoost在市场上的原理和用法有很多文章,但很少有项能够清楚地解释这个原理。
本文的目的是系统地和详细地描述XGBoost的原理,以便您可以真正理解算法的原理。
本文是清华大学出版的“机器学习与应用”(Ray Ming)的补充。
在本书中,我们系统地解释了集成学习,打包,随机森林,脉冲和各种AdaBoost算法的原理。
推导AdaBoost和渐变促销,XGBoost需要使用通用的附加模型。这也是一个详细的介绍。
为了理解XGBoost的原理,决策树(特别是分类树和回归树),综合学习,广义和模型,牛顿定律等基本知识是必要的。
其中,决策树在SIGAI之前的公开文章“理解决策树”中有详细解释。
在以前的公开文章“随机森林的一般描述”,“伟大的AdaBoost算法”,“理解AdaBoost算法”中描述了综合学习。
牛顿的方法在之前的论文“理解温柔的下降法”,“理解凸优化”和“理解牛顿法”中有所介绍。
如果读者仍然不了解这方面的知识,我们建议您先阅读这些文章。

------分隔线----------------------------