决策树

• 决策树是一个树形结构，每个非叶节点表示一个特征属性的测试（也就是条件），每个分支代表这个特征属性在某个值域上的输出（也就是满足某条件的下一步），每个叶节点存放一个类别。对于待预测数据，从根节点开始根据节点的条件选择不同的分支直到到达叶子节点，得到其预测类别。

  由上述对决策树的定义我们可以直到决策树也是一个用于分类的监督学习模型，当然我们依然可以使用决策树进行回归，此时称为回归决策树，叶子节点上输出数值而不是类别标签。

  决策树和kNN算法一样，理解起来非常直观易懂，例如下面是一个现实生活中决策树的例子

• 我们会发现所谓决策，就是对数据进一步提纯，将其分裂成两个不同的集合，不断进行这个过程直到得出最终结果。

  显然样本最终属于什么类别取决于节点中的各个分支，我们当然可以人为的构建决策树，但是如何让模型从数据特征空间中构建出决策树，才是机器学习要干的事。