如果可视化决策树的决策规则（在每个节点评估的条件），会发现它们总是与特征轴垂直，如图所示。
换句话说，每棵决策树逐步根据这些垂直边界对特征空间进行划分，以分割数据。
当然，这本身并不是一个‘问题’。
实际上，这种垂直划分使得决策树能够完美地过拟合任何数据集。然而，这也引出了一个在拟合决策树时常常被忽视的有趣问题。
如果数据集有一个对角线决策边界，会发生什么？
如下所示：
在这种情况下，可以很容易地猜测，决策树学到的决策边界预期如下所示：
通过可视化这棵决策树，会发现，为了拟合这个很容易划分的数据集，它产生了很多分割，而像逻辑回归、支持向量机（SVM）甚至是一个小型神经网络都能轻松处理。
