一、回归树的定义

回归树是一种用于解决回归问题的机器学习模型，它通过将特征空间划分为不同的区域，为每个区域分配一个预测值来实现对目标变量的预测。

通俗理解：

回归树就像是根据一系列问题（特征）把数据分到不同的“篮子”里，每个“篮子”都有一个对应的预测结果，当有新的数据来时，根据这些问题把它放到合适的“篮子”里，就能得到预测值。它结合了决策树易于理解和解释的特点以及回归分析对连续值预测的能力，广泛应用于房价预测、股票价格预测等连续数值预测场景。

二、回归树构建与预测过程详解

1. 回归树预测体重示例数据

图片展示了一个使用回归树来预测动物体重的例子。表格中列出了不同动物的耳朵形状（尖耳或垂耳）、脸型（圆形或非圆形）以及胡须（有或无）的特征，并根据这些特征预测了它们的体重（以磅为单位）。

• 耳朵形状：分为“Pointy”（尖耳）和“Floppy”（垂耳）。

• 脸型：分为“Round”（圆形）和“Not round”（非圆形）。

• 胡须：分为“Present”（有）和“Absent”（无）。

• 体重：预测的体重值以磅（lbs.）为单位。

例如，一个尖耳、圆形脸、有胡须的动物预测体重为7.2磅，而一个垂耳、圆形脸、无胡须的动物预测体重为20磅。

2. 构建回归树的决策过程

图片展示了如何构建一个回归树来预测动物的体重。回归树通过一系列的决策节点（基于耳朵形状、脸型等特征）来预测体重。

• 根节点：首先根据耳朵形状（尖耳或垂耳）进行分裂。

• 内部节点：进一步根据脸型（圆形或非圆形）进行分裂。

• 叶节点：最终给出预测的体重值。

例如：

• 对于尖耳的动物，如果脸型是圆形，预测体重为8.35磅；如果脸型不是圆形，预测体重为9.2磅。

• 对于垂耳的动物，如果脸型是圆形，预测体重为17.7磅；如果脸型不是圆形，预测体重为9.9磅。

3. 选择最佳分裂点以优化回归树

1. 初始方差计算

首先，计算所有数据点的总方差，这是在任何分裂之前的方差。在这个例子中，总方差为20.51。

2. 分裂后的方差计算

对于每个可能的分裂（耳朵形状、脸型、胡须），计算分裂后左右子节点的加权方差。

• 耳朵形状分裂：

  • 左子节点（尖耳）：包含5个数据点，方差为1.47，总权重（数据点数）为5/10。

  • 右子节点（垂耳）：包含5个数据点，方差为21.87，总权重为5/10。

  • 加权方差计算：20.51−((5/10)​×1.47+(5/10)×21.87)=8.84

• 脸型分裂：

  • 左子节点（圆形）：包含7个数据点，方差为27.80，总权重为7/10。

  • 右子节点（非圆形）：包含3个数据点，方差为1.37，总权重为3/10。

  • 加权方差计算：20.51−((7/10)×27.80+(17/10)×1.37)=0.64

• 胡须分裂：

  • 左子节点（有胡须）：包含4个数据点，方差为0.75，总权重为4/10。

  • 右子节点（无胡须）：包含6个数据点，方差为23.32，总权重为6/10。

  • 加权方差计算：20.51−((4/10)​×0.75+(4/10)×23.32)=6.22

3. 选择最佳分裂

比较不同分裂的方差减少量，选择减少量最大的分裂作为最佳分裂点。在这个例子中，耳朵形状的分裂导致方差减少最大（8.84），因此选择耳朵形状作为分裂特征。

这种计算方法确保了决策树在每个节点都能最大化信息增益，从而提高模型的预测准确性。