一、基线的定义

基线是项目、系统或过程中的一个初始参考点，用于衡量后续的变更或进展。它通常代表某个时间点的稳定状态，比如项目计划、软件版本或性能指标。

通俗理解：
就像盖房子前打下的地基线，后续所有施工都以此为准；或者像手机系统的“出厂设置”，之后装的软件或更新都可以对比这个原始状态来判断变化。

例子

这幅图片展示了一个语音识别任务的性能评估结果，包含以下关键信息：

1. Human level performance（人类水平表现）：10.6%，作为对比基准。

2. 训练误差（J_train）：10.8%，表示模型在训练集上的错误率。

3. 交叉验证误差（J_cv​）：14.8%，表示模型在验证集上的错误率。

其中训练误差与基准相近，相差0.2%（分别是10.6%，10.8%），但是验证误差与训练误差相差较大，相差4.0%（分别是14.8%，10.8%）。在这个例子中具有高方差的结果。

二、建立基线的标准参考依据

1. 核心问题：
   "What is the level of error you can reasonably hope to get to?"
   （你合理期望能达到的误差水平是多少？）
   强调基线需明确一个可实现的性能目标阈值。

2. 基线的三种常见参考来源：

   • Human level performance（人类水平表现）：作为最优参考基准。

   • Competing algorithms performance（竞争算法性能）：同领域其他模型的水平。

   • Guess based on experience（基于经验的推测）：依赖领域知识估算。

图片主旨：说明基线的设定需结合客观基准（如人类或算法表现）或主观经验，而非随意定义。

三、模型性能诊断：基线、训练与验证误差

1. 高方差（High Variance）：

   • 基线性能：10.6%

   • 训练误差：10.8%

   • 交叉验证误差：14.8%

   • 训练误差和交叉验证误差之间的差距较大，表明模型在训练集上表现良好，但在验证集上表现较差，说明模型过拟合。

2. 高偏差（High Bias）：

   • 基线性能：10.6%

   • 训练误差：15.0%

   • 交叉验证误差：15.5%

   • 训练误差和交叉验证误差都较高，且两者接近，表明模型在训练集和验证集上都表现不佳，说明模型欠拟合。

3. 高偏差和高方差（High Bias and High Variance）：

   • 基线性能：10.6%

   • 训练误差：15.0%

   • 交叉验证误差：19.7%

   • 训练误差和交叉验证误差都较高，且两者差距较大，表明模型既欠拟合又过拟合，需要进一步调整。