一、Softmax回归简介

Softmax回归是一种用于多分类任务的机器学习模型，它通过Softmax函数将输入特征的线性组合转化为概率分布，使得每个类别的预测概率之和为1。它是逻辑回归（Logistic Regression）在多分类问题上的自然推广。

通俗理解

想象你在给一组照片分类（猫、狗、鸟），Softmax回归就像一个“公平打分员”：

1. 先给每个类别算一个“原始分数”（基于图片特征）。

2. 然后用Softmax函数把这些分数转换成“概率”——比如猫70%、狗20%、鸟10%，告诉你“最可能是猫”。

3. 关键点：所有类别的概率加一起一定是100%，而且分数高的类别会“压倒性”胜出（指数放大差异）。

二、逻辑回归 与 Softmax回归 区别

1. 逻辑回归（Logistic Regression）

   • 适用场景：二分类问题（2个可能的输出值）。

   • 计算方式：

     • 线性部分：z=w⃗⋅x⃗+b。

     • 概率输出：

     • 

2. Softmax回归（Softmax Regression）

   • 适用场景：多分类问题（N个可能的输出值）。

   • 计算方式：

     • 对每个类别 jj 计算线性得分：z_j=w⃗_j⋅x⃗+b_j。

     • 通过Softmax函数转换为概率：
       
       且所有概率之和为1（a₁+a₂+⋯+a_N=1）。

3. 具体示例（4分类）

   • 计算4个类别的得分 z₁,z₂,z₃,z₄。

   • 对应的概率输出：

     • a₁=0.30，a₂=0.20，a₃=0.15，a₄=0.35。

   • 最终预测会选择概率最大的类别（此处为类别4，概率0.35）。

图片通过对比逻辑回归和Softmax回归，清晰展示了从二分类到多分类的推广形式。

三、逻辑回归 与 Softmax回归 损失函数对比

1. 逻辑回归（Logistic Regression）

   • 模型输出：

     • 线性部分：z=w⃗⋅x⃗+bz=w⋅x+b。

     • 概率输出：

     • 

   • 损失函数：

     • 二元交叉熵（Binary Cross-Entropy）：
       

     • 代价函数 J(w⃗,b) 为所有样本损失的平均值。

2. Softmax回归（Softmax Regression）

   • 模型输出：

     • 对每个类别 j 计算概率：
       

     • 所有概率满足

   

   • 损失函数：

图片通过公式对比，展示了逻辑回归（二分类）与Softmax回归（多分类）在概率输出和损失函数设计上的核心区别。