Linear/Logistic/Softmax Regression对比
Linear/Logistic/Softmax Regression是常见的机器学习模型,且都是广义线性模型的一种,有诸多相似点,详细对比之。
概述
Linear Regression是回归模型,Logistic Regression是二分类模型,Softmax Regression是多分类模型,但三者都属于广义线性「输入的线性组合」模型「GLM」。
其中Softmax Regression可以看做Logistic Regression在多类别上的拓展。
Softmax Regression (synonyms: Multinomial Logistic, Maximum Entropy Classifier, or just Multi-class Logistic Regression) is a generalization of logistic regression that we can use for multi-class classification (under the assumption that the classes are mutually exclusive).
符号约定
- 样本 $(x^{(i)}, y^{(i)})$
- 样本数 $m$
- 特征维度 $n$
- Linear Regression输出 $y^{(i)}$
- Logistic Regression类别 $y^{(i)}\in{0,1}$
- Softmax Regression类别 $y^{(i)}\in{1,\ldots,K}$
- Softmax Regression类别数 $K$
- 损失函数 $J(\theta)$
- Indicator函数 $I{boolean}$
模型参数对比
Linear Regression,维度为$(n \cdot 1)$的向量
Logistic Regression,维度为$(n \cdot 1)$的向量
Softmax Regression,维度为$(n \cdot K)$的矩阵
模型输出对比
Linear Regression输出样本的得分「标量」。
Logistic Regression输出正样本的概率「标量」。
Softmax Regression输出为$K$个类别的概率「向量」。
损失函数对比
Linear Regression是回归问题,损失函数一般取平方误差;Logistic/Softmax Regression是分类问题,损失函数一般用交叉熵。
分类问题,对样本$(x, y)$,模型输出在类别上的概率分布,可统一表示为条件概率$P(y\vert x)$,可以直接写出交叉熵表达式,也可以通过极大似然法则导出,最终效果一样。
Linear Regression。
Logistic Regression。条件概率可以表示为
对所有训练样本,损失函数为
Softmax Regression。条件概率可以表示为
对所有训练样本,损失函数为
对比式子Logistic/Softmax Regression,二者的损失函数形式完全一致,就是交叉熵损失。真实概率分布$p$和预估概率分布$q$的交叉熵为
- 对Logistic Regression来说,真实概率分布为$[1, 0]$或$[0, 1]$
- 对Softmax Regression来说,真实概率分布为$[1,0,0]$、$[0,1,0]$或$[0,0,1]$
梯度对比
Linear/Logistic/Softmax Regression都是广义线性模型的一种,其形式都极其相似,包括梯度。
Linear Regression梯度
其中$h_\theta(x) = \theta^Tx$。
Logistic Regression梯度
其中$h_\theta(x) = \sigma(\theta^Tx)$。
Softmax Regression梯度
其中预测结果见上文模型输出对比内容,方便表示,分别对$\theta^{k}$求导。
梯度形式非常的Intuitive,更新尺度正比于误差项!
The magnitude of the update is proportional to the error term $h_\theta(x^{(i)}) - y^{(i)}$; thus, for instance, if we are encountering a training example on which our prediction nearly matches the actual value of $y^{(i)}$, then we find that there is little need to change the parameters; in contrast, a larger change to the parameters will be made if our prediction $h_\theta(x^{(i)})$ has a large error (i.e., if it is very far from $y^{(i)}$).