11 Linear Models for Classification

介绍线性模型用于分类场景，见详细课件。

线性模型

三个线性模型的对比，最核心的就是linear scoring function，后续处理不太一样。

Error Function

上述三个模型用的Error Function，由于$y \in {+1,-1}$，可以抽象出来一个变量$ys$，方便分析。

可以看出其他Error Function都是0/1误差的一个上界。

Regression for Classification

Linear Regression和Logistic Regression都可以用来做分类。

多分类

One Versus All

如果有$K$个分类，就训练$K$个分类器，每一个分别判断是不是属于类别$k$，最终合并这$K$个分类器。要用soft classifiers，不能用binary classifiers，因为会出现一个样本被分到多各类别，或者一个类别也被分到。

算法描述如下：

Multiclass via Logistic Regression: predict with maximum estimated $P(k

x)$

OVA模式有个缺点就是样本不均衡。

One Versus One

如果有$K$个分类，训练$K(K-1)/2$个binary classifers，然后分别预测，被预测分类最多的那个作为最终分类。每个分类器只用到对应两个分类的样本数据，能解决样本不均衡问题。

算法描述如下：

Multiclass via Binary Classification: predict the tournament champion