逻辑回归

• 虽然叫做回归，但逻辑回归实际上是一个分类模型，至于为啥叫回归据我搜索的资料是历史遗留的命名问题。

二分类问题

• 首先我们需要了解一下什么是分类，在分类问题中，我们将尝试预测一个样本是否属于某一个类，对于最简单的分类问题也就是二元分类问题，它将包含两个类（正和负），我们将因变量可能属于的类分别称为正向类和负向类，例如$y^{'} = 0$代表负向，$y^{'} = 1$代表正向，故对于此我们要求模型的输出$h_\theta(x)$满足$0\le h_\theta(x) \le 1$。

  如果我们使用线性回归无法满足我们的要求，它的输出可能会很大，而对于逻辑回归将永远输出一个$0$到$1$之间的结果。当然我们可以定义$h_\theta(x)\ge 0.5$时，$y^{'}=1$，反之$h_\theta(x)<0.5$时，$y^{'}=1$，这使得输出值满足我们的要求，但是我们来查看如下数据。

  例如对于图例，我们按照上述规则使用拟合直线对后续点进行分类，其中黄色点是我们的分解点，显然这个拟合直线可以完成我们的要求，对于样本为正的的点，其预测值都大于$0.5$也代表为正，样本为负的点，其预测值都小于$0.5$代表负。但是如果我们观察到了一个新的样本，可能会使拟合直线变成如下情况

  此时我们发现再使用$0.5$作为阈值已经不再合适。此时我们将引入逻辑回归来解决此类问题。