逻辑回归1

逻辑斯特回归是什么？

1. 不同于线性回归，逻辑回归是用来分类的。
   典型数据集——鸢尾花卉数据集，用于实验逻辑回归代码，实验分类算法。
   

   典型数据集
2. 如何将线性回归的方法改造成可以处理分类问题的方法？
   如图，f(X)即为线性回归得到的模型函数，由图可看出，y在0-1之间，可以看做概率，也可以看做小于0.5是一类，大于0.5是另一类，可用来做分类。
   问题被简化了，只需要将f(x)外面套上一个函数即可分类。
   • 类似于升降维度，
     

     逻辑斯特回归
3. 几何角度的理解：
   f(x) = 0，是分界常数，将数据分为了两类，一类的yprob大于0.5，一类小于0.5。

如何计算逻辑斯特回归？

1. 使用MSE？
   实测效果并不好，太多局部最优解。
2. 使用极大似然估计：
   计算所有样本发生某种情况的概率，也就是独立同分布，比如，可以同时算出A是1的概率P和A是0的概率1-P，取所有ABCD…判断正确的概率，相乘，使这个乘积最大就是拟合最好的情况（ABCD…都有正确的分类）。
   为了方便计算所以套了个log。
   最后红色的函数越小，拟合结果越好。
   

   极大似然估计
3. 完整策略
   只要找到策略函数最小时的系数就可以了。
   同样，需要正则化，C越大，模型越复杂，C越小，模型越简单。
   

   逻辑斯特回归
4. 梯度下降法
   和之前一样。
   

   逻辑斯特梯度下降

真实情况

1. 往往无法做到线性可分，即一条线完美分开所有的两种类目。而太复杂又会发生过拟合。因此要调节C。
2. 非线性问题，决策线是一个圆。
   可以对原来的x进行数据处理，全部平方。
   

   非线性问题