如何防止过拟合？

  1. 答：增加正则化项，减小模型复杂度。如最高次从三次方降到二次方。遵从“奥卡姆剃刀原则”。一旦模型太复杂，就只符合训练集了，泛化能力就会变差。
  2. 三种新的回归模型
    • ridge回归：除了α外的额外项称为正则化项，α为比重，是超参数，人为规定。。α越大，θ就要越小。同时，α越小，代表使得拟合函数越复杂，因为用于减小模型复杂度的正则化项的比重小了。
    • lasso和elastic回归也类似类似，都是加了正则化项。
      <center>三种防止过拟合的回归
      三种防止过拟合的回归

Ridge回归

  1. α调的越大，θi就会越小。同时，对于一个α，θi越接近0，说明该参数对于模型影响越小。反之，θi远离0，则对模型更重要。
    <center>ridge回归
    ridge回归

Lasso回归

  1. 可以筛选出哪个X对于模型更重要。
    <center>lasso回归
    lasso回归

Elastic回归

  1. 是将前两个结合使用。

总结

  1. α越大，约束越强，模型越简单，拟合能力变弱。用于平衡测试集准确度和训练集准确度。
  2. 优化方法不同，ridge回归可以继续用梯度下降法优化，但lasso和elastic需要用其他方法。