博客
关于我
机器学习之正则化
阅读量:193 次
发布时间:2019-02-28

本文共 566 字,大约阅读时间需要 1 分钟。

#Overfittion(过拟合)

如果有过多的变量,而只有非常少的训练数据,就会出现过度拟合的问题。

#如何解决?

1、减少特征的数量

2、正则化

 

#Cost function(代价函数)

  • penalize(加入惩罚项)

#正则化背后的思想:

修改代价函数,来缩小所有的参数(因为不知道该去缩小哪些参数)。即加一个额为的正则项,来缩小每个参数的值。

*约定俗成从1开始,而不是从0开始求和。

  • regularization parameter(正则化参数λ)
    • λ的作用是控制两个不同目标之间的取舍。第一个目标与目标函数的第一项有关(即我们想去训练的),第二个目标是我们要保持参数尽量得小,与正则化目标有关。

 

#Regularized linear regression(线性回归的正则化)

方法一)对代价函数J(θ)进行梯度下降:

每次迭代的时候,都将θj乘以一个比1略小的数,即每次都把参数缩小一点,然后进行和之前一样的更新操作。

方法二)用正则方程来解决

*补充:如果样本数量比特征数量少,那么X'X不可逆。

所以,进行正则化还可以解决一些X'X出现不可逆的问题。

 

#Regularized logistic regression(逻辑回归的正则化)

 

正则化逻辑回归的梯度下降算法:

 


PS.内容为学习吴恩达老师机器学习的笔记【】

转载地址:http://npqn.baihongyu.com/

你可能感兴趣的文章
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>
mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
查看>>
mysql 死锁(先delete 后insert)日志分析
查看>>
MySQL 死锁了,怎么办?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 添加列,修改列,删除列
查看>>
mysql 添加索引
查看>>
MySQL 添加索引,删除索引及其用法
查看>>
MySQL 用 limit 为什么会影响性能?
查看>>
MySQL 用 limit 为什么会影响性能?有什么优化方案?
查看>>
MySQL 用户权限管理:授权、撤销、密码更新和用户删除(图文解析)
查看>>
mysql 用户管理和权限设置
查看>>
MySQL 的 varchar 水真的太深了!
查看>>
mysql 的GROUP_CONCAT函数的使用(group_by 如何显示分组之前的数据)
查看>>
MySQL 的instr函数
查看>>
MySQL 的mysql_secure_installation安全脚本执行过程介绍
查看>>
MySQL 的Rename Table语句
查看>>
MySQL 的全局锁、表锁和行锁
查看>>