博客
关于我
机器学习之正则化
阅读量:193 次
发布时间:2019-02-28

本文共 566 字,大约阅读时间需要 1 分钟。

#Overfittion(过拟合)

如果有过多的变量,而只有非常少的训练数据,就会出现过度拟合的问题。

#如何解决?

1、减少特征的数量

2、正则化

 

#Cost function(代价函数)

  • penalize(加入惩罚项)

#正则化背后的思想:

修改代价函数,来缩小所有的参数(因为不知道该去缩小哪些参数)。即加一个额为的正则项,来缩小每个参数的值。

*约定俗成从1开始,而不是从0开始求和。

  • regularization parameter(正则化参数λ)
    • λ的作用是控制两个不同目标之间的取舍。第一个目标与目标函数的第一项有关(即我们想去训练的),第二个目标是我们要保持参数尽量得小,与正则化目标有关。

 

#Regularized linear regression(线性回归的正则化)

方法一)对代价函数J(θ)进行梯度下降:

每次迭代的时候,都将θj乘以一个比1略小的数,即每次都把参数缩小一点,然后进行和之前一样的更新操作。

方法二)用正则方程来解决

*补充:如果样本数量比特征数量少,那么X'X不可逆。

所以,进行正则化还可以解决一些X'X出现不可逆的问题。

 

#Regularized logistic regression(逻辑回归的正则化)

 

正则化逻辑回归的梯度下降算法:

 


PS.内容为学习吴恩达老师机器学习的笔记【】

转载地址:http://npqn.baihongyu.com/

你可能感兴趣的文章
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象?
查看>>
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>
mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
查看>>
mysql 死锁(先delete 后insert)日志分析
查看>>
MySQL 死锁了,怎么办?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 深度分页性能急剧下降,该如何优化?
查看>>
MySQL 添加列,修改列,删除列
查看>>
mysql 添加索引
查看>>
MySQL 添加索引,删除索引及其用法
查看>>