博客
关于我
机器学习之正则化
阅读量:193 次
发布时间:2019-02-28

本文共 566 字,大约阅读时间需要 1 分钟。

#Overfittion(过拟合)

如果有过多的变量,而只有非常少的训练数据,就会出现过度拟合的问题。

#如何解决?

1、减少特征的数量

2、正则化

 

#Cost function(代价函数)

  • penalize(加入惩罚项)

#正则化背后的思想:

修改代价函数,来缩小所有的参数(因为不知道该去缩小哪些参数)。即加一个额为的正则项,来缩小每个参数的值。

*约定俗成从1开始,而不是从0开始求和。

  • regularization parameter(正则化参数λ)
    • λ的作用是控制两个不同目标之间的取舍。第一个目标与目标函数的第一项有关(即我们想去训练的),第二个目标是我们要保持参数尽量得小,与正则化目标有关。

 

#Regularized linear regression(线性回归的正则化)

方法一)对代价函数J(θ)进行梯度下降:

每次迭代的时候,都将θj乘以一个比1略小的数,即每次都把参数缩小一点,然后进行和之前一样的更新操作。

方法二)用正则方程来解决

*补充:如果样本数量比特征数量少,那么X'X不可逆。

所以,进行正则化还可以解决一些X'X出现不可逆的问题。

 

#Regularized logistic regression(逻辑回归的正则化)

 

正则化逻辑回归的梯度下降算法:

 


PS.内容为学习吴恩达老师机器学习的笔记【】

转载地址:http://npqn.baihongyu.com/

你可能感兴趣的文章
mysqldump 参数--lock-tables浅析
查看>>
mysqldump 导出中文乱码
查看>>
mysqldump 导出数据库中每张表的前n条
查看>>
mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES
查看>>
Mysqldump参数大全(参数来源于mysql5.5.19源码)
查看>>
mysqldump备份时忽略某些表
查看>>
mysqldump实现数据备份及灾难恢复
查看>>
mysqldump数据库备份无法进行操作只能查询 --single-transaction
查看>>
mysqldump的一些用法
查看>>
mysqli
查看>>
MySQLIntegrityConstraintViolationException异常处理
查看>>
mysqlreport分析工具详解
查看>>
MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
查看>>
Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
查看>>
mysql_real_connect 参数注意
查看>>
mysql_secure_installation初始化数据库报Access denied
查看>>
MySQL_西安11月销售昨日未上架的产品_20161212
查看>>
Mysql——深入浅出InnoDB底层原理
查看>>
MySQL“被动”性能优化汇总
查看>>
MySQL、HBase 和 Elasticsearch:特点与区别详解
查看>>