CS231n 学*笔记(2) Loss Function and Optimization

发布时间:2021-06-22 05:32:59

Lecture 2 的最后部分中提到了linear classifier



这里f(x,W) = Wx + b 是score fun 用来计算输入相对于各类的分数。 x为输入,W为权重,b为偏置项。


那么在得到分数之后我们需要一个机制来评价当前的分类器是否理想,于是引入了loss function。


下面看一下loss fun是怎么定义的,给定一组数据,xi为图像,yi是其对应的标签。则数据集上的loss为


?lecture中介绍了一种SVM的多类loss 称为hinge loss



可以概括成


?


下面我们看一个计算例子:



蓝色式子是对青蛙类loss的计算 为 12.9.


最后三类的loss分别为 2.9 , 0 , 12.9 所以数据集的loss L = (2.9 + 0 + 12.9) / 3 = 5.27


lecture 中考虑了一些关于loss的问题,如初始权重都为零会怎么样,用mean替代max会怎么样等。。很有意思


对于上面loss function,会存在一个bug,就是有时loss会等于0。下面notes中解释了为什么



?


当初始权重能够准确的分类每一个例子,我们得到的对应类的score将会很高,这样对于loss fun 我们会得到Li = 0 for all i。然而我们又发现能这种权重并不唯一,


对于权重W,与任何一个系数λ > 1相乘我们都将得到Li =0。然而我们希望在数据集上得到一个unique的 W,为此便引入了R(W)也就是正则项。


?其中最常用的是L2正则项,


?


?可以看出正则项是一个关于参数W的式子而与数据无关,加入正则项后我们得到了SVM多分类的最终loss形式如下。λ在这里是一个超参数。


?


将L展开来则有,看起来很长好像很厉害的样子,但是将其拆分后单独理解发现其实也容易理解



?---------------------------------------------------------------------------------------------


softmax 分类器 也就是多项版的logistic regression


softmax则给定一组输入时得到输出Y为k的概率为


其中就是softmax fun。 为了对正确的类别最大化其log likelihood或者最小化其负log likelihood,这里loss function 采用了-log也就是



看一个例子:得到的三类score分别为3.2 5.1 和 -1.7 红框按softmax计算得到未归一化的概率而后在对概率归一化



------------------------------------------------------------------------------------------------------------------------------


当我们有了score function 和 loss function, 我们可以通过他们去寻找最优的权重W,这里就引入了optimization 最优化



lecture先给了随机取W的方法。。只有15%的准确率。。


而后从斜率引导了gradient decent方法。



转载于:https://www.cnblogs.com/klitech/p/7066287.html

相关文档

  • 民间故事和神话传说
  • acm-最短路径算法
  • 值得使用的Spring Boot
  • 采用大学生自我鉴定
  • 三星怎么不用代工厂
  • 学生个人承诺书
  • 描写西餐厅的句子
  • 护士掌握的心内科常识
  • 悠悠大作战400字初中作文
  • QQ是什么的东西~
  • 小学科任教师5月工作总结
  • 2020年考研英语:英语高级翻译解析
  • 买火车票经典文章两则
  • 不能完成此操作 因为您没有必要的权限_[已解决] 按键精灵root权限怎么获取?...
  • 以及可覆盖全网的DSP外采流量
  • 宿舍友情的作文
  • 美容护肤小窍门蜂密美容的小窍门
  • OID,唯一性的标志
  • 幼儿园元宵创意活动策划
  • 林区户外安全常识
  • a卡和n卡的区别是什么 如何挑选合适显卡【详细介绍】
  • 生肖猪佩戴什么好
  • filecoin主网上线时间,filecoin在哪些交易所可以交易
  • 出纳顶岗实习总结报告
  • 从天而降的乐趣 全球十大跳伞圣地
  • element-ui中el-select组件v-model绑定值为对象时的处理
  • 幼儿语言教案中班幼儿语言教学教案
  • 峨眉山离成都有多远知道距离多少公里还得清楚怎么去!
  • 关于小学生我的同学作文400字合集七篇
  • 幼儿园园务工作总结范例
  • 猜你喜欢

  • 小学数学兴趣小组活动计划四年级
  • 苹果6s一直显示耳机模式
  • 办公室的安全知识
  • 2018年元旦领导讲话稿与2018年光棍节讲述光棍的好处汇编
  • decode判断不为空_Python 为什么能支持任意的真值判断?
  • 抖音短视频app忘记密码怎么找回? 抖音忘记密码的解决办法
  • 2019年最新学生会主席团个人工作总结范文工作总结文档【七篇】
  • 微雪经典语录 从来不需要想起,永远也不会忘记_名人经典语录
  • 发挥桥梁作用 凝聚行业力量 促进化工教育事业创新发展
  • 最新人教版初中数学八年级同步练*题《勾股定理》
  • 20XX年第一学期小学语文教研组工作计划
  • 诸暨市新胜达化纤厂(企业信用报告)- 天眼查
  • 最新部编人教版八年级历史上册第一、二单元检测题(共2套试卷)
  • 2012年1月广东省普通高中学业水平考试生物试题及参考答案(@高考直通车 )
  • 河北溢香苑食品科技有限公司(企业信用报告)- 天眼查
  • qq爱情说说带字的图片2016:写了那么多爱的情节,爱依然像云一样忧伤
  • 宁夏省2016年注册土木工程师:结构力学与结构设计考试试题
  • 2021平面设计年终工作总结
  • 化妆品销售业务员工作计划
  • 1.3 向量方程(线性代数及其应用-第5版-系列笔记)
  • 企业战略管理-王玉主编__第一章__战略概述 共49页
  • 自我鉴定的格式内容
  • 长葛市昶达电气有限公司(企业信用报告)- 天眼查
  • 南通贝娅塔美容服务有限公司(企业信用报告)- 天眼查
  • 【参考文档】房地产销售话术经典大全房地产销售技巧-精选word文档 (2页)
  • 安装工程图纸会审要点
  • 美无处不在 初中作文【650字】
  • 作风建设剖析材料专题(6篇)与作风建设工作方案汇编
  • 高职艺术设计专业工作室制教学模式实施分析
  • 最新水平混合一年级下学期小学语文期末模拟试卷A卷练习题
  • 小学数学二年级上册教学设计数一数
  • 人教版高中英语必修一同步练*,教学资料,补*资料:Unit 1 Friendship
  • 羽毛球如何打好双打
  • 河南江南御指保健服务有限公司(企业信用报告)- 天眼查
  • 江苏省滨淮初中教育集团2019届九年级下学期第一次月考历史试题(含答案)
  • 鲁教版思品八下《感受大自然》(第1框)课件3
  • 人教版小学语文一年级上册文园地五-PPT精选
  • 人教版高中物理选修3-1第二章阶段质量检测(二).docx
  • 我的大学规划进入学生会后规划
  • 2019教育六年级下册英语课件Recycle Day 3 Day 4 人教(PEP)(秋) 共20张PPT数学
  • 超市铺面租赁合同
  • 2015福建教师资格证考试是要全国统考吗
  • 电脑版