《深度学习》学习笔记三——数值计算

发布于

原文博客：Doi技术团队 链接地址：https://blog.doiduoyi.com/authors/1584446358138 初心：记录优秀的Doi技术团队学习经历

目录

文章目录

  • 目录
  • 上溢和下溢
  • 基于梯度的优化方法
    • 导数
    • 偏导数
  • 约束优化
  • 参考资料

上溢和下溢

  • 下溢(underflow)是一种极具毁灭性的舍入误差.当接近零的数被四舍五入为零时发生下溢
  • 上溢(overflow)是一种极具破坏力的数值错误形式.当大量级的数被近似为∞\infty∞或者−∞-\infty−∞时发生上溢,进一步的运算通常会导致这些无限值变成非数字.
  • softmax 函数(softmax function)可以对上溢和下溢进行数值稳定的一个函数,softmax函数经常用于预测与Multinoulli分布相关联的概率,定义为:
梯度下降
极小点，极大点，鞍点
sign(x)函数

偏导数

当函数只有二维输入时，其只有一个驻点，所以这个驻点就是它的最小点或者最大点。但是通常遇到更多的是多维输入的函数，它具有多个驻点，所以它有多个极小点和极大点，如下图。所以通过上面的方法很难找到最大点或者最小点。

多维输入函数

参考资料

  1. lan Goodfellow,Yoshua Bengio,Aaron Courville.深度学习(中文版).赵申剑,黎彧君,符天凡,李凯,译.北京:人民邮电出版社
  2. 郭游瑞,徐应祥,任阿娟,赵志琴.高等数学简明教程.上海:复旦大学出版社
#function#lan#overflow