您当前的位置: 首页 > 

qianbo_insist

暂无认证

  • 0浏览

    0关注

    399博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

梯度下降和导数的作用

qianbo_insist 发布时间:2021-08-05 21:45:51 ,浏览量:0

导数概念

    导数是用来反映函数局部性质的工具。对于一个函数来说, 函数在某一点的导数描述了这个函数在这一点附近的变化率。      如果函数的自变量和取值都是实数的话,函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。导数的本质是通过极限的概念对函数进行局部的线性逼近。     例如在运动学中,物体的位移对于时间的导数就为速度。

常数求导

    y = c     常数求导为零,说明他的斜率为0,也说明了常数没有变化。

梯度下降

Gradient Descent 梯度下降是机器学习算法模型参数求解法之一,另外一种如最小二乘法,目的是得到最小化的损失函数,那如果要求解损失函数的最大值,则用梯度上升。

为求损失为最小,递归性逼近最小偏差,里面要加上步长,如函数 y = x 2 y=x^2 y=x2 也就是y = x的平方,求导为y = 2x x = x- (步长) * (求导) 设定step = 0.1 【步长决定收敛速度】 x = x - (0.1)* 2*x

y变化接近于 零时, y 达到 局部最小值。

关注
打赏
1663161521
查看更多评论
立即登录/注册

微信扫码登录

0.0416s