商道 来源：互联网 时间：2023-05-24 16:10:41
(资料图片仅供参考)
1、最速下降法是以负梯度方向作为极小化算法的下降方向，又称为梯度法，是无约束最优化中最简单的方法。
2、从点x1沿着最速下降方向d，以步长λ到达点x2，数学上可以写为x2=x1+λ*d。
3、这里的d的表达式已经从理论给出，那么问题就变成，寻找合适的λ使得目标函数值f(x1+λ*d)最小，这本身又是一个最小化问题。
4、通常所谓的迭代算法，就是指，在某一个给定误差范围内，通过迭代关系x（k+1)=x（k）+λ（k)*d（k）分别求解相应的λ（k)和d（k）的过程。
5、当然，每一步求解的x（k+1)都必须在约束范围内。
6、简单说来就是由起点x（k），方向d（k），步长λ（k)求出下一点x（k+1)，然后将x（k+1)代回原方程，原方程变为一个长λ的方程，求解方程最小时的λ值，即方程求导，等于0时的λ值。
7、最速下降法，顾名思义，最快的速度找到下一个较小点，每一次搜索都是沿着负梯度方向，负梯度方向就是函数值减小的方向，所以每一次迭代得到的函数值必然小于上一个函数值。
8、2、形象地用图形描述，假如目标函数是一个同心圆弧，在初始点向负梯度方向搜索（即向圆弧内侧搜索），在该方向上会穿越很多条同心圆弧（即相交），在这个方向继续搜索，只有当该方向射线与某一圆弧相切时，才找到在这个搜索方向最内侧的圆弧，而相切就是令函数在该点的一阶导数为0。
9、至于为什么要搜索到这点才终止，应该是可以使每一步迭代效果最大。
本文到此分享完毕，希望对大家有所帮助。
标签：
下一篇：最后一页
