梯度下降法的步长到底怎么确定

春梦梦你 3个月前 已收到1个回答 举报

低调朲生 3星

共回答了365个问题采纳率:94.7% 评论

梯度下降法的搜索方向顾名思义就是梯度方向,也就是当前点所在地形最陡峭的下降方向(你这个图里面只有左右两个方向)。 步长的选择要看函数的性质,一般可导函数,只要步长足够小,则保证每次函数值都不会增加,此外:

1.如果函数可导,且函数的梯度满足李普希兹连续(常数为L),若以小于的步长迭代,则能保证每次迭代的函数值都不增,则保证最终会收敛到梯度为0的点。也可以采用Linesearch确定步长,Linesearch的本质目的其实也是为了保证函数值下降(或称作不增)。

2.2.如果函数还是凸的,则最终会走到最优点。

17小时前

45
可能相似的问题

猜你喜欢的问题

Copyright © 2024 微短问答 All rights reserved. 粤ICP备2021119249号 站务邮箱 959505@qq.com