首页 热点资讯 义务教育 高等教育 出国留学 考研考公
您的当前位置:首页正文

sometips

2024-12-15 来源:化拓教育网

1.梯度下降法

能找到局部最优解,但不一定是全局最优解,与对应的函数样子有关

梯度下降法 ,想象成下山

  for   i  itertor

           环顾四周,想朝哪个方向下山最快

           走一步

其中    走一步   为  alpha *  偏导数 , alpha可以理解为步子的大小

alpha 过小 则达到收敛的时间需要很长

alpha 过大则有可能达不到收敛

alpha     0.001  0.003  0.01  0.03  0.1  0.3  1              3倍递增可能好点

梯度更新时候,注意对每个变量theta同步更新

2.正规方程法

像高数中求解函数的最小值那样,分别求出偏导数,然后得到对应的theta

显示全文