我认为我们可以在这里从 SGD 中删除阻尼参数https://github.com/pytorch/pytorch/blob/master/torch/optim/sgd.py#L10 ，如果使用它会令人困惑并改变动力
szagoruyko
所有3条评论
也许将默认值设置为 0 而不是momentum ？
fmassa
于 2016-09-09
soumith
于 2016-09-10
这种默认阻尼的变化刚刚打动了我 :) 花了几天时间弄清楚为什么移植的网络停止达到正确的准确度水平。 感谢@szagoruyko的提示。
以前，动量 = 0.9（和1 - dampening = 0.1 ），旧梯度比当前梯度重要 9 倍。 现在它的重要性只降低了 10% ( 1 - dampening = 1 )。
这可能值得一提
http://pytorch.org/docs/optim.html或http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html ，因为现在在移植 lua Torch 代码时需要调整学习率，尽管期望很天真。
vadimkantorov
于 2017-04-02
👍3
此页面是否有帮助？
0 / 5 - 0 等级
相关问题
negrinho
·
3评论
bartolsthoorn
·
3评论
NgPDat
·
3评论
bartvm
·
3评论
kuangliu
·
3评论
最有用的评论
这种默认阻尼的变化刚刚打动了我 :) 花了几天时间弄清楚为什么移植的网络停止达到正确的准确度水平。 感谢@szagoruyko的提示。
以前，动量 = 0.9（和
1 - dampening = 0.1），旧梯度比当前梯度重要 9 倍。 现在它的重要性只降低了 10% (1 - dampening = 1)。这可能值得一提
http://pytorch.org/docs/optim.html或http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html ，因为现在在移植 lua Torch 代码时需要调整学习率，尽管期望很天真。