Pytorch: Удалить демпфирование из SGD

может быть, установить значение по умолчанию на 0 вместо momentum ?

Сделано по умолчанию на 0.
исправлено через https://github.com/pytorch/pytorch/commit/4eb12a26bc5e3671c03f154f61076fd72fcfd233

Это изменение демпфирования по умолчанию только что поразило меня :) Провел несколько дней, выясняя, почему портированная сеть перестала достигать нужных уровней точности. Спасибо @szagoruyko за подсказку.

Ранее, с импульсом = 0,9 (и 1 - dampening = 0.1 ), старый градиент был в 9 раз важнее текущего. Теперь это всего на 10% менее важно ( 1 - dampening = 1 ).

Возможно, это стоит упомянуть в
http://pytorch.org/docs/optim.html или в http://pytorch.org/tutorials/beginner/former_torchies_tutorial.html , поскольку скорость обучения теперь необходимо корректировать при переносе кода lua Torch, несмотря на наивные ожидания.