Detectron: Warum Sigmoid-Kreuzentropie anstelle von Softmax in RPN verwenden?
Hallo,
Im ursprünglichen schnelleren rcnn haben Sie beim Training von rpn Softmax-Verlust verwendet. (https://github.com/rbgirshick/py-faster-rcnn/blob/master/models/pascal_voc/VGG16/faster_rcnn_alt_opt/stage1_rpn_train.pt#L447)
In FPN verwenden Sie die Sigmoid-Kreuzentropie, um den RPN-Verlust zu messen.
(https://github.com/facebookresearch/Detectron/blob/master/lib/modeling/FPN.py#L459)
In meinem Experiment fand ich heraus, dass der RPN-Rückruf um etwa 4 Punkte abfiel, wenn sigmoide Kreuzentropie verwendet wurde.
Warum also die Sigmoid-Kreuzentropie in FPN verwenden? Hast du schon mal Softmax Loss ausprobiert?
Danke!
twmht
Alle 3 Kommentare
Die Verwendung von Softmax für die binäre Klassifizierung ist eine übermäßige Parametrisierung und sollte nicht erforderlich sein. Bei der Portierung von py-faster-rcnn auf Detectron habe ich sowohl softmax als auch sigmoid für RPN ausprobiert und einen ähnlichen RPN-Rückruf erhalten. Ich habe die Verwendung von Softmax für RPN mit FPN nicht erneut besucht.
rbgirshick
am 6. Mai 2018
@rbgirshick Ist es möglich, Softmax in "rpn_heads.py" zu unterstützen?
Ich habe es versucht, aber es ist mir nicht gelungen. Der Grund dafür ist, dass, wenn die Form von rpn_cls_logits (1, 30, H, W) anstelle von (1, 15, H , W) ist, die Operation „SpatialNarrowAs“ nicht auf „rpn_labels_int32_wide“ angewendet werden kann, da die Tiefe dies nicht ist das gleiche wie rpn_cls_logits.
fw509
am 25. Mai 2018
Ich habe das gleiche Problem hier gefunden, und es ist großartig zu sehen, dass Sie es aufstellen. Ich denke, ich werde beide Verlustfunktionen ausprobieren, um zu prüfen, welche besser ist.
Jing-Luo
am 26. Juni 2018
Verwandte Themen
elfpattern
·
3Kommentare
lilichu
·
3Kommentare
baristahell
·
3Kommentare
rbgirshick
·
3Kommentare
pacelu
·
3Kommentare
Hilfreichster Kommentar
Die Verwendung von Softmax für die binäre Klassifizierung ist eine übermäßige Parametrisierung und sollte nicht erforderlich sein. Bei der Portierung von py-faster-rcnn auf Detectron habe ich sowohl softmax als auch sigmoid für RPN ausprobiert und einen ähnlichen RPN-Rückruf erhalten. Ich habe die Verwendung von Softmax für RPN mit FPN nicht erneut besucht.