Pytorch: LSTM์€ ๊ฒŒ์ดํŠธ ๋ฐ”์ด์–ด์Šค ์ดˆ๊ธฐํ™”๋ฅผ ์žŠ์–ด ๋ฒ„๋ ธ์Šต๋‹ˆ๋‹ค.

์— ๋งŒ๋“  2017๋…„ 02์›” 15์ผ  ยท  3์ฝ”๋ฉ˜ํŠธ  ยท  ์ถœ์ฒ˜: pytorch/pytorch

์ผ๋ถ€ ๋…ผ๋ฌธ์—์„œ๋Š” LSTM์˜ ํฌ๊ฒŸ ๊ฒŒ์ดํŠธ ๋ฐ”์ด์–ด์Šค๋ฅผ ํŠน์ • ๊ฐ’์œผ๋กœ ์„ค์ •ํ•  ๊ฒƒ์„ ์ œ์•ˆํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด:
http://jmlr.org/proceedings/papers/v37/jozefowicz15.pdf

LSTM/LSTMCell์˜ ํ˜„์žฌ ๊ตฌํ˜„์„ ์‚ฌ์šฉํ•˜์—ฌ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

picture ikostrikov

๊ฐ€์žฅ ์œ ์šฉํ•œ ๋Œ“๊ธ€

์˜ˆ, ๊ฐ€์ค‘์น˜ a ํŽธํ–ฅ์˜ ์ˆœ์„œ๋Š” ๋ชจ๋“  ๊ตฌํ˜„์—์„œ ๋™์ผํ•˜๋ฉฐ ingate, forgetgate, cellgate, outgate ์ž…๋‹ˆ๋‹ค. ๋ฐ”์ด์–ด์Šค ๋ฒกํ„ฐ์˜ 1/4์—์„œ 1/2 ์‚ฌ์ด์˜ ๊ฐ’์„ ์›ํ•˜๋Š” ๊ฐ’์œผ๋กœ ์ดˆ๊ธฐํ™”ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

picture apaszke ์— 2017๋…„ 02์›” 17์ผ
👍5

๋ชจ๋“  3 ๋Œ“๊ธ€

์˜ˆ, ๊ฐ€์ค‘์น˜ a ํŽธํ–ฅ์˜ ์ˆœ์„œ๋Š” ๋ชจ๋“  ๊ตฌํ˜„์—์„œ ๋™์ผํ•˜๋ฉฐ ingate, forgetgate, cellgate, outgate ์ž…๋‹ˆ๋‹ค. ๋ฐ”์ด์–ด์Šค ๋ฒกํ„ฐ์˜ 1/4์—์„œ 1/2 ์‚ฌ์ด์˜ ๊ฐ’์„ ์›ํ•˜๋Š” ๊ฐ’์œผ๋กœ ์ดˆ๊ธฐํ™”ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

apaszke picture apaszke ์— 2017๋…„ 02์›” 17์ผ
👍5

LSTM ๋ฐ GRU ์…€์—์„œ "bias_ih"์™€ "bias_hh"์˜ ์ฐจ์ด์ ์€ ๋ฌด์—‡์ž…๋‹ˆ๊นŒ? ๋‘˜ ๋‹ค 1/4์—์„œ 1/2 ์‚ฌ์ด์˜ ๊ฐ’์œผ๋กœ ์ดˆ๊ธฐํ™”ํ•ด์•ผ ํ•ฉ๋‹ˆ๊นŒ?

kellywzhang picture kellywzhang ์— 2017๋…„ 02์›” 20์ผ

๊ทธ ์ค‘ ํ•˜๋‚˜๋Š” ์ž…๋ ฅ์˜ ์„ ํ˜• ๋ณ€ํ™˜์— ์ถ”๊ฐ€๋˜๊ณ  ๋‹ค๋ฅธ ํ•˜๋‚˜๋Š” ์ˆจ๊ฒจ์ง„ ๋ณ€ํ™˜์— ์ถ”๊ฐ€๋ฉ๋‹ˆ๋‹ค. ์ค‘๋ณต๋ฉ๋‹ˆ๋‹ค. ๋‹จ ํ•˜๋‚˜์˜ ํŽธํ–ฅ๋งŒ ์žˆ์„ ์ˆ˜ ์žˆ์œผ๋ฉฐ ๋ชจ๋ธ์€ ๋™๋“ฑํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๊ฒƒ์ด cuDNN์ด ํ•˜๋Š” ์ผ์ด๋ฏ€๋กœ ์ผ๊ด€์„ฑ์„ ์œ„ํ•ด ๊ทธ๋Œ€๋กœ ์œ ์ง€ํ•˜๋Š” ๊ฒƒ์„ ์„ ํ˜ธํ–ˆ์Šต๋‹ˆ๋‹ค.

apaszke picture apaszke ์— 2017๋…„ 02์›” 24์ผ
์ด ํŽ˜์ด์ง€๊ฐ€ ๋„์›€์ด ๋˜์—ˆ๋‚˜์š”?
0 / 5 - 0 ๋“ฑ๊ธ‰

๊ด€๋ จ ๋ฌธ์ œ

Coderx7 picture Coderx7  ยท  3์ฝ”๋ฉ˜ํŠธ
a1363901216 picture a1363901216  ยท  3์ฝ”๋ฉ˜ํŠธ
soumith picture soumith  ยท  3์ฝ”๋ฉ˜ํŠธ
SeparateReality picture SeparateReality  ยท  3์ฝ”๋ฉ˜ํŠธ
eliabruni picture eliabruni  ยท  3์ฝ”๋ฉ˜ํŠธ