์ด ํ๋ก์ ํธ๋ ๋ฉํฐ ๋ ์ด๋ธ ๋ฏธ์ธ ์กฐ์ lstm์ ์ฌ์ฉ์ ๋ํด ์ด์ผ๊ธฐํ๊ณ ๋น๋์ค์ ์ฌ๋ฌ ๋ ์ด๋ธ์ ์ง์ ํ๋ ๋ฐฉ๋ฒ์ ์ค๋ช ํ์ง ์์์ต๋๋ค. ์ด๊ฒ์ ์ด๋ณด์์๊ฒ๋ ์ด๋ ต์ต๋๋ค. ์ค๋ช ํ ์๋ฅผ ๋ค์ด ์ฃผ์ค ์ ์์ต๋๊น? ๊ฒฝํ์ด ์๋ ๋ฐ์ฐฌ์ ์ ๊ณต ๋ผ๋ฒจ๋ง ๋ฐฉํฅ, ๋๋จํ ๊ฐ์ฌํฉ๋๋ค! ๊ฐ์ฌ ํด์!
https://github.com/PaddlePaddle/PaddleVideo/blob/application/VideoTag/FineTune.md#Data Preparation -1 ๋ฌธ์์ ์ด ๋ถ๋ถ์ด ๋ฌธ์ ์ ๋์์ด ๋์์ต๋๊น?
https://github.com/PaddlePaddle/PaddleVideo/blob/application/VideoTag/FineTune.md#Data Preparation -1 ๋ฌธ์์ ์ด ๋ถ๋ถ์ด ๋ฌธ์ ์ ๋์์ด ๋์์ต๋๊น?
๋๋ต ํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค! ๊ทธ ์ฃผ๋ ์ด์ ๋ ๋น๋์ค ํ๊ทธ๊ฐ ์๋งจํฑ ํ๊ทธ + ์ํฐํฐ ํ๊ทธ๊ฐ ๋์ด์ผ ํ๋ ์ ๋ ๋๋ ์๋งจํฑ ํ๊ทธ๋ก ํ์๋์ด์ผ ํ๋ ์ ๋๋ฅผ ์์ง ๋ชปํ๊ธฐ ๋๋ฌธ์ ๋๋ค. , ๊ธด ๋ค๋ฆฌ์ ๊ฐ์ ํน์ ํ๊ทธ๋ฟ๋ง ์๋๋ผ ์ ์ ์ฌ์ฑ์ด ์ถค์ถ๋ ์์์ด ๊ธด ๋ค๋ฆฌ๋ก ์ถค์ถ๋ ๋ฏธ์ธ์ผ๋ก ํ์๋๋ค๋ ์๋ฏธ์ธ๊ฐ์? ๋ผ๋ฒจ์ด 3๊ฐ? ๋ง์ฐฌ๊ฐ์ง๋ก ์ ์ ๋๋ฌผ์ ์ํ ์๋งจํฑ ํ๊ทธ๊ฐ ์์ผ๋ฉฐ, ํนํ ํ๋ค์ ํฉํ, ๋๋ค๋ณด์ ๊ฐ์ ๋งค์ฐ ์ด์ํ ํ๊ทธ๊ฐ ์์ต๋๋ค. . . ์ด ์ ์๊ฐ ๋ฌด์์ ๊ทผ๊ฑฐํ ๊ฒ์ธ์ง ๋ชจ๋ฅด๊ฒ ์ต๋๋ค.
3k ๋ถ๋ฅ ๋ ์ด๋ธ์ ์ ์ฒด ๊ตฌ์ฑ ์ ๋ต์ ๊ธฐ๊ณ ๋ง์ด๋ + ๋ถ๋ถ ์๋ ๊ฒํ ์
๋๋ค.
์๋ ๊ฒํ ๋ ํ๊ทธ๊ฐ ์๊ฐ์ ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ์ง ๊ณ ๋ คํ๊ณ ์๋ฏธ ์๋ ํ๊ทธ๋ฅผ ์ญ์ ํ๋ ๋ฑ youtube-8m ๋ฐ์ดํฐ ์ธํธ ํ์ดํผ์ ์ผ๋ถ ์ ๋ต์ ์ฐธ์กฐํฉ๋๋ค.
ํน์ ์ฑ๊ตด ์ ๋ต @huangjun12big Brother๊ฐ ์ถ๊ฐ๋์์ต๋๋ค.
์ด๋ฌํ ํ๊ทธ๋ ์๋งจํฑ ํ๊ทธ ๋ฐ ์ํฐํฐ ํ๊ทธ๋ฅผ ํฌํจํ์ฌ ๋น์ฆ๋์ค ๋ผ์ธ์์ ์ธ๊ธฐ ์๋ ์ฟผ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ฐ์ ธ์ต๋๋ค. ๊ต์ก ์ค์ ๋ชจ๋ ํ๊ทธ๊ฐ ํ๋ฉดํ๋๊ณ ๊ณ์ธต์ ๊ด๊ณ๊ฐ ์์ต๋๋ค.
3k ๋ถ๋ฅ ๋ ์ด๋ธ์ ์ ์ฒด ๊ตฌ์ฑ ์ ๋ต์ ๊ธฐ๊ณ ๋ง์ด๋ + ๋ถ๋ถ ์๋ ๊ฒํ ์ ๋๋ค.
์๋ ๊ฒํ ๋ ํ๊ทธ๊ฐ ์๊ฐ์ ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ์ง ๊ณ ๋ คํ๊ณ ์๋ฏธ ์๋ ํ๊ทธ๋ฅผ ์ญ์ ํ๋ ๋ฑ youtube-8m ๋ฐ์ดํฐ ์ธํธ ํ์ดํผ์ ์ผ๋ถ ์ ๋ต์ ์ฐธ์กฐํฉ๋๋ค.
ํน์ ์ฑ๊ตด ์ ๋ต @huangjun12big Brother๊ฐ ์ถ๊ฐ๋์์ต๋๋ค.
Xie ์จ๋ ๊ฐ ๋น๋์ค์ ์๋งจํฑ ํ๊ทธ + ์ํฐํฐ ํ๊ทธ(์ฆ, ์๊ฐ์ ํ๊ทธ)๋ฅผ ํ์ํด์ผ ํ๋ค๊ณ ๋๋ตํ์ต๋๋ค. ์๋ ์๊ตฌ ์ฌํญ์ด ์์ต๋๊น? ์์ฌ๊ฐ ๋ฐค์ ์ค ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค! ๋น๋์ค๋ฅผ ์ ๊ณตํ๊ณ lstm์ ๋ ์ด๋ธ์ ํ๋ จ์ํค๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค!
์ด๋ฌํ ํ๊ทธ๋ ์๋งจํฑ ํ๊ทธ ๋ฐ ์ํฐํฐ ํ๊ทธ๋ฅผ ํฌํจํ์ฌ ๋น์ฆ๋์ค ๋ผ์ธ์์ ์ธ๊ธฐ ์๋ ์ฟผ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ฐ์ ธ์ต๋๋ค. ๊ต์ก ์ค์ ๋ชจ๋ ํ๊ทธ๊ฐ ํ๋ฉดํ๋๊ณ ๊ณ์ธต์ ๊ด๊ณ๊ฐ ์์ต๋๋ค.
๋ณด์ค, ๊ธฐ๊ณ ๋ง์ด๋์ด ๋ง๋ฒ์ ์ ๋ต์ ์ฌ์ฉํ๋ค๋ ๊ฒ์ ์ฝ๊ฒ ๋ฐํ ์ ์์ต๋๊น? @ @
-
3k ๋ถ๋ฅ ๋ ์ด๋ธ์ ์ ์ฒด ๊ตฌ์ฑ ์ ๋ต์ ๊ธฐ๊ณ ๋ง์ด๋ + ๋ถ๋ถ ์๋ ๊ฒํ ์ ๋๋ค.
์๋ ๊ฒํ ๋ ํ๊ทธ๊ฐ ์๊ฐ์ ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ์ง ๊ณ ๋ คํ๊ณ ์๋ฏธ ์๋ ํ๊ทธ๋ฅผ ์ญ์ ํ๋ ๋ฑ youtube-8m ๋ฐ์ดํฐ ์ธํธ ํ์ดํผ์ ์ผ๋ถ ์ ๋ต์ ์ฐธ์กฐํฉ๋๋ค.
ํน์ ์ฑ๊ตด ์ ๋ต @huangjun12big Brother๊ฐ ์ถ๊ฐ๋์์ต๋๋ค.Xie ์จ๋ ๊ฐ ๋น๋์ค์ ์๋งจํฑ ํ๊ทธ + ์ํฐํฐ ํ๊ทธ(์ฆ, ์๊ฐ์ ํ๊ทธ)๋ฅผ ํ์ํด์ผ ํ๋ค๊ณ ๋๋ตํ์ต๋๋ค. ์๋ ์๊ตฌ ์ฌํญ์ด ์์ต๋๊น? ์์ฌ๊ฐ ๋ฐค์ ์ค ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค! ๋น๋์ค๋ฅผ ์ ๊ณตํ๊ณ lstm์ ๋ ์ด๋ธ์ ํ๋ จ์ํค๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค!
๋ช ๊ฐ์ง ์ ์( https://research.google.com/youtube8m/์์ ):
๊ฐ ๋์์์ ๊ณต๊ฐ๋์ด์ผ ํ๋ฉฐ ์กฐํ์๊ฐ 1,000ํ ์ด์์ด์ด์ผ ํฉ๋๋ค.
๊ฐ ๋์์์ ๊ธธ์ด๋ 120์ด์์ 500์ด ์ฌ์ด์ฌ์ผ ํฉ๋๋ค.
๊ฐ ๋น๋์ค๋ ๋์ ์ดํ์ ํ๋ ์ด์์ ์ํฐํฐ์ ์ฐ๊ฒฐ๋์ด์ผ ํฉ๋๋ค.
์ฑ์ธ์ฉ ๋ฐ ๋ฏผ๊ฐํ ์ฝํ
์ธ ๋ ์ ๊ฑฐ๋ฉ๋๋ค(์๋ ๋ถ๋ฅ ๊ธฐ์ค์ ๋ฐ๋ผ ๊ฒฐ์ ๋จ).
3k ๋ถ๋ฅ ๋ ์ด๋ธ์ ์ ์ฒด ๊ตฌ์ฑ ์ ๋ต์ ๊ธฐ๊ณ ๋ง์ด๋ + ๋ถ๋ถ ์๋ ๊ฒํ ์ ๋๋ค.
์๋ ๊ฒํ ๋ ํ๊ทธ๊ฐ ์๊ฐ์ ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ์ง ๊ณ ๋ คํ๊ณ ์๋ฏธ ์๋ ํ๊ทธ๋ฅผ ์ญ์ ํ๋ ๋ฑ youtube-8m ๋ฐ์ดํฐ ์ธํธ ํ์ดํผ์ ์ผ๋ถ ์ ๋ต์ ์ฐธ์กฐํฉ๋๋ค.
ํน์ ์ฑ๊ตด ์ ๋ต @huangjun12big Brother๊ฐ ์ถ๊ฐ๋์์ต๋๋ค.Xie ์จ๋ ๊ฐ ๋น๋์ค์ ์๋งจํฑ ํ๊ทธ + ์ํฐํฐ ํ๊ทธ(์ฆ, ์๊ฐ์ ํ๊ทธ)๋ฅผ ํ์ํด์ผ ํ๋ค๊ณ ๋๋ตํ์ต๋๋ค. ์๋ ์๊ตฌ ์ฌํญ์ด ์์ต๋๊น? ์์ฌ๊ฐ ๋ฐค์ ์ค ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค! ๋น๋์ค๋ฅผ ์ ๊ณตํ๊ณ lstm์ ๋ ์ด๋ธ์ ํ๋ จ์ํค๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค!
๋ช ๊ฐ์ง ์ ์( https://research.google.com/youtube8m/์์ ):
๊ฐ ๋์์์ ๊ณต๊ฐ๋์ด์ผ ํ๋ฉฐ ์กฐํ์๊ฐ 1,000ํ ์ด์์ด์ด์ผ ํฉ๋๋ค.
๊ฐ ๋์์์ ๊ธธ์ด๋ 120์ด์์ 500์ด ์ฌ์ด์ฌ์ผ ํฉ๋๋ค.
๊ฐ ๋น๋์ค๋ ๋์ ์ดํ์ ํ๋ ์ด์์ ์ํฐํฐ์ ์ฐ๊ฒฐ๋์ด์ผ ํฉ๋๋ค.
์ฑ์ธ์ฉ ๋ฐ ๋ฏผ๊ฐํ ์ฝํ ์ธ ๋ ์ ๊ฑฐ๋ฉ๋๋ค(์๋ ๋ถ๋ฅ ๊ธฐ์ค์ ๋ฐ๋ผ ๊ฒฐ์ ๋จ).
3k ๋ถ๋ฅ ๋ ์ด๋ธ์ ์ ์ฒด ๊ตฌ์ฑ ์ ๋ต์ ๊ธฐ๊ณ ๋ง์ด๋ + ๋ถ๋ถ ์๋ ๊ฒํ ์ ๋๋ค.
์๋ ๊ฒํ ๋ ํ๊ทธ๊ฐ ์๊ฐ์ ์ผ๋ก ๋ถ๋ฆฌ ๊ฐ๋ฅํ์ง ๊ณ ๋ คํ๊ณ ์๋ฏธ ์๋ ํ๊ทธ๋ฅผ ์ญ์ ํ๋ ๋ฑ youtube-8m ๋ฐ์ดํฐ ์ธํธ ํ์ดํผ์ ์ผ๋ถ ์ ๋ต์ ์ฐธ์กฐํฉ๋๋ค.
ํน์ ์ฑ๊ตด ์ ๋ต @huangjun12big Brother๊ฐ ์ถ๊ฐ๋์์ต๋๋ค.Xie ์จ๋ ๊ฐ ๋น๋์ค์ ์๋งจํฑ ํ๊ทธ + ์ํฐํฐ ํ๊ทธ(์ฆ, ์๊ฐ์ ํ๊ทธ)๋ฅผ ํ์ํด์ผ ํ๋ค๊ณ ๋๋ตํ์ต๋๋ค. ์๋ ์๊ตฌ ์ฌํญ์ด ์์ต๋๊น? ์์ฌ๊ฐ ๋ฐค์ ์ค ์ ์๊ธฐ๋ฅผ ๋ฐ๋๋๋ค! ๋น๋์ค๋ฅผ ์ ๊ณตํ๊ณ lstm์ ๋ ์ด๋ธ์ ํ๋ จ์ํค๊ธฐ๋ง ํ๋ฉด ๋ฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค!
๋ช ๊ฐ์ง ์ ์( https://research.google.com/youtube8m/์์ ):
๊ฐ ๋์์์ ๊ณต๊ฐ๋์ด์ผ ํ๋ฉฐ ์กฐํ์๊ฐ 1,000ํ ์ด์์ด์ด์ผ ํฉ๋๋ค.
๊ฐ ๋์์์ ๊ธธ์ด๋ 120์ด์์ 500์ด ์ฌ์ด์ฌ์ผ ํฉ๋๋ค.
๊ฐ ๋น๋์ค๋ ๋์ ์ดํ์ ํ๋ ์ด์์ ์ํฐํฐ์ ์ฐ๊ฒฐ๋์ด์ผ ํฉ๋๋ค.
์ฑ์ธ์ฉ ๋ฐ ๋ฏผ๊ฐํ ์ฝํ ์ธ ๋ ์ ๊ฑฐ๋ฉ๋๋ค(์๋ ๋ถ๋ฅ ๊ธฐ์ค์ ๋ฐ๋ผ ๊ฒฐ์ ๋จ).
์ ๋ง ๊ณ ๋ง์ต๋๋ค!
์ด๋ฌํ ํ๊ทธ๋ ์๋งจํฑ ํ๊ทธ ๋ฐ ์ํฐํฐ ํ๊ทธ๋ฅผ ํฌํจํ์ฌ ๋น์ฆ๋์ค ๋ผ์ธ์์ ์ธ๊ธฐ ์๋ ์ฟผ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ฐ์ ธ์ต๋๋ค. ๊ต์ก ์ค์ ๋ชจ๋ ํ๊ทธ๊ฐ ํ๋ฉดํ๋๊ณ ๊ณ์ธต์ ๊ด๊ณ๊ฐ ์์ต๋๋ค.
๋ณด์ค, ๊ธฐ๊ณ ๋ง์ด๋์ด ๋ง๋ฒ์ ์ ๋ต์ ์ฌ์ฉํ๋ค๋ ๊ฒ์ ์ฝ๊ฒ ๋ฐํ ์ ์์ต๋๊น? @ @
๊ทธ๋ฌ๋ ์ฐ๋ฆฌ ํ์ฌ์ ์ฌ์
๊ด๋ จ ์ ๋ต์ ๊ณต๊ฐํ๊ธฐ๊ฐ ์ฝ์ง ์์ต๋๋ค.
๊ทธ๋ฌ๋ https://arxiv.org/pdf/1609.08675.pdf ๋ฅผ ์ฐธ์กฐํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์ด๋ฌํ ํ๊ทธ๋ ์๋งจํฑ ํ๊ทธ ๋ฐ ์ํฐํฐ ํ๊ทธ๋ฅผ ํฌํจํ์ฌ ๋น์ฆ๋์ค ๋ผ์ธ์์ ์ธ๊ธฐ ์๋ ์ฟผ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ฐ์ ธ์ต๋๋ค. ๊ต์ก ์ค์ ๋ชจ๋ ํ๊ทธ๊ฐ ํ๋ฉดํ๋๊ณ ๊ณ์ธต์ ๊ด๊ณ๊ฐ ์์ต๋๋ค.
๋ณด์ค, ๊ธฐ๊ณ ๋ง์ด๋์ด ๋ง๋ฒ์ ์ ๋ต์ ์ฌ์ฉํ๋ค๋ ๊ฒ์ ์ฝ๊ฒ ๋ฐํ ์ ์์ต๋๊น? @ @
๊ทธ๋ฌ๋ ์ฐ๋ฆฌ ํ์ฌ์ ์ฌ์ ๊ด๋ จ ์ ๋ต์ ๊ณต๊ฐํ๊ธฐ๊ฐ ์ฝ์ง ์์ต๋๋ค.
๊ทธ๋ฌ๋ https://arxiv.org/pdf/1609.08675.pdf ๋ฅผ ์ฐธ์กฐํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
์์์ด ๊ณ ๋ง์ ์๋ค์