์๋
ํ์ธ์
๊ทธ๋์ ์ค์ธก ์นด๋ฉ๋ผ ๋ณด์ ์ ์ฌ์ฉํ์ฌ Fountain_p11์ ์ฌ๊ตฌ์ฑํ๊ณ ์ถ์๊ธฐ ๋๋ฌธ์ midelbury.sh ์คํฌ๋ฆฝํธ๋ฅผ ์ฌ์ฉํ์ฌ ์ฅ๋ฉด์ ๋ง๋ ๋ค์ featurerecon์ ์ฌ์ฉํ์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ค์ธก ์นด๋ฉ๋ผ๊ฐ ์ ํํ์ง ์์ ๊ฒ ๊ฐ์ต๋๋ค. ๋๋ ์ฌ์ง์ด smv์ ํจ๊ป ๊ทธ๊ฒ์ ์ฌ์ฉํ์ง๋ง ์๋ํ์ง ์์์ต๋๋ค. ๋ํ ground truth ์นด๋ฉ๋ผ(๋ค๋ฅธ ์ฅ๋ฉด์์ ์ ์๋ํ๋ ๋ด ์ฝ๋ ์ฌ์ฉ)๋ก ground truth ๋ชจ๋ธ์ ๋ค์ ์ดฌ์ํ๋ ค๊ณ ์๋ํ์ง๋ง ์๋ํ์ง ์์์ต๋๋ค. Sretcha ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฌ๋ฐ๋ฅด๊ฒ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ์๋ ค์ฃผ์ธ์.
ํธ์งํ๋ค:
pmvs-2์ ํจ๊ป ์ฌ์ฉํ๊ณ ์ ๋๋ก ์๋ํ๊ธฐ ๋๋ฌธ์ ground truth ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์๊ฐ ์ฌ๋ฐ๋ฅธ ๊ฒ ๊ฐ์ต๋๋ค. ์ด๊ฒ์ ์ ์ ์ด๋ค
๋ฐ๋ผ์ ์ค๋ช
ํ๋ ๋ฐฉ์์ด ์ข์ ๋ณด์
๋๋ค. ์คํฌ๋ฆฝํธ๋ก ์ฅ๋ฉด์ ๋ง๋ค๊ณ featurerecon
๋ฅผ ์คํํฉ๋๋ค. ๊ทธ๋ฌ๋ ์คํฌ๋ฆฝํธ๋ Strrecha ๋ฐ์ดํฐ ์ธํธ๊ฐ ์๋ Middlebury์ฉ์
๋๋ค. ์ฝ๊ฐ ์ ์ํด์ผ ํ ์๋ ์์ต๋๋ค.
meta.ini
ํ์ผ์ ์ง์ ๋ณด๊ณ Strecha์ ๋งค๊ฐ๋ณ์์ ๋น๊ตํ ์ ์์ต๋๊น?featurerecon
๋ฅผ ์คํํ๊ธฐ ์ ์ UMVE๋ก ์ฅ๋ฉด์ ๊ฒ์ฌํ ์ ์์ต๋๊น?๊ธ์, Strecha Fountain_p11์๋ 11๊ฐ์ ์ด๋ฏธ์ง๋ง ํฌํจ๋์ด ์๊ธฐ ๋๋ฌธ์ ๋๋ ์๋์ผ๋ก Fountain_par.txt ๋ฅผ ์์ฑํ์ฌ Middelbury ์คํฌ๋ฆฝํธ๊ฐ ์ ์คํ๋๊ณ meta.ini๊ฐ ์คํ๋ ๊ฒ์ด๋ผ๊ณ ์๊ฐํฉ๋๋ค. _featurerecon_ ์ ์ ์คํํ๋ฉด _umve_ ์ ์คํ๋ฉ๋๋ค. _featurerecon_์ ์คํํ ๋ ์ด์ํ ํ์ ์ด ์๋ ์นด๋ฉ๋ผ๊ฐ ํ์๋ฉ๋๋ค. 1000๊ฐ๋ง ์ป๊ณ ๋ชจ์๊ณผ ๊ฐ์ ์๋ฟ์ ํ์ฑํ๋ ์ ์ ์ป์ต๋๋ค. ์๋ ์ด๋ฏธ์ง ํ์ธ
๋ํ Strecha๊ฐ K , R , T๋ฅผ ํฌํจํ๋ ์นด๋ฉ๋ผ 2๊ฐ ํ์ผ๊ณผ ํฌ์ ํ๋ ฌ์ ํฌํจํ๋ P๋ผ๋ ๋ค๋ฅธ ํ์ผ์ ๋ฐ์ดํฐ ์ธํธ์ ์ ๊ณตํ๋ ๊ฒ์ ๋ฐ๊ฒฌํ๋ค๋ฉด p = K*[R|t]๋ฅผ ๊ณ์ฐํ๋ฉด ๋ค์๊ณผ ๊ฐ์ ํ๋ ฌ์ ์ป์ ์ ์์ต๋๋ค. ํ๋์ ์ด ๋ค๋ฅธ ๊ฒ์ฌ ์ด๋ฏธ์ง ํ๊ฒฉ์ด ์๋ P ํ์ผ์ ํ๋.
์ด ๋ฐ์ดํฐ์ธํธ๋ ์ฌ๋๋ค์ด ๋ฐ์ดํฐ๋ฅผ ๊ฒ์ฆํ๋ ๋ฐ ์ด๋ป๊ฒ ์ฌ์ฉํ๋์ง ์ง์ฆ์ด ๋ฉ๋๋ค.
์ด๋ฏธ์ง์์ ๋ฌด์์ด ์๋ชป๋์๋์ง ํ์ธํ๊ธฐ ์ด๋ ต์ต๋๋ค. ์๋ฟ ๋ชจ์์ ํผ์ฒ๋ฅผ ์ป์ผ๋ฉด ์ผ๋ถ ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์๊ฐ ์๋ชป๋์์ ์ ์์ต๋๋ค. ์นด๋ฉ๋ผ๊ฐ ๊ฑฐ๊พธ๋ก ๋ ๊ฒ์ผ ์ ์์ต๋๊น? ๋ ๋ฒ์งธ ์คํฌ๋ฆฐ์ท์ ์ํ์ด ์๋ชป๋ ๊ฒ ๊ฐ์ต๋๋ค. RT์ ๋ง์ง๋ง ํ์๋ ๋ชจ๋ 0์ด ์์ด์ผ ํ๊ณ ์ค๋ฅธ์ชฝ ํ๋จ์๋ 1์ด ์์ด์ผ ํ์ง ์์ต๋๊น?
ํํ ์นด๋ฉ๋ผ ๋ชจ๋ธ์ ๋ฐ๋ผ ์ํ์ ์ ํํฉ๋๋ค. R์ 3x3 t๋ 3x1์ด๊ณ k๋ 3x3์
๋๋ค. ์ RT๋ฅผ ํ๋ณ๋ก ํ๋ํด์ผ ํ ๊น์? ๋์ง ๋ณํ์ ์ํํ๋ ค๋ ๊ฒฝ์ฐ ํฌ์ p๋ฅผ ์ฆ๊ฐ์ํฌ ์ ์์์ ์๋ฏธํฉ๋๋ค.
๋ํ ๋๋ ๋ฐฉ๊ธ ์ธํฐ๋ท์์ Strecha๊ฐ ๊ทธ์ ํฌ์ P๋ฅผ ๋ค์๊ณผ ๊ฐ์ด ๊ณ์ฐํ๋ค๋ ๊ฒ์ ๋ฐ๊ฒฌํ์ต๋๋ค. p = k * [R^T |-R^T t]
"^T"๋ ์กฐ์ฎ๊น์ ์๋ฏธํ์ง๋ง ๋๋ ์ด๊ฒ์ ์ป์ง ๋ชปํฉ๋๋ค.
๋ฌธ์ ๋ก ๋์๊ฐ๊ธฐ:
์ฌ๊ธฐ์ Fountain_par.txt ๊ฐ ์์ต๋๋ค. ์๊ฐ์ด ๋๋ค๋ฉด ์คํฌ๋ฆฝํธ์ featurerecon์ ์ง์ ์คํํ ์ ์๋ ํ์ผ์
๋๋ค. ๋ฐ์ดํฐ์ธํธ์ ์ ๊ณต๋ ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์๊ฐ ์๋ชป๋์๊ฑฐ๋ MVE ๋ฐ SMVS์ ํธํ๋์ง ์๋๋ค๊ณ ์๊ฐํฉ๋๋ค.
ํ์ ๋๊ตฐ๊ฐ๊ฐ ์ด๊ฒ์ ์กฐ์ฌํ ์๊ฐ์ด ์์์ง๋ ๋ชจ๋ฆ ๋๋ค. ์ ๋ ๊ทธ๋ ์ง ์์ต๋๋ค. @nmoehrle , @flanggut?
๊ฐ์ฌํฉ๋๋ค. ๋ํ ๋๋ ๋ชจ๋ Strecha ๋ฐ์ดํฐ ์ธํธ๊ฐ ์ฌ๊ธฐ์ ์๋ ์๋ก์ด ๋ฐ์ดํฐ ์ธํธ๋ผ๋ ์๋ค๋ ๊ฒ์ ์์์ต๋๋ค. https://cvlab.epfl.ch/data/strechamvs ๋ ์๋ํ์ง ์์ต๋๋ค. ์ง์ค ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์๊ฐ MVE ๋ฐ SMVS์ ํธํ๋์ง ์์ต๋๋ค.
์ฌ๊ธฐ์ meta.ini
ํ์ผ ์ค ํ๋๋ฅผ ๊ฒ์ํ์ธ์.
UMVE์ ์คํฌ๋ฆฐ์ท์ ๋ณผ ๋ ํ์ ์ด ์ฌ๋ฐ๋ฅด์ง ์์ ๊ฒ์ ์ ์ ์์ต๋๋ค. ๋ณด๊ธฐ๋ ์ค์์ ๋ฐ๋ผ๋ณด๋ ํธ๋ฅผ ํ์ฑํด์ผ ํฉ๋๋ค. ๋ด๊ฐ strecha๋ฅผ ์คํํ์ ๋ ๋๋ ๋ด ์์ ์ ๋ณํ ์คํฌ๋ฆฝํธ๋ฅผ ๊ฐ์ง๊ณ ์์๊ณ ๊ทธ๊ฒ๋ค์ ํ์ด์ฌ์ผ๋ก ์์ฑ๋์๊ธฐ ๋๋ฌธ์ MVE์ ํตํฉํ๋ ค๊ณ ์๋ํ์ง ์์์ต๋๋ค. ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์๋ฅผ ๋ณํํ๋ ๋ฐ ์ฌ์ฉํ ์คํฌ๋ฆฝํธ๋ฅผ ๋ณด์ฌ์ฃผ๊ฑฐ๋ ๋งํฌ๋ฅผ ์ ๊ณตํ ์ ์์ต๋๊น?
๋ด ์ถ์ธก์ผ๋ก๋ ์นด๋ฉ๋ผ ์์น(strecha ์นด๋ฉ๋ผ ํ์ผ์ ์ ์ฅ๋ c)๋ฅผ ๋ฒ์ญ(t = -R * c)์ผ๋ก ๋ณํํ์ง ์์๋ค๋ ๊ฒ์ ๋๋ค. ๋ํ Strecha ์นด๋ฉ๋ผ ํ์ผ์ ์ฝ๊ฐ์ ๊ธฐ์ดํจ์ด ์๋ค๊ณ ์๊ฐํฉ๋๋ค. ์นด๋ฉ๋ผ ํ๋ ฌ์ ํ ๋ฉ์ด์ ์ด๊ณ ํ์ ํ๋ ฌ์ ์ด ๋ฉ์ด์ ์ ๋๋ค. ์๋๋ฉด ์ ์น๋ ํ์ ํ๋ ฌ์ด ์ ์ฅ๋ฉ๋๋ค(R^t).
@simonfuhrmann ์ฌ๊ธฐ ๋ฉํ ํ์ผ
๋ฉํ.txt
@nmoehrle ์ ๋๋ ์ด๊ฒ์ ์ฌ์ฉํ์ต๋๋ค: https://github.com/simonfuhrmann/mve/wiki/Middlebury-Datasets .
๊ทธ๋ฆฌ๊ณ ๋ค ์ ๋ (t = -R * c) ํ์ง ์์์ผ๋ฏ๋ก Strecha๊ฐ ๋ฒ์ญ ๋ฒกํฐ t๋ฅผ ์ ๊ณตํ๋ค๊ณ ์๊ฐํ์ต๋๋ค. ๋๋ฅผ ํผ๋์ค๋ฝ๊ฒ ํ ๊ฒ์ Readme ํ์ผ์ Stesha๊ฐ p = k * [R^T |-R^T t ] ๊ทธ๊ฐ t ๋ฅผ c -_- ๋ก ๋์ฒดํ๋ค๋ฉด. ๋๋์ด ์ ๋ณด๋ฅผ ์ฌ์ฉํ๊ณ ๊ทธ๊ฒ์ด ๋ฌด์์ ์ ๊ณตํ๋์ง ๋ณผ ๊ฒ์
๋๋ค
์ด ์คํฌ๋ฆฝํธ๋ strecha ๋ฒค์น๋งํฌ์ .camera ํ์ผ์ ๊ตฌ๋ฌธ ๋ถ์ํ ์ ์์ผ๋ฉฐ ๋ค์๊ณผ ๊ฐ์ ํ ์ค์ middlebury ์นด๋ฉ๋ผ ๋งค๊ฐ๋ณ์ ํ์๋ง ์ฝ์ต๋๋ค.
"imgname.png k11 k12 k13 k21 k22 k23 k31 k32 k33 r11 r12 r13 r21 r22 r23 r31 r32 r33 t1 t2 t3" .
.camera ํ์ผ์ ๊ตฌ์กฐ๋ ์์ ํ ๋ค๋ฆ ๋๋ค.
|๋ผ์ธ|๋ด์ฉ|
|--------|-|
| 1-3 | K ๋งคํธ๋ฆญ์ค |
| 4 | ์ ์ ์์ |
| 5-7 | R^t |
| 8 | ใท |
| 9 | ๋๋น ๋์ด |
@nmoehrle ์ ์ 11๊ฐ ์ด๋ฏธ์ง์ ๋ํด .camera์์ Fountain_par.txt ํ์ผ์ ์๋์ผ๋ก ๋ง๋ค์๋ค๋ ๊ฒ์ ์๊ณ ์์ต๋๋ค(๋ด ์์ ์ ํ์๋ฅผ ์์ฑํ๋ ๋ฐ ๊ฒ์ผ๋ฆ). ๋ด๊ฐ ๊ณ ๋ คํ์ง ์์ ์ ์ผํ ๊ฒ์ (t = -R * c)์ ๋๋ค. .camera์ ์ฃผ์ด์ง c๋ฅผ t๋ก ์ฌ์ฉํ์ต๋๋ค. ๋๋ ์ด๊ฒ์ ๋์ค์ ์์ ํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๊ฒ์ ํ ๊ฒ์ ๋๋ค
@nmoehrle ๊ธ์์ ๋น์ ๋๋ถ์ ๋ฌธ์ ๊ฐ ํด๊ฒฐ๋์๋ค๊ณ ์๊ฐํฉ๋๋ค
๋ค, ์ด๋ ๊ฒ ๊ธฐ์ตํฉ๋๋ค :-)