Mve: Fountain_p11 ๋ฐ์ดํ„ฐ์„ธํŠธ

์— ๋งŒ๋“  2018๋…„ 03์›” 10์ผ  ยท  14์ฝ”๋ฉ˜ํŠธ  ยท  ์ถœ์ฒ˜: simonfuhrmann/mve

์•ˆ๋…•ํ•˜์„ธ์š”
๊ทธ๋ž˜์„œ ์‹ค์ธก ์นด๋ฉ”๋ผ ๋ณด์ •์„ ์‚ฌ์šฉํ•˜์—ฌ Fountain_p11์„ ์žฌ๊ตฌ์„ฑํ•˜๊ณ  ์‹ถ์—ˆ๊ธฐ ๋•Œ๋ฌธ์— midelbury.sh ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์žฅ๋ฉด์„ ๋งŒ๋“  ๋‹ค์Œ featurerecon์„ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์‹ค์ธก ์นด๋ฉ”๋ผ๊ฐ€ ์ •ํ™•ํ•˜์ง€ ์•Š์€ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๋‚˜๋Š” ์‹ฌ์ง€์–ด smv์™€ ํ•จ๊ป˜ ๊ทธ๊ฒƒ์„ ์‚ฌ์šฉํ–ˆ์ง€๋งŒ ์ž‘๋™ํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ground truth ์นด๋ฉ”๋ผ(๋‹ค๋ฅธ ์žฅ๋ฉด์—์„œ ์ž˜ ์ž‘๋™ํ•˜๋Š” ๋‚ด ์ฝ”๋“œ ์‚ฌ์šฉ)๋กœ ground truth ๋ชจ๋ธ์„ ๋‹ค์‹œ ์ดฌ์˜ํ•˜๋ ค๊ณ  ์‹œ๋„ํ–ˆ์ง€๋งŒ ์ž‘๋™ํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. Sretcha ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ฅผ ์˜ฌ๋ฐ”๋ฅด๊ฒŒ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์•Œ๋ ค์ฃผ์„ธ์š”.

ํŽธ์ง‘ํ•˜๋‹ค:
pmvs-2์™€ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๊ณ  ์ œ๋Œ€๋กœ ์ž‘๋™ํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ground truth ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ์˜ฌ๋ฐ”๋ฅธ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์ด๊ฒƒ์€ ์œ ์„ ์ด๋‹ค

๋ชจ๋“  14 ๋Œ“๊ธ€

๋”ฐ๋ผ์„œ ์„ค๋ช…ํ•˜๋Š” ๋ฐฉ์‹์ด ์ข‹์•„ ๋ณด์ž…๋‹ˆ๋‹ค. ์Šคํฌ๋ฆฝํŠธ๋กœ ์žฅ๋ฉด์„ ๋งŒ๋“ค๊ณ  featurerecon ๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์Šคํฌ๋ฆฝํŠธ๋Š” Strrecha ๋ฐ์ดํ„ฐ ์„ธํŠธ๊ฐ€ ์•„๋‹Œ Middlebury์šฉ์ž…๋‹ˆ๋‹ค. ์•ฝ๊ฐ„ ์ ์‘ํ•ด์•ผ ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

  • meta.ini ํŒŒ์ผ์„ ์ง์ ‘ ๋ณด๊ณ  Strecha์˜ ๋งค๊ฐœ๋ณ€์ˆ˜์™€ ๋น„๊ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?
  • featurerecon ๋ฅผ ์‹คํ–‰ํ•˜๊ธฐ ์ „์— UMVE๋กœ ์žฅ๋ฉด์„ ๊ฒ€์‚ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๊ธ€์Ž„, Strecha Fountain_p11์—๋Š” 11๊ฐœ์˜ ์ด๋ฏธ์ง€๋งŒ ํฌํ•จ๋˜์–ด ์žˆ๊ธฐ ๋•Œ๋ฌธ์— ๋‚˜๋Š” ์ˆ˜๋™์œผ๋กœ Fountain_par.txt ๋ฅผ ์ƒ์„ฑํ•˜์—ฌ Middelbury ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ์ž˜ ์‹คํ–‰๋˜๊ณ  meta.ini๊ฐ€ ์‹คํ–‰๋  ๊ฒƒ์ด๋ผ๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. _featurerecon_ ์ „์— ์‹คํ–‰ํ•˜๋ฉด _umve_ ์ž˜ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค. _featurerecon_์„ ์‹คํ–‰ํ•  ๋•Œ ์ด์ƒํ•œ ํšŒ์ „์ด ์žˆ๋Š” ์นด๋ฉ”๋ผ๊ฐ€ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค. 1000๊ฐœ๋งŒ ์–ป๊ณ  ๋ชจ์–‘๊ณผ ๊ฐ™์€ ์›๋ฟ”์„ ํ˜•์„ฑํ•˜๋Š” ์ ์„ ์–ป์Šต๋‹ˆ๋‹ค. ์•„๋ž˜ ์ด๋ฏธ์ง€ ํ™•์ธ
cone

๋˜ํ•œ Strecha๊ฐ€ K , R , T๋ฅผ ํฌํ•จํ•˜๋Š” ์นด๋ฉ”๋ผ 2๊ฐœ ํŒŒ์ผ๊ณผ ํˆฌ์˜ ํ–‰๋ ฌ์„ ํฌํ•จํ•˜๋Š” P๋ผ๋Š” ๋‹ค๋ฅธ ํŒŒ์ผ์„ ๋ฐ์ดํ„ฐ ์„ธํŠธ์— ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์„ ๋ฐœ๊ฒฌํ–ˆ๋‹ค๋ฉด p = K*[R|t]๋ฅผ ๊ณ„์‚ฐํ•˜๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ํ–‰๋ ฌ์„ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜๋‚˜์˜ ์—ด ๋‹ค๋ฅธ ๊ฒ€์‚ฌ ์ด๋ฏธ์ง€ ํƒ€๊ฒฉ์ด ์žˆ๋Š” P ํŒŒ์ผ์˜ ํ•˜๋‚˜.
matrice

์ด ๋ฐ์ดํ„ฐ์„ธํŠธ๋Š” ์‚ฌ๋žŒ๋“ค์ด ๋ฐ์ดํ„ฐ๋ฅผ ๊ฒ€์ฆํ•˜๋Š” ๋ฐ ์–ด๋–ป๊ฒŒ ์‚ฌ์šฉํ–ˆ๋Š”์ง€ ์งœ์ฆ์ด ๋‚ฉ๋‹ˆ๋‹ค.

์ด๋ฏธ์ง€์—์„œ ๋ฌด์—‡์ด ์ž˜๋ชป๋˜์—ˆ๋Š”์ง€ ํ™•์ธํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ์›๋ฟ” ๋ชจ์–‘์˜ ํ”ผ์ฒ˜๋ฅผ ์–ป์œผ๋ฉด ์ผ๋ถ€ ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ์ž˜๋ชป๋˜์—ˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์นด๋ฉ”๋ผ๊ฐ€ ๊ฑฐ๊พธ๋กœ ๋œ ๊ฒƒ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ? ๋‘ ๋ฒˆ์งธ ์Šคํฌ๋ฆฐ์ƒท์˜ ์ˆ˜ํ•™์ด ์ž˜๋ชป๋œ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. RT์˜ ๋งˆ์ง€๋ง‰ ํ–‰์—๋Š” ๋ชจ๋‘ 0์ด ์žˆ์–ด์•ผ ํ•˜๊ณ  ์˜ค๋ฅธ์ชฝ ํ•˜๋‹จ์—๋Š” 1์ด ์žˆ์–ด์•ผ ํ•˜์ง€ ์•Š์Šต๋‹ˆ๊นŒ?

ํ•€ํ™€ ์นด๋ฉ”๋ผ ๋ชจ๋ธ์— ๋”ฐ๋ผ ์ˆ˜ํ•™์€ ์ •ํ™•ํ•ฉ๋‹ˆ๋‹ค. R์€ 3x3 t๋Š” 3x1์ด๊ณ  k๋Š” 3x3์ž…๋‹ˆ๋‹ค. ์™œ RT๋ฅผ ํ–‰๋ณ„๋กœ ํ™•๋Œ€ํ•ด์•ผ ํ• ๊นŒ์š”? ๋™์งˆ ๋ณ€ํ™˜์„ ์ˆ˜ํ–‰ํ•˜๋ ค๋Š” ๊ฒฝ์šฐ ํˆฌ์˜ p๋ฅผ ์ฆ๊ฐ€์‹œํ‚ฌ ์ˆ˜ ์žˆ์Œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.
๋˜ํ•œ ๋‚˜๋Š” ๋ฐฉ๊ธˆ ์ธํ„ฐ๋„ท์—์„œ Strecha๊ฐ€ ๊ทธ์˜ ํˆฌ์˜ P๋ฅผ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ณ„์‚ฐํ•œ๋‹ค๋Š” ๊ฒƒ์„ ๋ฐœ๊ฒฌํ–ˆ์Šต๋‹ˆ๋‹ค. p = k * [R^T |-R^T t]
"^T"๋Š” ์กฐ์˜ฎ๊น€์„ ์˜๋ฏธํ•˜์ง€๋งŒ ๋‚˜๋Š” ์ด๊ฒƒ์„ ์–ป์ง€ ๋ชปํ•ฉ๋‹ˆ๋‹ค.
๋ฌธ์ œ๋กœ ๋Œ์•„๊ฐ€๊ธฐ:
์—ฌ๊ธฐ์— Fountain_par.txt ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹œ๊ฐ„์ด ๋œ๋‹ค๋ฉด ์Šคํฌ๋ฆฝํŠธ์™€ featurerecon์„ ์ง์ ‘ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ํŒŒ์ผ์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ์„ธํŠธ์— ์ œ๊ณต๋œ ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ ์ž˜๋ชป๋˜์—ˆ๊ฑฐ๋‚˜ MVE ๋ฐ SMVS์™€ ํ˜ธํ™˜๋˜์ง€ ์•Š๋Š”๋‹ค๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค.

ํŒ€์˜ ๋ˆ„๊ตฐ๊ฐ€๊ฐ€ ์ด๊ฒƒ์„ ์กฐ์‚ฌํ•  ์‹œ๊ฐ„์ด ์žˆ์„์ง€๋„ ๋ชจ๋ฆ…๋‹ˆ๋‹ค. ์ €๋Š” ๊ทธ๋ ‡์ง€ ์•Š์Šต๋‹ˆ๋‹ค. @nmoehrle , @flanggut?

๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋‚˜๋Š” ๋ชจ๋“  Strecha ๋ฐ์ดํ„ฐ ์„ธํŠธ๊ฐ€ ์—ฌ๊ธฐ์— ์žˆ๋Š” ์ƒˆ๋กœ์šด ๋ฐ์ดํ„ฐ ์„ธํŠธ๋ผ๋„ ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ์•˜์Šต๋‹ˆ๋‹ค. https://cvlab.epfl.ch/data/strechamvs ๋„ ์ž‘๋™ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ์ง„์‹ค ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜๊ฐ€ MVE ๋ฐ SMVS์™€ ํ˜ธํ™˜๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์— meta.ini ํŒŒ์ผ ์ค‘ ํ•˜๋‚˜๋ฅผ ๊ฒŒ์‹œํ•˜์„ธ์š”.

UMVE์˜ ์Šคํฌ๋ฆฐ์ƒท์„ ๋ณผ ๋•Œ ํšŒ์ „์ด ์˜ฌ๋ฐ”๋ฅด์ง€ ์•Š์€ ๊ฒƒ์„ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ณด๊ธฐ๋Š” ์ค‘์•™์„ ๋ฐ”๋ผ๋ณด๋Š” ํ˜ธ๋ฅผ ํ˜•์„ฑํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋‚ด๊ฐ€ strecha๋ฅผ ์‹คํ—˜ํ–ˆ์„ ๋•Œ ๋‚˜๋Š” ๋‚ด ์ž์‹ ์˜ ๋ณ€ํ™˜ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ์—ˆ๊ณ  ๊ทธ๊ฒƒ๋“ค์€ ํŒŒ์ด์ฌ์œผ๋กœ ์ž‘์„ฑ๋˜์—ˆ๊ธฐ ๋•Œ๋ฌธ์— MVE์— ํ†ตํ•ฉํ•˜๋ ค๊ณ  ์‹œ๋„ํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜๋ฅผ ๋ณ€ํ™˜ํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•œ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ๋ณด์—ฌ์ฃผ๊ฑฐ๋‚˜ ๋งํฌ๋ฅผ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๊นŒ?

๋‚ด ์ถ”์ธก์œผ๋กœ๋Š” ์นด๋ฉ”๋ผ ์œ„์น˜(strecha ์นด๋ฉ”๋ผ ํŒŒ์ผ์— ์ €์žฅ๋œ c)๋ฅผ ๋ฒˆ์—ญ(t = -R * c)์œผ๋กœ ๋ณ€ํ™˜ํ•˜์ง€ ์•Š์•˜๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋˜ํ•œ Strecha ์นด๋ฉ”๋ผ ํŒŒ์ผ์— ์•ฝ๊ฐ„์˜ ๊ธฐ์ดํ•จ์ด ์žˆ๋‹ค๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ์นด๋ฉ”๋ผ ํ–‰๋ ฌ์€ ํ–‰ ๋ฉ”์ด์ €์ด๊ณ  ํšŒ์ „ ํ–‰๋ ฌ์€ ์—ด ๋ฉ”์ด์ €์ž…๋‹ˆ๋‹ค. ์•„๋‹ˆ๋ฉด ์ „์น˜๋œ ํšŒ์ „ ํ–‰๋ ฌ์ด ์ €์žฅ๋ฉ๋‹ˆ๋‹ค(R^t).

@simonfuhrmann ์—ฌ๊ธฐ ๋ฉ”ํƒ€ ํŒŒ์ผ
๋ฉ”ํƒ€.txt
@nmoehrle ์ž˜ ๋‚˜๋Š” ์ด๊ฒƒ์„ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค: https://github.com/simonfuhrmann/mve/wiki/Middlebury-Datasets .
๊ทธ๋ฆฌ๊ณ  ๋„ค ์ €๋Š” (t = -R * c) ํ•˜์ง€ ์•Š์•˜์œผ๋ฏ€๋กœ Strecha๊ฐ€ ๋ฒˆ์—ญ ๋ฒกํ„ฐ t๋ฅผ ์ œ๊ณตํ•œ๋‹ค๊ณ  ์ƒ๊ฐํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‚˜๋ฅผ ํ˜ผ๋ž€์Šค๋Ÿฝ๊ฒŒ ํ•œ ๊ฒƒ์€ Readme ํŒŒ์ผ์˜ Stesha๊ฐ€ p = k * [R^T |-R^T t ] ๊ทธ๊ฐ€ t ๋ฅผ c -_- ๋กœ ๋Œ€์ฒดํ–ˆ๋‹ค๋ฉด. ๋‚˜๋Š”์ด ์ •๋ณด๋ฅผ ์‚ฌ์šฉํ•˜๊ณ  ๊ทธ๊ฒƒ์ด ๋ฌด์—‡์„ ์ œ๊ณตํ•˜๋Š”์ง€ ๋ณผ ๊ฒƒ์ž…๋‹ˆ๋‹ค

์ด ์Šคํฌ๋ฆฝํŠธ๋Š” strecha ๋ฒค์น˜๋งˆํฌ์˜ .camera ํŒŒ์ผ์„ ๊ตฌ๋ฌธ ๋ถ„์„ํ•  ์ˆ˜ ์—†์œผ๋ฉฐ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ํ•œ ์ค„์˜ middlebury ์นด๋ฉ”๋ผ ๋งค๊ฐœ๋ณ€์ˆ˜ ํ˜•์‹๋งŒ ์ฝ์Šต๋‹ˆ๋‹ค.
"imgname.png k11 k12 k13 k21 k22 k23 k31 k32 k33 r11 r12 r13 r21 r22 r23 r31 r32 r33 t1 t2 t3" .

.camera ํŒŒ์ผ์˜ ๊ตฌ์กฐ๋Š” ์™„์ „ํžˆ ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

|๋ผ์ธ|๋‚ด์šฉ|
|--------|-|
| 1-3 | K ๋งคํŠธ๋ฆญ์Šค |
| 4 | ์•Œ ์ˆ˜ ์—†์Œ |
| 5-7 | R^t |
| 8 | ใ„ท |
| 9 | ๋„ˆ๋น„ ๋†’์ด |

@nmoehrle ์˜ˆ ์˜ˆ 11๊ฐœ ์ด๋ฏธ์ง€์— ๋Œ€ํ•ด .camera์—์„œ Fountain_par.txt ํŒŒ์ผ์„ ์ˆ˜๋™์œผ๋กœ ๋งŒ๋“ค์—ˆ๋‹ค๋Š” ๊ฒƒ์„ ์•Œ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค(๋‚ด ์ž์‹ ์˜ ํŒŒ์„œ๋ฅผ ์ž‘์„ฑํ•˜๋Š” ๋ฐ ๊ฒŒ์œผ๋ฆ„). ๋‚ด๊ฐ€ ๊ณ ๋ คํ•˜์ง€ ์•Š์€ ์œ ์ผํ•œ ๊ฒƒ์€ (t = -R * c)์ž…๋‹ˆ๋‹ค. .camera์— ์ฃผ์–ด์ง„ c๋ฅผ t๋กœ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ๋‚˜๋Š” ์ด๊ฒƒ์„ ๋‚˜์ค‘์— ์ˆ˜์ •ํ•˜๊ณ  ๊ฒฐ๊ณผ๋ฅผ ๊ฒŒ์‹œ ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค

@nmoehrle ๊ธ€์Ž„์š” ๋‹น์‹  ๋•๋ถ„์— ๋ฌธ์ œ๊ฐ€ ํ•ด๊ฒฐ๋˜์—ˆ๋‹ค๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค
screen

๋„ค, ์ด๋ ‡๊ฒŒ ๊ธฐ์–ตํ•ฉ๋‹ˆ๋‹ค :-)

์ด ํŽ˜์ด์ง€๊ฐ€ ๋„์›€์ด ๋˜์—ˆ๋‚˜์š”?
0 / 5 - 0 ๋“ฑ๊ธ‰

๊ด€๋ จ ๋ฌธ์ œ

GustavoCamargoRL picture GustavoCamargoRL  ยท  13์ฝ”๋ฉ˜ํŠธ

Jus80687 picture Jus80687  ยท  11์ฝ”๋ฉ˜ํŠธ

daleydeng picture daleydeng  ยท  8์ฝ”๋ฉ˜ํŠธ

HelliceSaouli picture HelliceSaouli  ยท  12์ฝ”๋ฉ˜ํŠธ

MaxDidIt picture MaxDidIt  ยท  30์ฝ”๋ฉ˜ํŠธ