Mve: Vista de vista para punto denso

El trabajo al que se hace referencia utiliza una técnica de reconstrucción fundamentalmente diferente a la MVE. Soy consciente de este trabajo. La información de la línea de vista se usa principalmente para la optimización de la superficie, pero MVE no realiza ninguna optimización global en ninguna etapa de la tubería (excepto BA, por supuesto). Dudo que esta técnica esté o pueda integrarse en MVE. Al menos no sé cómo.

Que yo sepa, ambas técnicas incluyen cuatro etapas:

Generación de 1 nube de puntos densa mediante la fusión del mapa de profundidad en cada vista
2 reconstrucción de superficie/malla (nube de puntos -> caras triangulares)
3 optimización de superficie/malla (global o local)
4 texturizado

La principal diferencia entre las dos técnicas es la reconstrucción de superficies, fssr para mve, selección de caras (triangulación delaunay + corte st) para su trabajo. La línea de visión juega un papel importante para la reconstrucción de la superficie, no solo para la optimización de la superficie en su trabajo. El resultado de fssr tiende a ser suave, mientras que el método basado en la selección de caras puede mantener el borde afilado.

En mi opinión, la vista de la línea debe exportarse opcionalmente después de la primera etapa, luego se podría desarrollar la nueva etapa de reconstrucción de la superficie, y por último hacer el mismo texturizado.

https://github.com/cdcseacave/openMVS/wiki/Modules

Una dificultad adicional es que no existe una biblioteca de tetraedralización de Delaunay con licencia permisiva.
http://doc.cgal.org/latest/Triangulation_3/index.html#Chapter_3D_Triangulations => GPL
http://wias-berlin.de/software/tetgen/ => AGPL
Tenga en cuenta que MVE utiliza una licencia permisiva.

cgal es lo que usó openmvs, openmvs está tratando de implementar el esquema de selección de rostros, pero su código es muy, muy feo ~

Nunca diría que un código fuente abierto es feo, esto no es muy amable con los autores.
Poner algo como código abierto y dejar que cualquiera pueda usarlo es algo bueno.
PD: Debe tener en cuenta que no existe otra implementación de código abierto de "línea de visión".
OpenMVS implementa el corte de grah de la triangulación de tetraedros de Delaunay de forma genérica (permite usar varios algoritmos de corte de grafos) y con y sin visibilidad superficial débil.

Hasta donde yo sé, las diferencias entre los enfoques son graves.

1) La malla de superficie se construye a partir de la nube de puntos semidispersos, mientras que MVE (FSSR) la construye sobre los puntos ultradensos
2) El MVS real se realiza en la propia malla con optimización, mientras que en MVE se realiza mediante mapas de profundidad.

El primer paso requiere la tetraedralización en una optimización global, como mencionó Pierre. La tetraedralización en sí misma es muy desagradable, sin siquiera hablar de incluir optimización para determinar la conectividad. A mí me parece que los enfoques son tan diferentes que ni siquiera quiero pensar en casarme con ellos.

Y bueno, incluso el código fuente abierto puede ser feo. De hecho, es el único código que puede ser feo porque no puedes ver el código fuente cercano. ;-)

Sí, mi culpa, el código abierto debe ser respetado. Solo porque pasé un tiempo estudiándolo y descubrí que es un poco difícil de entender y con errores que no son tan elegantes como MVE, gracias de todos modos ~

He estado jugando bastante con Theia y OpenMVS. @daleydeng Estoy de acuerdo en que hay algunos errores en OpenMVS que bloquean completamente su proceso de reconstrucción y requieren depuración.

Descubrí que OpenMVS produce modelos bastante buenos cuando se salta el proceso de densificación y pasa directamente a reconstruir la entrada escasa y luego refinarla. REALMENTE me gustaría que la implementación de CUDA de Refine funcione, pero tuve problemas de vinculación que aún no he podido resolver. Este proceso es bastante rápido ya que la nube dispersa contiene significativamente menos puntos y generalmente da como resultado una malla final que también tiene un recuento de polígonos tolerable.

Ejecutar Densify+Reconstruct+Refine lleva MUCHO más tiempo y produce una malla muy grande. Sin embargo, la calidad es mejor cuando se rellenan áreas que no cubrieron.

El texturizado también es muy bueno, y agradezco que OpenMVS ofrezca un paquete completo y sea de código abierto.

Soy interesante ahora en MVE y espero aprender más.