Vins-application: quelques entrées concernant D435i + vins_fusion

@FaboNo J'ai réussi à le faire fonctionner avec la configuration ci-dessous, je n'ai pas eu besoin d'exécuter mes propres étalonnages et, je suis sûr que cela pourrait mieux fonctionner avec un étalonnage approprié, mais cela fonctionne bien et ne diverge pas

J'ai utilisé les fichiers left.yaml et right.yaml fournis dans ce référentiel

Assurez-vous que vous désactivez l'exposition automatique et désactivez l'émetteur IR dans les options realsense,

%YAML:1.0

#common parameters
#support: 1 imu 1 cam; 1 imu 2 cam: 2 cam; 
imu: 1
num_of_cam: 2

imu_topic: "/camera/imu"
image0_topic: "/camera/infra1/image_rect_raw"
image1_topic: "/camera/infra2/image_rect_raw"
output_path: "/home/dji/output/"

cam0_calib: "left.yaml"
cam1_calib: "right.yaml"
image_width: 640
image_height: 480


# Extrinsic parameter between IMU and Camera.
estimate_extrinsic: 1   # 0  Have an accurate extrinsic parameters. We will trust the following imu^R_cam, imu^T_cam, don't change it.
                        # 1  Have an initial guess about extrinsic parameters. We will optimize around your initial guess.

body_T_cam0: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [  1,0,0,0.00552,
            0,1,0,-0.0051,
            0,0,1,-0.01174,
            0., 0., 0., 1. ]

body_T_cam1: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1,0,0,-0.04464144,
           0,1,0,-0.0051,
           0,0,1,-0.01174,
           0., 0., 0., 1. ]

#Multiple thread support
multiple_thread: 1

#feature traker paprameters
max_cnt: 150            # max feature number in feature tracking
min_dist: 30            # min distance between two features 
freq: 10                # frequence (Hz) of publish tracking result. At least 10Hz for good estimation. If set 0, the frequence will be same as raw image
F_threshold: 1.0        # ransac threshold (pixel)
show_track: 1           # publish tracking image as topic
flow_back: 1            # perform forward and backward optical flow to improve feature tracking accuracy

#optimization parameters
max_solver_time: 0.04  # max solver itration time (ms), to guarantee real time
max_num_iterations: 8   # max solver itrations, to guarantee real time
keyframe_parallax: 10.0 # keyframe selection threshold (pixel)

#imu parameters       The more accurate parameters you provide, the better performance
acc_n: 0.1          # accelerometer measurement noise standard deviation. #0.2   0.04
gyr_n: 0.01         # gyroscope measurement noise standard deviation.     #0.05  0.004
acc_w: 0.001         # accelerometer bias random work noise standard deviation.  #0.002
gyr_w: 0.0001       # gyroscope bias random work noise standard deviation.     #4.0e-5
g_norm: 9.805         # gravity magnitude

#unsynchronization parameters
estimate_td: 1                      # online estimate time offset between camera and imu
td: -0.072                             # initial value of time offset. unit: s. readed image clock + td = real image clock (IMU clock)

#loop closure parameters
load_previous_pose_graph: 0        # load and reuse previous pose graph; load from 'pose_graph_save_path'
pose_graph_save_path: "/home/dji/output/pose_graph/" # save and load path
save_image: 0                   # save image in pose graph for visualization prupose; you can close this function by setting 0 

@FaboNo Salut FaboNo. Je suis vraiment désolé pour la réponse tardive. Je ne savais pas que j'avais un nouveau problème.

1. Tout d'abord, je vous recommande de calibrer votre modèle de caméra avec pinhold-radtan , plutôt que equidistant , que vous avez utilisé.

2. Après les bons étalonnages de la caméra, essayez d'exécuter VINS-Fusion avec 2 caméras et 0 mode imu.
   Cela devrait bien fonctionner en premier (sous des mouvements faciles, sans mouvement rapide ni rotation pure)

3. Assurez-vous que votre body_T_cam est une matrice T_cam_imu partir de votre résultat Kalibr .
   Vérifiez également vos body_T_cam0 et 1 avant d'exécuter uniquement le mode 2 caméras (ci-dessus).

4. négatif timeshift_cam_imu est la valeur normale pour d435i, ce qui signifie que la caméra est postérieure à l'IMU.

5. Vous n'êtes pas obligé d'exécuter Kalibr Allan pour votre étalonnage IMU, qui ne convenait pas au d435i pour mon expérience,
   J'ai plutôt trouvé le modèle IMU du d435i, puis j'ai simplement utilisé le paramètre de ce modèle spécifique comme

6. Cependant, je recommande d'utiliser uniquement par défaut imu parameters comme ici
   Ils devraient suffire. (ou, augmentez-les légèrement, comme 3 fois les valeurs par défaut)

7. Je vous recommande d'exécuter IMU calibration partir du SDK D435i comme je l'ai expliqué ici

@FaboNo
Au fait, j'ai vérifié que les fichiers de paramètres/yaml par défaut des auteurs originaux pour D435i fonctionnaient assez bien auparavant.
Même avec toutes les valeurs de distorsion 0 et uniquement les valeurs focales/points principaux et les valeurs nominales body_T_cam .

Je pense que les résultats d'étalonnage intrinsèque de votre caméra equidistant avec des valeurs de distorsion énormes sont le principal problème.

@engcang merci pour ton message, en fait les images sont déjà rectifiées donc lancer Kalibr dessus c'est presque inutile non ?
Comme elles sont rectifiées, la distorsion doit également être égale à 0.

@marufino merci beaucoup pour votre message, je vais essayer demain et je vous tiens au courant

@FaboNo
Des nouvelles de ce problème ? L'avez-vous fait fonctionner ?
J'ai récemment eu la chance de tester VINS-Fusion (stéréo) avec Intel D435i et voici le clip du

@engcang, je suis désolé de répondre si tard. J'ai vu la vidéo et elle est impressionnante. J'ai donc quelques questions à vous poser, principalement parce que vous avez utilisé le PixHawk4.

• Cela signifie-t-il que la précision de l'IMU est meilleure que celle du D435i ?
• A quelle fréquence lisez-vous les données IMU 100hz, 200hz ?
• Avez-vous utilisé PX4 et si oui, avez-vous utilisé Mavros pour lire les données ? Personnellement j'ai essayé PixHawk2 et ce n'était pas convaincant et je n'ai pas pu augmenter la fréquence IMU de plus de 100Hz
  Très bon travail!

@FaboNo Salut.

• Oui. Je pense que Pixhawk4 mini a une meilleure IMU que D435i. Cause Pixhawk 4 mini utilise deux IMU 6DOF et un magnétomètre, puis les filtre pour sortir un sujet ROS (pas sûr à 100% pour le filtrage, mais ils ont deux IMU).
• J'ai utilisé 100 Hz.
• Oui j'ai utilisé PX4 et MAVROS. Je me souviens que je pouvais obtenir environ 150 Hz au maximum, mais quelque part, j'ai vu que le rapport 3:1 pour l'IMU et le FPS de la caméra est optimal pour VINS. Nous utilisons généralement une caméra à 30 Hz, j'ai donc pensé que 100 Hz était approprié.

@engcang merci pour votre réponse. Je me demande si vous avez modifié les valeurs des paramètres imu dans realsense_stereo_imu_config.yaml ou les avez-vous conservées inchangées ?
je vais quand même essayer ta configuration

@FaboNo
Salut. Habituellement, je ne modifie pas les paramètres IMU dans le fichier yaml. J'ai également essayé de définir les paramètres de l'IMU comme je l'ai obtenu de Kalibr_allan ,
Cependant, je n'ai pas pu obtenir de meilleures performances en les utilisant.

Seulement pour les cas fous comme les robots quadrupèdes en contact dur avec le sol, j'essaie de définir des paramètres 10 fois plus gros ou moins, et ça marche.