Vins-application: 关于 D435i + vins_fusion 的一些输入

@FaboNo我设法让它与下面的配置一起工作，不需要运行我自己的校准，我相信它可以通过适当的校准更好地工作，但它运行良好并且不会发散

我使用了这个 repo 中提供的 left.yaml 和 right.yaml

确保您在实感选项中关闭自动曝光并关闭红外发射器，

%YAML:1.0

#common parameters
#support: 1 imu 1 cam; 1 imu 2 cam: 2 cam; 
imu: 1
num_of_cam: 2

imu_topic: "/camera/imu"
image0_topic: "/camera/infra1/image_rect_raw"
image1_topic: "/camera/infra2/image_rect_raw"
output_path: "/home/dji/output/"

cam0_calib: "left.yaml"
cam1_calib: "right.yaml"
image_width: 640
image_height: 480


# Extrinsic parameter between IMU and Camera.
estimate_extrinsic: 1   # 0  Have an accurate extrinsic parameters. We will trust the following imu^R_cam, imu^T_cam, don't change it.
                        # 1  Have an initial guess about extrinsic parameters. We will optimize around your initial guess.

body_T_cam0: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [  1,0,0,0.00552,
            0,1,0,-0.0051,
            0,0,1,-0.01174,
            0., 0., 0., 1. ]

body_T_cam1: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1,0,0,-0.04464144,
           0,1,0,-0.0051,
           0,0,1,-0.01174,
           0., 0., 0., 1. ]

#Multiple thread support
multiple_thread: 1

#feature traker paprameters
max_cnt: 150            # max feature number in feature tracking
min_dist: 30            # min distance between two features 
freq: 10                # frequence (Hz) of publish tracking result. At least 10Hz for good estimation. If set 0, the frequence will be same as raw image
F_threshold: 1.0        # ransac threshold (pixel)
show_track: 1           # publish tracking image as topic
flow_back: 1            # perform forward and backward optical flow to improve feature tracking accuracy

#optimization parameters
max_solver_time: 0.04  # max solver itration time (ms), to guarantee real time
max_num_iterations: 8   # max solver itrations, to guarantee real time
keyframe_parallax: 10.0 # keyframe selection threshold (pixel)

#imu parameters       The more accurate parameters you provide, the better performance
acc_n: 0.1          # accelerometer measurement noise standard deviation. #0.2   0.04
gyr_n: 0.01         # gyroscope measurement noise standard deviation.     #0.05  0.004
acc_w: 0.001         # accelerometer bias random work noise standard deviation.  #0.002
gyr_w: 0.0001       # gyroscope bias random work noise standard deviation.     #4.0e-5
g_norm: 9.805         # gravity magnitude

#unsynchronization parameters
estimate_td: 1                      # online estimate time offset between camera and imu
td: -0.072                             # initial value of time offset. unit: s. readed image clock + td = real image clock (IMU clock)

#loop closure parameters
load_previous_pose_graph: 0        # load and reuse previous pose graph; load from 'pose_graph_save_path'
pose_graph_save_path: "/home/dji/output/pose_graph/" # save and load path
save_image: 0                   # save image in pose graph for visualization prupose; you can close this function by setting 0 

@FaboNo嗨，FaboNo。 我很抱歉回复晚了。 我没有意识到我遇到了一个新问题。

1. 首先，我建议您使用pinhold-radtan校准您的相机型号，而不是您使用的equidistant 。

2. 在正确的相机校准后，请尝试使用 2 个相机和 0 个 imu 模式运行 VINS-Fusion。
   它应该首先运行良好（在轻松运动下，没有快速运动或纯旋转）

3. 确保将body_T_cam为Kalibr结果中T_cam_imu逆矩阵。
   在仅运行 2 个摄像头模式（上图）之前，还要检查您的 body_T_cam0 和 1。

4. 负timeshift_cam_imu是 d435i 的正常值，这意味着相机晚于 IMU。

5. 您不必为您的 IMU 校准运行Kalibr Allan ，根据我的经验，这不适合 d435i，
   而我发现d435i的IMU模型，然后只需使用的具体模型的参数在这里

6. 不过，我建议只使用默认imu parameters如这里
   他们应该足够了。 （或者，只是稍微增加它们，比如默认值的 3 倍）

7. 我建议您按照我在此处解释的那样从D435i SDK运行IMU calibration

@FaboNo
顺便说一句，我之前检查过 D435i 原作者的默认参数/yaml 文件工作得很好。
即使使用所有 0 失真值，只有焦距/主点值和标称body_T_cam值。

我认为您的equidistant具有巨大失真值的相机内在校准结果是主要问题。

@engcang感谢您的留言，实际上图像已经修正，所以在上面运行 Kalibr 几乎没用，不是吗？
当它们被整流时，失真也必须等于 0。

@marufino非常感谢您的留言，我明天试一试，让您知道

@FaboNo
有关于这个问题的消息吗？ 你搞定了吗？
我最近有机会使用 Intel D435i 测试 VINS-Fusion（立体声），如果您对此感兴趣，这里是结果剪辑。

@engcang很抱歉这么晚才回复。 我看过视频，印象深刻。 所以我有几个问题要问你，主要是因为你使用了 PixHawk4。

• 这是否意味着IMU精度比D435i好？
• 你在哪个频率读取 IMU 数据 100hz, 200hz ？
• 您是否使用了 PX4，如果使用，您是否使用 Mavros 读取数据？ 我个人尝试过 PixHawk2，但它没有说服力，我无法将 IMU 频率提高到 100Hz 以上
  非常好的作品！

@FaboNo嗨。

• 是的。 我认为 Pixhawk4 mini 的 IMU 比 ​​D435i 更好。 因为 Pixhawk 4 mini 使用两个 6DOF IMU 和一个磁力计，然后过滤它们以输出一个 ROS 主题（不能 100% 确定过滤，但它们确实有两个 IMU）。
• 我用了 100Hz。
• 是的，我使用了 PX4 和 MAVROS。 我记得我可以达到 150Hz 左右的最大值，但从某个地方我看到 IMU 和相机 FPS 的 3:1 比率对于 VINS 来说是最佳的。 我们通常使用30Hz的相机，所以我认为100Hz是合适的。

@engcang感谢您的回复。 我想知道您是否更改了 realsense_stereo_imu_config.yaml 中的 imu 参数值或保持不变？
无论如何我都会尝试你的设置

@FaboNo
你好。 通常，我不会更改 yaml 文件中的 IMU 参数。 我还尝试设置从Kalibr_allan获得的 IMU 参数，
然而，我无法使用它们获得更好的性能。

仅对于四足机器人与地面接触困难的疯狂情况，我尝试将参数设置为大或小10倍，并且它起作用。