Vins-application: D435i + vins_fusion에 관한 일부 입력

@FaboNo 아래 구성으로 작동하도록 관리했으며 자체 보정을 실행할 필요가 없었으며 적절한 보정으로 더 잘 작동할 수 있다고 확신하지만 잘 작동하고 발산하지 않습니다.

이 레포에서 제공되는 left.yaml 및 right.yaml을 사용했습니다.

realsense 옵션에서 자동 노출을 끄고 IR 이미 터를 끄고 있는지 확인하십시오.

%YAML:1.0

#common parameters
#support: 1 imu 1 cam; 1 imu 2 cam: 2 cam; 
imu: 1
num_of_cam: 2

imu_topic: "/camera/imu"
image0_topic: "/camera/infra1/image_rect_raw"
image1_topic: "/camera/infra2/image_rect_raw"
output_path: "/home/dji/output/"

cam0_calib: "left.yaml"
cam1_calib: "right.yaml"
image_width: 640
image_height: 480


# Extrinsic parameter between IMU and Camera.
estimate_extrinsic: 1   # 0  Have an accurate extrinsic parameters. We will trust the following imu^R_cam, imu^T_cam, don't change it.
                        # 1  Have an initial guess about extrinsic parameters. We will optimize around your initial guess.

body_T_cam0: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [  1,0,0,0.00552,
            0,1,0,-0.0051,
            0,0,1,-0.01174,
            0., 0., 0., 1. ]

body_T_cam1: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1,0,0,-0.04464144,
           0,1,0,-0.0051,
           0,0,1,-0.01174,
           0., 0., 0., 1. ]

#Multiple thread support
multiple_thread: 1

#feature traker paprameters
max_cnt: 150            # max feature number in feature tracking
min_dist: 30            # min distance between two features 
freq: 10                # frequence (Hz) of publish tracking result. At least 10Hz for good estimation. If set 0, the frequence will be same as raw image
F_threshold: 1.0        # ransac threshold (pixel)
show_track: 1           # publish tracking image as topic
flow_back: 1            # perform forward and backward optical flow to improve feature tracking accuracy

#optimization parameters
max_solver_time: 0.04  # max solver itration time (ms), to guarantee real time
max_num_iterations: 8   # max solver itrations, to guarantee real time
keyframe_parallax: 10.0 # keyframe selection threshold (pixel)

#imu parameters       The more accurate parameters you provide, the better performance
acc_n: 0.1          # accelerometer measurement noise standard deviation. #0.2   0.04
gyr_n: 0.01         # gyroscope measurement noise standard deviation.     #0.05  0.004
acc_w: 0.001         # accelerometer bias random work noise standard deviation.  #0.002
gyr_w: 0.0001       # gyroscope bias random work noise standard deviation.     #4.0e-5
g_norm: 9.805         # gravity magnitude

#unsynchronization parameters
estimate_td: 1                      # online estimate time offset between camera and imu
td: -0.072                             # initial value of time offset. unit: s. readed image clock + td = real image clock (IMU clock)

#loop closure parameters
load_previous_pose_graph: 0        # load and reuse previous pose graph; load from 'pose_graph_save_path'
pose_graph_save_path: "/home/dji/output/pose_graph/" # save and load path
save_image: 0                   # save image in pose graph for visualization prupose; you can close this function by setting 0 

@FaboNo 안녕하세요 FaboNo. 답변이 늦어서 정말 죄송합니다. 새로운 문제가 있다는 것을 인식하지 못했습니다.

1. 우선, 나는 당신의 카메라 모델을 교정 할 것을 권장 pinhold-radtan 보다는 equidistant 사용한.

2. 올바른 카메라 보정 후 2개의 카메라와 0개의 imu 모드로 VINS-Fusion을 실행해 보십시오.
   먼저 잘 작동해야 합니다(빠른 동작이나 순수한 회전 없이 쉬운 동작에서)

3. body_T_cam 이 Kalibr 결과에서 T_cam_imu 의 역행렬 인지 확인하십시오.
   또한 2개의 카메라 모드(위)만 실행하기 전에 body_T_cam0 및 1을 확인하십시오.

4. 음수 timeshift_cam_imu 는 d435i의 정상 값으로, 카메라가 IMU보다 최신 버전임을 의미합니다.

5. 내 경험상 d435i에 적합하지 않은 IMU 캘리브레이션을 위해 Kalibr Allan 을 실행할 필요가 없습니다.
   오히려 d435i의 IMU 모델을 찾은 다음 여기에 특정 모델의 매개변수를 사용했습니다

6. 그러나 여기에서 와 같이 기본 imu parameters 를 사용하는 것이 좋습니다.
   그들은 충분해야합니다. (또는 기본값의 3배와 같이 약간 증가)

7. 여기에 설명된 대로 D435i SDK 에서 IMU calibration 를 실행하는 것이 좋습니다.

@FaboNo
그건 그렇고, 나는 D435i에 대한 원래 작성자의 기본 매개 변수/yaml 파일이 이전에 꽤 잘 작동하는지 확인했습니다.
모든 왜곡 값이 0이고 초점 거리/주점 값 및 공칭 body_T_cam 값만 포함된 경우에도 마찬가지입니다.

왜곡 값이 큰 equidistant 카메라 고유 보정 결과가 주요 문제라고 생각합니다.

@engcang 메시지 주셔서 감사합니다. 실제로 이미지는 이미 수정되었으므로 Kalibr을 실행하면 거의 쓸모가 없습니까?
수정될 때 왜곡도 0과 같아야 합니다.

@marufino 메시지 정말 감사합니다 내일 해보고 알려드리겠습니다

@FaboNo
이 문제에 대한 소식이 있습니까? 작동시키셨나요?
최근에 Intel D435i로 VINS-Fusion(스테레오)을 테스트할 기회가 있었고 아직 관심이 있다면 여기 결과 클립 이 있습니다.

@engcang 답변이 너무 늦어서 죄송합니다. 영상을 봤는데 인상적이네요. 주로 PixHawk4를 사용했기 때문에 몇 가지 질문이 있습니다.

• IMU 정확도가 D435i보다 낫다는 뜻인가요?
• IMU 데이터를 100hz, 200hz로 읽는 주파수는 무엇입니까?
• PX4를 사용하셨습니까? 그렇다면 Mavros를 사용하여 데이터를 읽으셨습니까? 개인적으로 PixHawk2를 시도했는데 설득력이 없었고 IMU 주파수를 100Hz 이상 올리지 못했습니다.
  아주 좋은 작품!

@FaboNo 안녕하세요.

• 예. Pixhawk4 mini가 D435i보다 IMU가 더 좋다고 생각합니다. 원인 Pixhawk 4 mini는 2개의 6DOF IMU와 1개의 자기계를 사용한 다음 이를 필터링하여 하나의 ROS 주제를 출력합니다(필터링에 대해 100% 확신할 수는 없지만 두 개의 IMU가 있음).
• 100Hz를 사용했습니다.
• 예, PX4와 MAVROS를 사용했습니다. 최대 약 150Hz를 얻을 수 있었던 것으로 기억합니다. 하지만 어디선가 IMU와 카메라 FPS의 비율이 3:1인 것이 VINS에 최적이라는 것을 알았습니다. 우리는 보통 30Hz 카메라를 사용하기 때문에 100Hz가 적당하다고 생각했습니다.

@engcang 답변 감사합니다. realsense_stereo_imu_config.yaml에서 imu 매개변수 값을 변경했거나 변경하지 않은 상태로 유지했는지 궁금합니다.
나는 어쨌든 당신의 설정을 시도합니다

@FaboNo
안녕하세요. 일반적으로 yaml 파일에서 IMU 매개변수를 변경하지 않습니다. 나는 또한 Kalibr_allan 에서 얻은 대로 IMU 매개변수를 설정하려고 했습니다.
그러나 나는 그것들을 사용하여 더 나은 성능을 얻을 수 없었습니다.

4족 보행 로봇이 지면에 세게 닿는 것과 같은 미친 경우에만 매개변수를 10배 이상으로 설정하려고 하면 작동합니다.