Vins-application: بعض المدخلات بخصوص D435i + vins_fusion

FaboNo تمكنت من تشغيلها مع التكوين أدناه ، ولم أكن بحاجة إلى تشغيل

لقد استخدمت اليسار. yaml و right.yaml المقدمين في هذا الريبو

تأكد من إيقاف تشغيل التعريض التلقائي وإيقاف تشغيل باعث الأشعة تحت الحمراء في خيارات realsense ،

%YAML:1.0

#common parameters
#support: 1 imu 1 cam; 1 imu 2 cam: 2 cam; 
imu: 1
num_of_cam: 2

imu_topic: "/camera/imu"
image0_topic: "/camera/infra1/image_rect_raw"
image1_topic: "/camera/infra2/image_rect_raw"
output_path: "/home/dji/output/"

cam0_calib: "left.yaml"
cam1_calib: "right.yaml"
image_width: 640
image_height: 480


# Extrinsic parameter between IMU and Camera.
estimate_extrinsic: 1   # 0  Have an accurate extrinsic parameters. We will trust the following imu^R_cam, imu^T_cam, don't change it.
                        # 1  Have an initial guess about extrinsic parameters. We will optimize around your initial guess.

body_T_cam0: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [  1,0,0,0.00552,
            0,1,0,-0.0051,
            0,0,1,-0.01174,
            0., 0., 0., 1. ]

body_T_cam1: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1,0,0,-0.04464144,
           0,1,0,-0.0051,
           0,0,1,-0.01174,
           0., 0., 0., 1. ]

#Multiple thread support
multiple_thread: 1

#feature traker paprameters
max_cnt: 150            # max feature number in feature tracking
min_dist: 30            # min distance between two features 
freq: 10                # frequence (Hz) of publish tracking result. At least 10Hz for good estimation. If set 0, the frequence will be same as raw image
F_threshold: 1.0        # ransac threshold (pixel)
show_track: 1           # publish tracking image as topic
flow_back: 1            # perform forward and backward optical flow to improve feature tracking accuracy

#optimization parameters
max_solver_time: 0.04  # max solver itration time (ms), to guarantee real time
max_num_iterations: 8   # max solver itrations, to guarantee real time
keyframe_parallax: 10.0 # keyframe selection threshold (pixel)

#imu parameters       The more accurate parameters you provide, the better performance
acc_n: 0.1          # accelerometer measurement noise standard deviation. #0.2   0.04
gyr_n: 0.01         # gyroscope measurement noise standard deviation.     #0.05  0.004
acc_w: 0.001         # accelerometer bias random work noise standard deviation.  #0.002
gyr_w: 0.0001       # gyroscope bias random work noise standard deviation.     #4.0e-5
g_norm: 9.805         # gravity magnitude

#unsynchronization parameters
estimate_td: 1                      # online estimate time offset between camera and imu
td: -0.072                             # initial value of time offset. unit: s. readed image clock + td = real image clock (IMU clock)

#loop closure parameters
load_previous_pose_graph: 0        # load and reuse previous pose graph; load from 'pose_graph_save_path'
pose_graph_save_path: "/home/dji/output/pose_graph/" # save and load path
save_image: 0                   # save image in pose graph for visualization prupose; you can close this function by setting 0 

تضمين التغريدة أنا آسف جدا لتأخر الرد. لم أدرك أنني حصلت على مشكلة جديدة.

1. بادئ ذي بدء ، أوصيك بمعايرة طراز الكاميرا بـ pinhold-radtan ، بدلاً من equidistant ، الذي استخدمته.

2. بعد معايرة الكاميرا الصحيحة ، يرجى محاولة تشغيل VINS-Fusion بكاميرا 2 و 0 وضع imu.
   يجب أن يعمل جيدًا أولاً (في ظل حركات سهلة ، بدون حركة سريعة أو دوران خالص)

3. تأكد من أن تعيين body_T_cam هو مصفوفة معكوسة لـ T_cam_imu من نتيجة Kalibr الخاصة بك.
   تحقق أيضًا من body_T_cam0 و 1 قبل تشغيل وضع الكاميراتين فقط (أعلاه).

4. سالب timeshift_cam_imu هي القيمة العادية لـ d435i ، مما يعني أن الكاميرا أحدث من IMU.

5. ليس عليك تشغيل كاليبر آلان لـ IMU calibraiton الخاص بك ، والذي لم يكن مناسبًا لـ d435i من أجل تجربتي ،
   بدلاً من ذلك ، وجدت نموذج IMU الخاص بـ d435i ثم استخدمت معلمة هذا النموذج المحدد كما هو الحال هنا

6. ومع ذلك ، أوصي باستخدام الافتراضي فقط imu parameters كما هو الحال هنا
   يجب أن تكون كافية. (أو قم بزيادتها قليلاً ، مثل 3 أضعاف القيم الافتراضية)

7. أوصيك بتشغيل IMU calibration من D435i SDK كما أوضحت هنا

تضمين التغريدة
بالمناسبة ، راجعت المعلمة الافتراضية / ملفات yaml من المؤلفين الأصليين لـ D435i تعمل جيدًا من قبل.
حتى مع جميع قيم التشويه 0 والأطوال البؤرية / قيم النقاط الرئيسية والقيم الاسمية body_T_cam .

أعتقد أن نتائج المعايرة الجوهرية للكاميرا equidistant مع قيم تشويه ضخمة هي المشكلة الرئيسية.

engcang شكرًا لك على رسالتك ، في الواقع تم تصحيح الصور بالفعل ، لذا فإن تشغيل Kalibr عليها يكاد يكون عديم الفائدة ، أليس كذلك؟
عند تصحيحها ، يجب أن يكون التشويه مساويًا للصفر أيضًا.

marufino شكرًا جزيلاً على رسالتك ،

تضمين التغريدة
أي أخبار عن هذا الموضوع؟ هل حصلت عليه العمل؟
لقد أتيحت لي مؤخرًا فرصة لاختبار VINS-Fusion (استريو) باستخدام Intel D435i وإليك مقطع النتيجة ، إذا كنت مهتمًا بذلك حتى الآن.

engcang أنا آسف للرد في وقت متأخر جدا. لقد شاهدت الفيديو وهو مثير للإعجاب. لذا لدي بعض الأسئلة لك ، وذلك أساسًا لأنك استخدمت PixHawk4.

• هل يعني ذلك أن دقة وحدة IMU أفضل من دقة D435i؟
• في أي تردد تقرأ بيانات IMU 100 هرتز ، 200 هرتز؟
• هل استخدمت PX4 وإذا كان الأمر كذلك ، فهل استخدمت Mavros لقراءة البيانات؟ أنا شخصياً جربت PixHawk2 ولم يكن مقنعًا ولم أتمكن من زيادة تردد IMU لأكثر من 100 هرتز
  عمل جميل جدا!

تضمين التغريدة

• نعم فعلا. أعتقد أن Pixhawk4 mini لديها IMU أفضل من D435i. لأن Pixhawk 4 mini يستخدم جهازي IMU 6DOF ومقياس مغناطيسي واحد ثم يقوم بتصفيةهما لإخراج موضوع ROS واحد (ليس متأكدًا بنسبة 100٪ من التصفية ، لكن لديهم وحدتا IMU).
• لقد استخدمت 100 هرتز.
• نعم ، لقد استخدمت PX4 و MAVROS. أتذكر أنه كان بإمكاني الحصول على حوالي 150 هرتز كحد أقصى ، ولكن من مكان ما رأيت أن نسبة 3: 1 لـ IMU والكاميرا FPS هي الأمثل لـ VINS. عادة ما نستخدم كاميرا 30 هرتز ، لذلك اعتقدت أن 100 هرتز مناسبة.

engcang أشكركم على ردكم. أتساءل هل قمت بتغيير قيم معلمات imu في realsense_stereo_imu_config.yaml أم احتفظت بها دون تغيير؟
سأحاول الإعداد الخاص بك على أي حال

تضمين التغريدة
أهلا. عادة ، لا أقوم بتغيير معلمات IMU في ملف yaml. حاولت أيضًا ضبط معلمات IMU كما حصلت عليها من Kalibr_allan ،
كيف لم أستطع الحصول على أداء أفضل باستخدامها.

فقط للحالات المجنونة مثل الروبوتات الرباعية التي تلامس الأرض بقوة ، أحاول ضبط المعلمات أكبر بعشر مرات أو أقل ، وهي تعمل.