Vins-application: D435i + vins_fusion के बारे में कुछ जानकारी

@FaboNo मैं इसे नीचे दिए गए कॉन्फ़िगरेशन के साथ काम करने में कामयाब रहा, मुझे अपने स्वयं के अंशांकन चलाने की आवश्यकता नहीं थी और, मुझे यकीन है कि यह उचित अंशांकन के साथ बेहतर काम कर सकता है, लेकिन यह अच्छी तरह से काम करता है और विचलन नहीं करता है

मैंने इस रेपो में दिए गए left.yaml और right.yaml का उपयोग किया है

सुनिश्चित करें कि आप ऑटो एक्सपोजर को बंद कर रहे हैं और रीयलसेंस विकल्पों में आईआर एमिटर को बंद कर रहे हैं,

%YAML:1.0

#common parameters
#support: 1 imu 1 cam; 1 imu 2 cam: 2 cam; 
imu: 1
num_of_cam: 2

imu_topic: "/camera/imu"
image0_topic: "/camera/infra1/image_rect_raw"
image1_topic: "/camera/infra2/image_rect_raw"
output_path: "/home/dji/output/"

cam0_calib: "left.yaml"
cam1_calib: "right.yaml"
image_width: 640
image_height: 480


# Extrinsic parameter between IMU and Camera.
estimate_extrinsic: 1   # 0  Have an accurate extrinsic parameters. We will trust the following imu^R_cam, imu^T_cam, don't change it.
                        # 1  Have an initial guess about extrinsic parameters. We will optimize around your initial guess.

body_T_cam0: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [  1,0,0,0.00552,
            0,1,0,-0.0051,
            0,0,1,-0.01174,
            0., 0., 0., 1. ]

body_T_cam1: !!opencv-matrix
   rows: 4
   cols: 4
   dt: d
   data: [ 1,0,0,-0.04464144,
           0,1,0,-0.0051,
           0,0,1,-0.01174,
           0., 0., 0., 1. ]

#Multiple thread support
multiple_thread: 1

#feature traker paprameters
max_cnt: 150            # max feature number in feature tracking
min_dist: 30            # min distance between two features 
freq: 10                # frequence (Hz) of publish tracking result. At least 10Hz for good estimation. If set 0, the frequence will be same as raw image
F_threshold: 1.0        # ransac threshold (pixel)
show_track: 1           # publish tracking image as topic
flow_back: 1            # perform forward and backward optical flow to improve feature tracking accuracy

#optimization parameters
max_solver_time: 0.04  # max solver itration time (ms), to guarantee real time
max_num_iterations: 8   # max solver itrations, to guarantee real time
keyframe_parallax: 10.0 # keyframe selection threshold (pixel)

#imu parameters       The more accurate parameters you provide, the better performance
acc_n: 0.1          # accelerometer measurement noise standard deviation. #0.2   0.04
gyr_n: 0.01         # gyroscope measurement noise standard deviation.     #0.05  0.004
acc_w: 0.001         # accelerometer bias random work noise standard deviation.  #0.002
gyr_w: 0.0001       # gyroscope bias random work noise standard deviation.     #4.0e-5
g_norm: 9.805         # gravity magnitude

#unsynchronization parameters
estimate_td: 1                      # online estimate time offset between camera and imu
td: -0.072                             # initial value of time offset. unit: s. readed image clock + td = real image clock (IMU clock)

#loop closure parameters
load_previous_pose_graph: 0        # load and reuse previous pose graph; load from 'pose_graph_save_path'
pose_graph_save_path: "/home/dji/output/pose_graph/" # save and load path
save_image: 0                   # save image in pose graph for visualization prupose; you can close this function by setting 0 

@FaboNo हाय फैबोनो। देर से उत्तर देने के लिए मुझे बहुत खेद है। मुझे नहीं पता था कि मुझे एक नया मुद्दा मिला है।

1. सबसे पहले, मैं आपको अपने कैमरा मॉडल को pinhold-radtan साथ कैलिब्रेशन करने की सलाह देता हूं, न कि equidistant , जिसका आपने उपयोग किया था।

2. सही कैमरा कैलिब्रेशन के बाद, कृपया VINS-Fusion को 2 कैमरा और 0 imu मोड के साथ चलाने का प्रयास करें।
   इसे पहले अच्छी तरह से काम करना चाहिए (आसान गति के तहत, तेज गति या शुद्ध रोटेशन के बिना)

3. सुनिश्चित करें कि आपका body_T_cam सेट आपके कैलिबर परिणाम से T_cam_imu का उलटा मैट्रिक्स है।
   केवल 2 कैमरा मोड (ऊपर) चलाने से पहले अपना body_T_cam0 और 1 भी जांचें।

4. नकारात्मक timeshift_cam_imu d435i के लिए सामान्य मूल्य है, जिसका अर्थ है कि कैमरा IMU से बाद में है।

5. आपको अपने IMU कैलिब्रेटन के लिए Kalibr Allan चलाने की आवश्यकता नहीं है, जो मेरे अनुभव के लिए d435i के लिए उपयुक्त नहीं था,
   बल्कि मुझे d435i का IMU मॉडल मिला और फिर उस विशिष्ट मॉडल के पैरामीटर का उपयोग यहाँ के रूप में किया

6. हालांकि, मैं तो बस डिफ़ॉल्ट का उपयोग करने की सलाह देते हैं imu parameters के रूप में यहाँ
   उन्हें पर्याप्त होना चाहिए। (या, बस उन्हें थोड़ा बढ़ा दें, जैसे डिफ़ॉल्ट मानों का 3 गुना)

7. जैसा कि मैंने यहां बताया D435i SDK से IMU calibration चलाने की सलाह देता हूं

@FaboNo
वैसे, मैंने पहले D435i काम के लिए मूल लेखकों से डिफ़ॉल्ट पैरामीटर/yaml फ़ाइलों की जांच की थी।
यहां तक ​​कि सभी 0 विरूपण मूल्यों और केवल फोकल लंबाई/प्रिंसिपल पॉइंट मानों और नाममात्र body_T_cam मानों के साथ भी।

मुझे लगता है कि आपका equidistant कैमरा आंतरिक अंशांकन परिणाम विशाल विरूपण मूल्यों के साथ मुख्य समस्या है।

@engcang आपके संदेश के लिए धन्यवाद, वास्तव में छवियों को पहले ही ठीक कर दिया गया है, इसलिए उस पर कलिब्र चलाना लगभग बेकार है, नहीं?
जैसे ही उन्हें ठीक किया जाता है, विरूपण भी 0 के बराबर होना चाहिए।

@marufino आपके संदेश के लिए बहुत-बहुत धन्यवाद, मैं इसे कल बता दूंगा

@FaboNo
इस मुद्दे के लिए कोई खबर? क्या आपको यह काम मिला?
मुझे हाल ही में Intel D435i के साथ VINS-Fusion (स्टीरियो) का परीक्षण करने का मौका मिला और यदि आप अभी तक रुचि रखते हैं, तो परिणाम क्लिप यहां है।

@engcang मुझे इतनी देर से उत्तर देने के लिए खेद है। मैंने वीडियो देखा और यह प्रभावशाली है। इसलिए मेरे पास आपके लिए कुछ प्रश्न हैं, मुख्यतः क्योंकि आपने PixHawk4 का उपयोग किया है।

• क्या इसका मतलब यह है कि IMU सटीकता D435i वाले से बेहतर है?
• आप किस आवृत्ति पर IMU डेटा 100hz, 200hz पढ़ रहे हैं?
• क्या आपने PX4 का उपयोग किया है और यदि हां, तो क्या आपने डेटा पढ़ने के लिए मावरोस का उपयोग किया? व्यक्तिगत रूप से मैंने PixHawk2 की कोशिश की और यह आश्वस्त नहीं था और मैं IMU आवृत्ति को 100Hz से अधिक बढ़ाने में सक्षम नहीं था
  बहुत अच्छा काम!

@FaboNo हाय।

• हां। मुझे लगता है कि Pixhawk4 मिनी में D435i से बेहतर IMU है। क्योंकि पिक्सहॉक 4 मिनी दो 6DOF IMU और एक मैग्नेटोमीटर का उपयोग करता है और फिर उन्हें एक ROS विषय को आउटपुट करने के लिए फ़िल्टर करता है (फ़िल्टरिंग के लिए 100% निश्चित नहीं है, लेकिन उनके पास दो IMU हैं)।
• मैंने 100 हर्ट्ज का इस्तेमाल किया।
• हां, मैंने पीएक्स4 और मावरोस का इस्तेमाल किया है। मुझे याद है कि मैं लगभग 150Hz अधिकतम प्राप्त कर सकता था, लेकिन कहीं से मैंने देखा कि IMU और कैमरा FPS के लिए 3:1 का अनुपात VINS के लिए इष्टतम है। हम आमतौर पर 30Hz कैमरा का उपयोग करते हैं, इसलिए मैंने सोचा कि 100Hz उचित है।

@engcang आपकी प्रतिक्रिया के लिए धन्यवाद। मैं सोच रहा हूं कि क्या आपने imu पैरामीटर मानों को realsense_stereo_imu_config.yaml में बदल दिया है या उन्हें अपरिवर्तित रखा है?
मैं फिर भी आपके सेटअप की कोशिश करूंगा

@FaboNo
नमस्ते। आमतौर पर, मैं yaml फ़ाइल में IMU पैरामीटर नहीं बदलता। मैंने IMU पैरामीटर सेट करने का भी प्रयास किया जैसा कि मुझे Kalibr_allan से मिला है,
हालाँकि मैं उनका उपयोग करके बेहतर प्रदर्शन नहीं कर सका।

केवल चौगुनी रोबोट जैसे पागल मामलों के लिए जमीन से संपर्क करने के लिए, मैं 10 गुना बड़ा या कम पैरामीटर सेट करने का प्रयास करता हूं, और यह काम करता है।