Lorawan-stack: कक्षा सी संदेश आवर्तक रूप से अमान्य निरपेक्ष समय के साथ शेड्यूल करने में विफल रहता है

को निर्मित 17 नव॰ 2020 · 15टिप्पणियाँ · स्रोत: TheThingsNetwork/lorawan-stack

सारांश

क्लास सी संदेश आवर्तक रूप से "एप्लिकेशन डाउनलिंक में अमान्य निरपेक्ष समय सेट" के साथ शेड्यूल करने में विफल हो जाते हैं जब बारीकी से दूरी होती है।

क्या एक ही डिवाइस पर संदेशों के बीच न्यूनतम समय है? आदर्श रूप से हमने उन्हें 130ms के अलावा शेड्यूल किया होगा, लेकिन समस्या को कम करने के लिए रिक्ति को 1000ms तक बढ़ाने का प्रयास किया है

प्रजनन के चरण

वर्तमान समय में डाउनलिंक शेड्यूल करें + गेटवे X के लिए 7 सेकंड
वर्तमान समय में डाउनलिंक शेड्यूल करें + गेटवे X के लिए 8 सेकंड
10 सेकंड के लिए प्रतीक्षा करें और mqtt विषय का निरीक्षण करें DowlinkFailed
यदि आवश्यक हो तो त्रुटि को पुन: उत्पन्न करने की संभावना बढ़ाने के लिए लूप में चलाएं

हम इसे लगभग हर 15 डॉवलिंक देखते हैं

अब आप क्या देखते हैं?

17/11/2020 14:09:30.783 +1300   Sending TTN V3 multicast. topic: v3/halter/devices/2704aee7-7c77-4c99-8d26-cf110b1a90a7/down/push. Payload: {"downlinks":[{"f_port":1,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","priority":"ABOVE_NORMAL","class_b_c":{"absolute_time":"2020-11-17T01:09:37.000Z","gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0003582"}}]}}]}
17/11/2020 14:09:30.883 +1300   Sending TTN V3 multicast. topic: v3/halter/devices/2704aee7-7c77-4c99-8d26-cf110b1a90a7/down/push. Payload: {"downlinks":[{"f_port":1,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","priority":"ABOVE_NORMAL","class_b_c":{"absolute_time":"2020-11-17T01:09:38.000Z","gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}]}}]}
17/11/2020 14:09:37.068 +1300   Serial 2704aee7-7c77-4c99-8d26-cf110b1a90a7: Receiving DownlinkFailed. Payload: {"end_device_ids":{"device_id":"2704aee7-7c77-4c99-8d26-cf110b1a90a7","application_ids":{"application_id":"halter"},"dev_addr":"01415A3E"},"correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA","as:up:01EQ9W005A64G2W1Y3GQA9S3SR"],"received_at":"2020-11-17T01:09:37.066774351Z","downlink_failed":{"downlink":{"f_port":1,"f_cnt":56,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","class_b_c":{"gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}],"absolute_time":"2020-11-17T01:09:38Z"},"priority":"ABOVE_NORMAL","correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA"]},"error":{"namespace":"pkg/networkserver","name":"absolute_time","message_format":"invalid absolute time set in application downlink","code":3}}}
17/11/2020 14:09:37.068 +1300   Serial 2704aee7-7c77-4c99-8d26-cf110b1a90a7: Receiving DownlinkFailed. Payload: {"end_device_ids":{"device_id":"2704aee7-7c77-4c99-8d26-cf110b1a90a7","application_ids":{"application_id":"halter"},"dev_addr":"01415A3E"},"correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA","as:up:01EQ9W005A64G2W1Y3GQA9S3SR"],"received_at":"2020-11-17T01:09:37.066774351Z","downlink_failed":{"downlink":{"f_port":1,"f_cnt":56,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","class_b_c":{"gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}],"absolute_time":"2020-11-17T01:09:38Z"},"priority":"ABOVE_NORMAL","correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA"]},"error":{"namespace":"pkg/networkserver","name":"absolute_time","message_format":"invalid absolute time set in application downlink","code":3}}}

इसके बजाय आप क्या देखना चाहते हैं?

गेटवे से कोई डाउनलिंक विफलता और संदेश नहीं निकला

वातावरण

लोरावन के लिए चीजें ढेर: ttn-lw-stack
संस्करण: 3.9.4
निर्माण तिथि: 2020-09-23T09:56:19Z
गिट प्रतिबद्ध: c4be55c
गो संस्करण: go1.15.2
ओएस/आर्क: linux/amd64

आप इसे कैसे लागू करने का प्रस्ताव रखते हैं?

अमान्य पूर्ण समय के कारणों का निर्धारण करें और बग होने पर हल करें

आप इसका परीक्षण कैसे करने का प्रस्ताव करते हैं?

हमारे देव वातावरण में एक पीआर का परीक्षण करने में खुशी हो रही है

क्या आप इसे स्वयं कर सकते हैं और पुल अनुरोध सबमिट कर सकते हैं?

@rvolosatovs ?

bug gateway server

स्रोत

virtualguy

👍3

सभी 15 टिप्पणियाँ

@virtualguy क्या यह समस्या बनी हुई है?

डेटा दर क्या है और आप किस क्षेत्र में हैं?

जब आप कहते हैं कि आप 130 ms के अंतर से संचारण करना चाहते हैं, तो क्या आप टाइम-ऑन-एयर को ध्यान में रखते हैं?

क्या आप $ ttn-lw-cli events ... माध्यम से गेटवे और एंड डिवाइस ईवेंट की सदस्यता ले सकते हैं, और शेड्यूलिंग विफल होने के कारण गेटवे सर्वर द्वारा रिपोर्ट किए गए सटीक त्रुटि संदेशों को पेस्ट कर सकते हैं?

johanstokking 23 दिस॰ 2020

@virtualguy मैंने कुछ अतिरिक्त डिबग लाइनें

पैच जांच-3487.txt लागू करें
चेरी-पिक https://github.com/TheThingsNetwork/lorawan-stack/commit/f9bbda5db5090dd7eb7bc2d798c92bed82efc2dd
चेक-आउट https://github.com/TheThingsNetwork/lorawan-stack/tree/investigate/3487-abs-downlink-timeing ( v3.10.7 पर आधारित)

कृपया #3487 द्वारा आउटपुट grep करें और यहां कॉपी करें। यह एकमात्र आउटपुट भी है जो stdout (जैसे लॉग stderr )।

यदि यह ScheduleAt में कहता है कि बहुत कम RTT हैं, तो आप TTN_LW_EXP_RTT_TTL बढ़ाना चाहेंगे (अवधि, जैसे 6h 6 घंटे के लिए, डिफ़ॉल्ट 30m 30 मिनट के लिए) और/या TTN_LW_EXP_SCHEDULE_MIN_RTT_COUNT से घटाकर 3 या कुछ और (डिफ़ॉल्ट 5 है)। ये अस्थायी फीचर फ्लैग हैं।

सीसी @ymgupta

johanstokking 22 जन॰ 2021

👍1

इससे पहले कि हम आपके पैच @johanstokking से लॉग इकट्ठा कर सकें, इससे पहले कि हम कुछ परेशान चल रहे बायनेरिज़ को # 3736 पर ब्लॉक कर

virtualguy 3 फ़र॰ 2021

👍1

@virtualguy @johanstokking पैच किए गए संस्करण को चलाने के कुछ लॉग यहां दिए गए हैं: https://gist.github.com/kurtmc/75f4ecf93c2f7a1ee8373d3a9c7f181a

kurtmc 4 फ़र॰ 2021

बहुत - बहुत धन्यवाद। देरी से प्रतिक्रिया के लिए खेद है।

यह सुपर हेल्पफुल होने वाला है। मूल कारण खोजने के लिए, मैंने कुछ और लॉग प्रविष्टियाँ जोड़ीं।

क्या आप इसे https://github.com/TheThingsNetwork/lorawan-stack/tree/investigate/3487-abs-downlink-timeing का उपयोग करके एक नए निर्माण के साथ फिर से चला सकते हैं

यदि आप v3.10.x पर चेरी-पिक करना चाहते हैं, तो चेरी-पिक 50f56055ba2c0172c002784d0ef22f140b60903c और d1e5305d2363aa8ce8dc485b36c9977857da6b66

आउटपुट के लिए भी, मुझे शुरुआत से ही पूर्ण ट्रेस की आवश्यकता है।

ध्यान दें कि अब हम गेटवे आईडी (या EUI) प्रिंट कर रहे हैं। यदि वह संवेदनशील जानकारी है, तो कृपया उसे किसी अन्य अर्थपूर्ण मान में संशोधित करें या ईमेल के माध्यम से लॉग भेजें।

johanstokking 10 फ़र॰ 2021

@kurtmc @virtualguy मुझे बताएं कि हम इसे स्थापित करने में कैसे मदद कर सकते हैं। अगर मुझे आपको डॉकर छवि की बाइनरी भेजने की ज़रूरत है, तो बस मुझे बताएं।

johanstokking 12 फ़र॰ 2021

@johanstokking अद्यतन लॉग: https://gist.github.com/kurtmc/041dd593d24fd9f01784e56ec1deb325

kurtmc 14 फ़र॰ 2021

धन्यवाद @kurtmc। मुझे यहां "नो एब्सोल्यूट टाइम" त्रुटियां दिखाई नहीं दे रही हैं, केवल शुरुआत में लेकिन यह सामान्य है। तो यहाँ, सब कुछ उम्मीद के मुताबिक काम किया, है ना?

@adriansmares वह दौड़ जिसके लिए https://github.com/TheThingsNetwork/lorawan-stack/pull/3794 के साथ सिंक्रनाइज़ेशन तय किया गया है, वास्तव में यहां हो रहा है। तो यह वास्तविक है, देखें:

"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: median is 30.900256ms"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: median is 30.900256ms"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: relative time downlink"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: relative time downlink"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: scheduled"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: scheduled"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Record: 30.629582ms at 2021-02-14 21:58:36.014795727 +0000 UTC m=+86.734546258"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Stats: sorted items: [{30446978 {13835767378842655859 75767631763 0x3a7a1c0}} {30504816 {13835767372765423622 70132850448 0x3a7a1c0}} {30639590 {13835767387106897922 83515681039 0x3a7a1c0}} {30830194 {13835767336362635015 36237283864 0x3a7a1c0}} {30834436 {13835767341445058316 40950998050 0x3a7a1c0}} {30835582 {13835767336764530097 36639178949 0x3a7a1c0}} {30842181 {13835767341958726238 41464666012 0x3a7a1c0}} {30845267 {13835767320071738555 21052514770 0x3a7a1c0}} {30847416 {13835767323811969378 24571520108 0x3a7a1c0}} {30889585 {13835767369324628633 66913280952 0x3a7a1c0}} {30910927 {13835767324288677194 24974486184 0x3a7a1c0}} {30943729 {13835767344594801745 43879516001 0x3a7a1c0}} {30952793 {13835767349113727476 48103474433 0x3a7a1c0}} {30963569 {13835767326445257112 26983582371 0x3a7a1c0}} {30993783 {13835767329486798315 29803898110 0x3a7a1c0}} {31018584 {13835767328128331563 28592914998 0x3a7a1c0}} {31045641 {13835767318515021603 19643281462 0x3a7a1c0}} {31073394 {13835767334606151403 34628283902 0x3a7a1c0}} {31090774 {13835767382891657128 79595407630 0x3a7a1c0}} {31249183 {13835767338921164328 38648329532 0x3a7a1c0}}]"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Stats: sorted items: [{30446978 {13835767378842655859 75767631763 0x3a7a1c0}} {30504816 {13835767372765423622 70132850448 0x3a7a1c0}} {30639590 {13835767387106897922 83515681039 0x3a7a1c0}} {30830194 {13835767336362635015 36237283864 0x3a7a1c0}} {30834436 {13835767341445058316 40950998050 0x3a7a1c0}} {30835582 {13835767336764530097 36639178949 0x3a7a1c0}} {30842181 {13835767341958726238 41464666012 0x3a7a1c0}} {30845267 {13835767320071738555 21052514770 0x3a7a1c0}} {30847416 {13835767323811969378 24571520108 0x3a7a1c0}} {30889585 {13835767369324628633 66913280952 0x3a7a1c0}} {30910927 {13835767324288677194 24974486184 0x3a7a1c0}} {30943729 {13835767344594801745 43879516001 0x3a7a1c0}} {30952793 {13835767349113727476 48103474433 0x3a7a1c0}} {30963569 {13835767326445257112 26983582371 0x3a7a1c0}} {30993783 {13835767329486798315 29803898110 0x3a7a1c0}} {31018584 {13835767328128331563 28592914998 0x3a7a1c0}} {31045641 {13835767318515021603 19643281462 0x3a7a1c0}} {31073394 {13835767334606151403 34628283902 0x3a7a1c0}} {31090774 {13835767382891657128 79595407630 0x3a7a1c0}} {31249183 {13835767338921164328 38648329532 0x3a7a1c0}}]"

ध्यान दें कि अंतर्निहित फ्लशिंग के कारण ये कथन आउट-ऑफ-ऑर्डर हैं; ऐसा लगता है कि छोटे बयानों को तुरंत फ्लश कर दिया जाता है और लंबे बयानों में देरी हो जाती है।

मुझे लगता है कि मुद्दा यह है कि जब (*rtts).Record() राइट लॉक जारी करता है, दोनों समवर्ती (*rtts).Stats() कॉल एक रीड लॉक प्राप्त करते हैं, और इसलिए दो समवर्ती (*Scheduler).ScheduleAt() कॉल बिल्कुल सिंक हो जाते हैं। जैसा कि वे (एक और) रीड लॉक प्राप्त कर रहे हैं, वे समवर्ती रूप से होते हैं, जिससे Scheduler राज्य में भ्रष्टाचार होता है।

यह https://github.com/TheThingsNetwork/lorawan-stack/pull/3794 के साथ तय किया गया है