Lorawan-stack: 클래스 C 메시지가 간헐적으로 잘못된 절대 시간으로 예약에 실패함

에 만든 2020년 11월 17일 · 15코멘트 · 출처: TheThingsNetwork/lorawan-stack

요약

클래스 C 메시지는 간격이 좁을 때 "응용 프로그램 다운링크에 잘못된 절대 시간 설정"과 함께 간헐적으로 예약에 실패합니다.

동일한 장치로 보내는 메시지 사이에 최소 시간이 있습니까? 이상적으로는 130ms 간격으로 일정을 잡았지만 문제를 완화하기 위해 간격을 1000ms로 늘리려고 했습니다.

번식 단계

현재 시간에 다운링크 예약 + 게이트웨이 X에 7초
현재 시간에 다운링크 예약 + 게이트웨이 X에 8초
10초 동안 기다렸다가 mqtt 주제 DowlinkFailed를 관찰합니다.
필요한 경우 루프에서 실행하여 오류 재현 가능성을 높입니다.

우리는 이것을 대략 15개의 다우링크마다 봅니다.

지금 무엇을 볼 수 있습니까?

17/11/2020 14:09:30.783 +1300   Sending TTN V3 multicast. topic: v3/halter/devices/2704aee7-7c77-4c99-8d26-cf110b1a90a7/down/push. Payload: {"downlinks":[{"f_port":1,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","priority":"ABOVE_NORMAL","class_b_c":{"absolute_time":"2020-11-17T01:09:37.000Z","gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0003582"}}]}}]}
17/11/2020 14:09:30.883 +1300   Sending TTN V3 multicast. topic: v3/halter/devices/2704aee7-7c77-4c99-8d26-cf110b1a90a7/down/push. Payload: {"downlinks":[{"f_port":1,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","priority":"ABOVE_NORMAL","class_b_c":{"absolute_time":"2020-11-17T01:09:38.000Z","gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}]}}]}
17/11/2020 14:09:37.068 +1300   Serial 2704aee7-7c77-4c99-8d26-cf110b1a90a7: Receiving DownlinkFailed. Payload: {"end_device_ids":{"device_id":"2704aee7-7c77-4c99-8d26-cf110b1a90a7","application_ids":{"application_id":"halter"},"dev_addr":"01415A3E"},"correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA","as:up:01EQ9W005A64G2W1Y3GQA9S3SR"],"received_at":"2020-11-17T01:09:37.066774351Z","downlink_failed":{"downlink":{"f_port":1,"f_cnt":56,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","class_b_c":{"gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}],"absolute_time":"2020-11-17T01:09:38Z"},"priority":"ABOVE_NORMAL","correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA"]},"error":{"namespace":"pkg/networkserver","name":"absolute_time","message_format":"invalid absolute time set in application downlink","code":3}}}
17/11/2020 14:09:37.068 +1300   Serial 2704aee7-7c77-4c99-8d26-cf110b1a90a7: Receiving DownlinkFailed. Payload: {"end_device_ids":{"device_id":"2704aee7-7c77-4c99-8d26-cf110b1a90a7","application_ids":{"application_id":"halter"},"dev_addr":"01415A3E"},"correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA","as:up:01EQ9W005A64G2W1Y3GQA9S3SR"],"received_at":"2020-11-17T01:09:37.066774351Z","downlink_failed":{"downlink":{"f_port":1,"f_cnt":56,"frm_payload":"ChQKEgoQEg4IAxIFDbQiy10YASDjAQ==","class_b_c":{"gateways":[{"gateway_ids":{"gateway_id":"eui-00800000a0005314"}}],"absolute_time":"2020-11-17T01:09:38Z"},"priority":"ABOVE_NORMAL","correlation_ids":["as:downlink:01EQ9VZT44AARKQ3V190WBSXZA"]},"error":{"namespace":"pkg/networkserver","name":"absolute_time","message_format":"invalid absolute time set in application downlink","code":3}}}

대신 무엇을 보고 싶습니까?

게이트웨이에서 발생하는 다운링크 실패 및 메시지 없음

환경

LoRaWAN용 사물 스택: ttn-lw-stack
버전: 3.9.4
빌드 날짜: 2020-09-23T09:56:19Z
Git 커밋: c4be55c
이동 버전: go1.15.2
OS/아치: linux/amd64

이를 구현하기 위해 어떻게 제안합니까?

잘못된 절대 시간의 원인을 확인하고 버그가 있는 경우 해결

이것을 테스트하기 위해 어떻게 제안합니까?

개발 환경에서 PR을 테스트하게 되어 기쁩니다.

이 작업을 직접 수행하고 Pull Request를 제출할 수 있습니까?

@rvolosatovs ?

bug gateway server

출처

virtualguy

👍3

모든 15 댓글

@virtualguy 이 문제가 지속됩니까?

데이터 속도는 얼마이며 어느 지역에 있습니까?

130ms 간격으로 전송하고 싶다고 할 때 방송 시간을 고려하고 있습니까?

$ ttn-lw-cli events ... 를 통해 게이트웨이 및 최종 장치 이벤트를 구독하고 게이트웨이 서버가 스케줄링 실패 이유에 대해 보고하는 정확한 오류 메시지를 붙여넣을 수 있습니까?

johanstokking 에 2020년 12월 23일

@virtualguy 몇 가지 추가 디버그 라인을 추가했습니다. 다음 중 하나를 선택하십시오.

패치 조사-3487.txt 적용
체리 픽 https://github.com/TheThingsNetwork/lorawan-stack/commit/f9bbda5db5090dd7eb7bc2d798c92bed82efc2dd
체크아웃 https://github.com/TheThingsNetwork/lorawan-stack/tree/investigate/3487-abs-downlink-timing ( v3.10.7 )

#3487 출력을 grep하고 여기에 복사하십시오. 또한 stdout 로 이동하는 유일한 출력이기도 합니다(로그가 stderr ).

ScheduleAt 에 RTT가 너무 적다고 표시되면 TTN_LW_EXP_RTT_TTL 를 늘릴 수 있습니다(예 6h 6시간, 기본값은 30m 30분 동안) 및/또는 TTN_LW_EXP_SCHEDULE_MIN_RTT_COUNT 를 3 또는 그 이상으로 줄입니다(기본값은 5). 이것은 임시 기능 플래그입니다.

cc @ymgupta

johanstokking 에 2021년 01월 22일

👍1

참고로 @johanstokking 패치에서 로그를 수집하기 전에 #3736에서 빌드한 바이너리 실행에 문제가 있습니다.

virtualguy 에 2021년 02월 03일

👍1

@virtualguy @johanstokking 다음은 패치된 버전을 실행한 일부 로그입니다. https://gist.github.com/kurtmc/75f4ecf93c2f7a1ee8373d3a9c7f181a

kurtmc 에 2021년 02월 04일

정말 감사합니다. 답변이 늦어진 점 사과드립니다.

이것은 매우 도움이 될 것입니다. 근본 원인을 찾기 위해 몇 가지 로그 항목을 추가했습니다.

https://github.com/TheThingsNetwork/lorawan-stack/tree/investigate/3487-abs-downlink-timing을 사용하여 새 빌드로 이것을 다시 실행할 수 있습니까

v3.10.x에서 체리를 선택하려면 50f56055ba2c0172c002784d0ef22f140b60903c 및 d1e5305d2363aa8ce8dc485b36c9977857da6b를 선택하십시오.

또한 출력을 위해서는 처음부터 전체 추적이 필요합니다.

이제 게이트웨이 ID(또는 EUI)를 인쇄하고 있습니다. 민감한 정보라면 의미 있는 다른 값으로 수정하거나 이메일로 로그를 보내주세요.

johanstokking 에 2021년 02월 10일

@kurtmc @virtualguy 이 설정을 어떻게 도울 수 있는지 알려주세요. Docker 이미지의 바이너리를 보내야 하는 경우 알려주십시오.

johanstokking 에 2021년 02월 12일

@johanstokking 업데이트된 로그: https://gist.github.com/kurtmc/041dd593d24fd9f01784e56ec1deb325

kurtmc 에 2021년 02월 14일

@kurtmc 감사합니다. 여기에 나타나는 "절대 시간 없음" 오류는 처음에만 나타나지만 정상입니다. 여기에서 모든 것이 예상대로 작동했습니다. 맞습니까?

@adriansmares 는 https://github.com/TheThingsNetwork/lorawan-stack/pull/3794 와 동기화가 수정된 경쟁이 실제로 일어나고 있습니다. 그래서 그것이 진짜입니다. 다음을 참조하십시오.

"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: median is 30.900256ms"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: median is 30.900256ms"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: relative time downlink"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: relative time downlink"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: scheduled"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 1 ScheduleAt: scheduled"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Record: 30.629582ms at 2021-02-14 21:58:36.014795727 +0000 UTC m=+86.734546258"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Stats: sorted items: [{30446978 {13835767378842655859 75767631763 0x3a7a1c0}} {30504816 {13835767372765423622 70132850448 0x3a7a1c0}} {30639590 {13835767387106897922 83515681039 0x3a7a1c0}} {30830194 {13835767336362635015 36237283864 0x3a7a1c0}} {30834436 {13835767341445058316 40950998050 0x3a7a1c0}} {30835582 {13835767336764530097 36639178949 0x3a7a1c0}} {30842181 {13835767341958726238 41464666012 0x3a7a1c0}} {30845267 {13835767320071738555 21052514770 0x3a7a1c0}} {30847416 {13835767323811969378 24571520108 0x3a7a1c0}} {30889585 {13835767369324628633 66913280952 0x3a7a1c0}} {30910927 {13835767324288677194 24974486184 0x3a7a1c0}} {30943729 {13835767344594801745 43879516001 0x3a7a1c0}} {30952793 {13835767349113727476 48103474433 0x3a7a1c0}} {30963569 {13835767326445257112 26983582371 0x3a7a1c0}} {30993783 {13835767329486798315 29803898110 0x3a7a1c0}} {31018584 {13835767328128331563 28592914998 0x3a7a1c0}} {31045641 {13835767318515021603 19643281462 0x3a7a1c0}} {31073394 {13835767334606151403 34628283902 0x3a7a1c0}} {31090774 {13835767382891657128 79595407630 0x3a7a1c0}} {31249183 {13835767338921164328 38648329532 0x3a7a1c0}}]"
"1613339916024","15/02/2021 10:58:36.024 +1300","stack_1  | #3487 Stats: sorted items: [{30446978 {13835767378842655859 75767631763 0x3a7a1c0}} {30504816 {13835767372765423622 70132850448 0x3a7a1c0}} {30639590 {13835767387106897922 83515681039 0x3a7a1c0}} {30830194 {13835767336362635015 36237283864 0x3a7a1c0}} {30834436 {13835767341445058316 40950998050 0x3a7a1c0}} {30835582 {13835767336764530097 36639178949 0x3a7a1c0}} {30842181 {13835767341958726238 41464666012 0x3a7a1c0}} {30845267 {13835767320071738555 21052514770 0x3a7a1c0}} {30847416 {13835767323811969378 24571520108 0x3a7a1c0}} {30889585 {13835767369324628633 66913280952 0x3a7a1c0}} {30910927 {13835767324288677194 24974486184 0x3a7a1c0}} {30943729 {13835767344594801745 43879516001 0x3a7a1c0}} {30952793 {13835767349113727476 48103474433 0x3a7a1c0}} {30963569 {13835767326445257112 26983582371 0x3a7a1c0}} {30993783 {13835767329486798315 29803898110 0x3a7a1c0}} {31018584 {13835767328128331563 28592914998 0x3a7a1c0}} {31045641 {13835767318515021603 19643281462 0x3a7a1c0}} {31073394 {13835767334606151403 34628283902 0x3a7a1c0}} {31090774 {13835767382891657128 79595407630 0x3a7a1c0}} {31249183 {13835767338921164328 38648329532 0x3a7a1c0}}]"

이러한 명령문은 기본 플러싱으로 인해 순서가 맞지 않습니다. 짧은 문장은 즉시 플러시되고 긴 문장은 지연되는 것처럼 보입니다.

문제는 (*rtts).Record() 가 쓰기 잠금을 해제할 때 두 동시 (*rtts).Stats() 호출이 모두 읽기 잠금을 획득하므로 두 개의 동시 (*Scheduler).ScheduleAt() 호출이 정확히 동기화된다는 것입니다. (또 다른) 읽기 잠금을 획득할 때 동시에 발생하여 Scheduler 상태에서 손상을 초래합니다.

이것은 https://github.com/TheThingsNetwork/lorawan-stack/pull/3794 로 수정되었습니다