Cardano-db-sync: 임의의 "insertABlock에서 DB 조회 실패" 오류

나는 보았다

DB lookup fail in insertABlock: block hash

이전에는 하나는 디스크 공간이 부족한 postgres 때문이었고 다른 하나는 테스트 중에 데이터베이스를 잠재적으로 안전하지 않은 조작을 한 후였습니다.

FROZEN FOREVER 부분은 제가 직접 제어할 수 있는 부분이 아닙니다. 내 코드는 ChainSync 프로토콜을 수행하는 네트워킹 코드를 호출한 다음 내 코드의 다른 비트를 다시 호출합니다. 이 경우 내 내부 코드에서 예외가 발생했는데 이 예외는 네트워크 코드에 포착되어 내 코드로 다시 전파되지 않았습니다. 이에 대한 수정 사항이 있을 수 있지만 간단하지 않을 수 있습니다.

내 제안은 다음과 같습니다.

• 머신에 충분한 디스크 공간이 있는지 확인합니다(epoch 220에 완전히 동기화됨, 내 db-sync 인스턴스가 6G 디스크를 사용 중임).
• 데이터베이스를 삭제하고 다시 만듭니다(기존 손상이 제거되었는지 확인하기 위해).
• 동기화를 수동으로 모니터링합니다(최대 약 3시간).

죄송합니다. 첨부된 로그에서 그 이후로 더 이상 그런 일이 발생하지 않았음을 언급하는 것을 잊었습니다. 그래서 내 postgres 인스턴스에 예외적인 문제가 있을 수 있다고 생각했습니다(그 당시 IIRC에서 HA를 사용하고 있었습니다).

더 유용한 단서가 있는지 확인하기 위해 잠시 동안 이 정보를 열어둘 수 있습니다.

JFTR, 저는 메인넷을 처음부터 다시 동기화하고 있으며 꽤 오랜 시간이 지난 후에(최소한 최신 버전에서는) 실제로 복구되며 cardano-node 소켓을 사용할 수 없기 때문에 발생할 수 있음을 발견했습니다[0].
이 후자의 문제는 내가 TCP를 통해 소켓을 공유하기 때문에 다른 k8s 포드(공유 ipc 없음)에서 실행되는 다른 서비스에 액세스할 수 있고 약간의 불안정성을 얻습니다(아직 정확히 어디서 오는지 확실하지 않음, 더 많은 TCP 튜닝을 수행해야 함) .

[0]

[db-sync-node:Info:217] [2020-10-20 08:09:02.03 UTC] epochPluginInsertBlock: epoch 182
[db-sync-node:Info:217] [2020-10-20 08:11:01.01 UTC] insertByronBlock: slot 3955000, block 3952915, hash d5941f934cf5eb5c3105b584c07aa6c872272dbd0d4fbe78efb36682ed59f211
[db-sync-node:Info:217] [2020-10-20 08:15:22.01 UTC] insertByronBlock: slot 3960000, block 3957915, hash 92494b54140f9db989618f93f11be579b1112d66c173d09cdfb5ac8f9ae6d9ce
[db-sync-node:Error:217] [2020-10-20 08:15:54.86 UTC] DB lookup fail in insertABlock: block hash 55f53f6ddf3546aa29079945eb995244c4a5a205bb287ca76c89a85e2f60ef6d
[db-sync-node:Info:217] [2020-10-20 08:15:54.86 UTC] Shutting down DB thread
[db-sync-node:Error:220] [2020-10-20 08:15:54.86 UTC] recvMsgRollForward: AsyncCancelled
[db-sync-node:Error:211] [2020-10-20 08:34:04.83 UTC] ChainSyncWithBlocksPtcl: AsyncCancelled
[db-sync-node.Subscription:Error:207] [2020-10-20 08:34:04.83 UTC] [String "Application Exception: LocalAddress {getFilePath = \"/node-ipc/node.socket\"} MuxError MuxBearerClosed \"<socket: 12> closed when reading data, waiting on next header True\"",String "SubscriptionTrace"]
[db-sync-node.ErrorPolicy:Warning:4] [2020-10-20 08:34:04.83 UTC] [String "ErrorPolicySuspendPeer (Just (ApplicationExceptionTrace (MuxError MuxBearerClosed \"<socket: 12> closed when reading data, waiting on next header True\"))) 20s 20s",String "ErrorPolicyTrace",String "LocalAddress {getFilePath = \"/node-ipc/node.socket\"}"]
[db-sync-node.Handshake:Info:1879] [2020-10-20 08:34:05.83 UTC] [String "Send MsgProposeVersions (fromList [(NodeToClientV_1,TInt 764824073),(NodeToClientV_2,TInt 764824073),(NodeToClientV_3,TInt 764824073)])",String "LocalHandshakeTrace",String "ConnectionId {localAddress = LocalAddress {getFilePath = \"\"}, remoteAddress = LocalAddress {getFilePath = \"/ipc/node.socket\"}}"]
[db-sync-node.Handshake:Info:1879] [2020-10-20 08:34:05.85 UTC] [String "Recv MsgAcceptVersion NodeToClientV_3 (TInt 764824073)",String "LocalHandshakeTrace",String "ConnectionId {localAddress = LocalAddress {getFilePath = \"\"}, remoteAddress = LocalAddress {getFilePath = \"/ipc/node.socket\"}}"]
[db-sync-node:Info:1883] [2020-10-20 08:34:05.85 UTC] Starting chainSyncClient
[db-sync-node:Info:1883] [2020-10-20 08:34:07.63 UTC] Cardano.Db tip is at slot 3960564, block 3958479
[db-sync-node:Info:1889] [2020-10-20 08:34:07.63 UTC] Running DB thread
[db-sync-node:Info:1889] [2020-10-20 08:34:08.16 UTC] Rolling back to slot 3960564, hash 55f53f6ddf3546aa29079945eb995244c4a5a205bb287ca76c89a85e2f60ef6d
[db-sync-node:Info:1889] [2020-10-20 08:34:08.17 UTC] Deleting blocks numbered: []
[db-sync-node:Info:1889] [2020-10-20 08:37:42.51 UTC] insertByronBlock: slot 3965000, block 3962915, hash c1fa47cd48391aa3774e61c8830b5d1e8bbf62c4720b856a952fdd6d95dcd5e6
[db-sync-node:Info:1889] [2020-10-20 08:41:59.70 UTC] insertByronBlock: slot 3970000, block 3967915, hash 71dcc988afa8fbf6e2f5c88b165f7ee7dbbe8a1a07141df8a5f2c42986494528
[db-sync-node:Info:1889] [2020-10-20 08:46:19.05 UTC] epochPluginInsertBlock: epoch 183
[db-sync-node:Info:1889] [2020-10-20 08:46:43.59 UTC] insertByronBlock: slot 3975000, block 3972915, hash 9be00c8a13eeaa21b24b070fe9254c6b30c3e1953e8625604c86e8c8d5695213
[db-sync-node:Info:1889] [2020-10-20 08:51:42.20 UTC] insertByronBlock: slot 3980000, block 3977915, hash ec3903b66e2a7638315e9d4b9a19ed904b71eae3e5e4cdd412a9b8ed5875b970
[db-sync-node:Info:1889] [2020-10-20 08:57:17.01 UTC] insertByronBlock: slot 3985000, block 3982915, hash 527077e870a8fa8648fb035107c906cc72e3ea2438a674020dc472ec9e2b8d50
[db-sync-node:Info:1889] [2020-10-20 09:01:33.12 UTC] insertByronBlock: slot 3990000, block 3987915, hash 2d6ed2788d5a694d05866d5c08002e46b9e119cab71c2e56d5b76432f37b8eda
[db-sync-node:Info:1889] [2020-10-20 09:05:17.18 UTC] insertByronBlock: slot 3995000, block 3992915, hash e043d137b267ed16b73b41cb92889b37cad381c53c80390598b547dc9fc58892
[db-sync-node:Info:1889] [2020-10-20 09:06:00.19 UTC] epochPluginInsertBlock: epoch 184
[db-sync-node:Info:1889] [2020-10-20 09:09:43.66 UTC] insertByronBlock: slot 4000000, block 3997915, hash a1f93a150ed43de21591124248b27ba0c830bed8c8e81c9a17d7823b5a6cfc97
[db-sync-node:Info:1889] [2020-10-20 09:14:39.01 UTC] insertByronBlock: slot 4005000, block 4002914, hash 3ad70e79c62b3f0cafac5a6bcce66702cac04ea16b7487ceb4627cd61eb9ca42

그것은 아마도 일부 cardano-node 소켓을 사용할 수 없기 때문에 발생합니다.

그 자체로는 DB 조회 실패를 일으키지 않습니다.

그러나 소켓이 사라졌을 때 db-sync 가 DB 조회를 수행 중이었다면 결과 예외로 인해 DB 조회가 조기에 종료되어 조회 실패로 보고될 수 있습니다.

소켓이 반환되면 블록 해시 55f53f6d...2f60ef6d (이전에 조회에 실패한 해시)로 롤백되고 이번에는 조회가 성공했거나 체인 동기화가 바로 거기서 죽었을 것입니다.

이것을 열어둘 가치가 있습니까? 문제는 거의 모든 경우에 재현할 수 없는 문제를 해결할 수 없다는 것입니다.