Trident: blkid 시간 초과로 인한 임의의 pvc 마운트 실패

버그 설명
netapp pvc를 마운트할 수 없기 때문에 ContainerCreating 상태에서 무작위로 멈춘 많은 포드를 관찰했습니다. 포드를 설명하는 동안 iSCSI 장치 정보 및 트라이던트 데몬셋 로그를 가져오는 동안 시간 초과가 발생했음을 설명하면 호스트에서 blkid 명령을 실행하는 동안 시간 초과가 발생했기 때문임을 알 수 있습니다.
이것은 무작위로 발생하며 아직 특정 pvc 및 호스트와 상관 관계가 없습니다.

환경

• 트라이던트 버전: 20.07.1
• 사용된 트라이던트 설치 플래그: tridentctl install -n sys-trident --generate-custom-yaml (그런 다음 kubectl apply -f - 생성된 매니페스트에 대해)
• 컨테이너 런타임: docker://19.3.12
• 쿠버네티스 버전: v1.19.2
• Kubernetes 조정자: 없음
• Kubernetes 지원 기능 게이트: kubernetes 기본값만
• OS: Kinvolk의 Flatcar Container Linux 2605.6.0(Oklo) 5.4.67-flatcar
• NetApp 백엔드 유형: ontap-san, ONTAP 9.7.0

재현하기 위해
클러스터 노드에서 무작위로 관찰할 수 있습니다(특정 호스트 그룹과 관련이 없는 것 같습니다).

예상되는 행동
합리적인 기간 내에 일관된 마운트 동작.

추가 컨텍스트
"고정된" 포드를 설명하면 다음을 확인할 수 있습니다.

Events:
  Type     Reason       Age                  From     Message
  ----     ------       ----                 ----     -------
  Warning  FailedMount  51m (x5 over 72m)    kubelet  Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[data thanos-storage vault-tls thanos-store-token-lj9j5]: timed out waiting for the condition
  Warning  FailedMount  42m (x3 over 56m)    kubelet  Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[thanos-storage vault-tls thanos-store-token-lj9j5 data]: timed out waiting for the condition
  Warning  FailedMount  17m (x15 over 74m)   kubelet  Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[vault-tls thanos-store-token-lj9j5 data thanos-storage]: timed out waiting for the condition
  Warning  FailedMount  14m (x22 over 74m)   kubelet  MountVolume.MountDevice failed for volume "pvc-e22cdf07-acfc-42af-a46a-bffd5ac32514" : rpc error: code = Internal desc = error getting iSCSI device information: process killed after timeout
  Warning  FailedMount  4m11s (x4 over 69m)  kubelet  Unable to attach or mount volumes: unmounted volumes=[data], unattached volumes=[thanos-store-token-lj9j5 data thanos-storage vault-tls]: timed out waiting for the condition

trident daemonset 각 포드 로그의 동일한 노드에서:

time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.execCommandWithTimeout." args="[if=/dev/sdc bs=4096 count=1 status=none]" command=dd timeoutSeconds=5s
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.execCommandWithTimeout." command=dd error="<nil>"
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.ensureDeviceReadable"
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.getFSType" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.waitForDevice" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg="Device found." device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg="<<<< osutils.waitForDevice" device=/dev/sdc
time="2020-10-14T14:32:41Z" level=debug msg=">>>> osutils.execCommandWithTimeout." args="[/dev/sdc]" command=blkid timeoutSeconds=5s
time="2020-10-14T14:32:46Z" level=error msg="process killed after timeout" process=blkid
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.execCommandWithTimeout." command=blkid error="process killed after timeout"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.getFSType"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.getDeviceInfoForLUN" iSCSINodeName="iqn.1992-08.com.netapp:sn.0205ffce026911ebb4d9d039ea1a7953:vs.9" lunID=1 needFSType=true
time="2020-10-14T14:32:46Z" level=debug msg="<<<< osutils.AttachISCSIVolume"
time="2020-10-14T14:32:46Z" level=debug msg="<<<< NodeStageVolume" Method=NodeStageVolume Type=CSI_Node
time="2020-10-14T14:32:46Z" level=debug msg="Released shared lock (NodeStageVolume-pvc-e22cdf07-acfc-42af-a46a-bffd5ac32514)." lock=csi_node_server
time="2020-10-14T14:32:46Z" level=error msg="GRPC error: rpc error: code = Internal desc = error getting iSCSI device information: process killed after timeout"

blkid 는 허용된 시간 창(?)
호스트에 ssh하고 동일한 명령을 시도하는 경우:

$ time sudo blkid /dev/sdc
/dev/sdc: UUID="f593b708-ed88-47b7-88ce-f9b8c85ab96b" TYPE="ext4"

real    0m36.393s
user    0m0.016s
sys     0m0.021s

백엔드 json 구성:
```
{
"버전": 1,
"storageDriverName": "ontap-san",
"관리LIF": "10.20.50.6",
"dataLIF": "10.20.50.4",
"svm": "dev_kube",
"igroupName": "dev_kube_trident",
"사용자 이름": "xxxxxxxxx",
"비밀번호": "xxxxxxxxxxxx",
"기본값": {
"암호화": "참"
}
}
````

우리는 여기에서 정말 막혔습니다. 그래서 이것에 대한 어떤 도움도 대단히 감사할 것입니다!