Trident: Kubernetes 버전이 업데이트된 후 Trident CSI Node 플러그인이 등록 취소됨

버그 설명

Kubernetes 버전이 v1.18.9에서 v1.19.4로 업데이트된 후 한 노드의 Trident CSI 노드 플러그인( csi.trident.netapp.io )이 이제 등록 취소되었습니다. 이 노드의 포드는 더 이상 Trident 볼륨을 마운트 및 마운트 해제할 수 없습니다.

오류 메시지

kubelet 로그에 다음 메시지가 표시됩니다.

csi.trident.netapp.io 등록 소켓( /var/lib/kubelet/plugins_registry/csi.trident.netapp.io-reg.sock )이 제거되었기 때문에 등록이 취소되었습니다.

I1119 05:47:54.246972 6550 plugin_watcher.go:212] 원하는 상태 캐시에서 소켓 경로 /var/lib/kubelet/plugins_registry/csi.trident.netapp.io-reg.sock 제거 중
I1119 05:47:53.162305 6550 reconciler.go:139] operationExecutor.UnregisterPlugin이 "/var/lib/kubelet/plugins_registry/csi.trident.netapp.io-reg.sock"에서 플러그인에 대해 시작되었습니다(플러그인 세부 정보: &{/var /lib/kubelet/plugins_registry/csi.trident.netapp.io-reg.sock 2020-11-04 05:08:19.553684094 +0000 UTC m=+38.893901704 0x704c200 csi.io.trident}
I1119 05:47:53.163390 6550 csi_plugin.go:177] kubernetes.io/csi: csi.trident.netapp.io 플러그인에 대한 registrationHandler.DeRegisterPlugin 요청

csi.trident.netapp.io 을 찾을 수 없기 때문에 포드에서 볼륨을 마운트 해제할 수 없습니다.

E1119 09:02:52.819122 6550 nestedpendingoperations.go:301] "{v olumeName:kubernetes.io/csi/csi.trident.netapp.io ^pvc-75a6fd7f-7aee-45e8-a5fa-d45dee45deapodName에 대한 작업 -4e0c-9e71-cba46dfc3657 nodeName:}"이(가) 실패했습니다. 2020-11-19 09:04:54.819071328 +0000 UTC m=+1310234.159288938(durationBeforeRetry 2m2s)까지 재시도가 허용되지 않습니다. 오류: "UnmountVolume.TearDown이 "데이터" 볼륨에 실패했습니다(고유 이름: "kubernetes.io/csi/csi.trident.netapp.io^pvc-75a6fd7f-7aee-45e8-a5fa-d4500272528e") 포드 "ad18a7d1-40c -9e71-cba46dfc3657"(UID: "ad18a7d1-4090-4e0c-9e71-cba46dfc3657"): kubernetes.io/csi: mounter.SetUpAt에서 CSI 클라이언트를 가져오지 못했습니다: 드라이버 이름 목록 csi.trident.netapp.io를 찾을 수 없습니다. 등록된 CSI 드라이버 수"

두 개의 trident-csi가 동시에 실행 중이었습니다.

우리는 이 노드에서 두 개의 trident-csi (노드 플러그인) 포드가 매우 짧은 시간 동안 동시에 실행되고 있었고 새 포드가 시작된 후 이전 driver-registrar 이 중지되었음을 발견했습니다.

driver-registrar 는 SIGTERM( node_register.go#L113-L116 )을 수신할 때 등록 소켓( /var/lib/kubelet/plugins_registry/csi.trident.netapp.io-reg.sock )을 제거합니다. 소켓을 제거하면 kubelet이 Trident 플러그인을 등록 취소합니다. 이것이 문제의 원인이라고 생각합니다.

업데이트 후 DaemonSet이 다시 생성되었습니다.

Trident-csi(노드 플러그인) 포드는 DaemonSet에서 관리합니다. 일반적으로 모든 노드에서 하나의 포드만 실행됩니다. 그러나 Kubernetes가 업데이트된 후 trident-csi Daemonset이 trident-operator 에 의해 다시 생성되었습니다. DaemonSet을 삭제하면 두 개의 포드(이전 및 새 포드)를 동시에 실행할 수 있습니다.

trident-operator 로그에서 이를 확인했습니다.

여기서 trident-csi Daemonset이 삭제되었습니다.

time="2020-11-19T05:47:45Z" level=debug msg="Kubernetes DaemonSet를 삭제했습니다." DaemonSet=삼지창-csi 네임스페이스=삼지창

trident-csi Daemonset은 그 후 곧 생성되었습니다.

time="2020-11-19T05:47:45Z" level=debug msg="객체 생성 중." 종류=DaemonSet 이름=trident-csi 네임스페이스=트라이던트

Kubernetes가 업데이트된 후 shouldUpdate 플래그가 true로 설정되었습니다( controller.go#L1110 ). shouldUpdate 플래그로 인해 trident-csi Daemonset이 삭제되는 것 같습니다( installer.go#L1489-L1494 ).

환경

• Trident 버전: trident-operator가 있는 20.10.0
• 사용된 트라이던트 설치 플래그: silenceAutosupport: true (트라이던트 연산자)
• 컨테이너 런타임: Docker 19.03.13
• 쿠버네티스 버전: v1.19.4
• 쿠버네티스 오케스트레이터: 쿠버네티스
• Kubernetes 지원 기능 게이트:
• 운영 체제: 우분투 18.04
• NetApp 백엔드 유형: ONTAP AFF 9.1P14
• 다른:

재현하기 위해

Kubernetes 버전을 업데이트하면 이 문제가 재현될 수 있습니다. 쿠버네티스 업데이트는 시간이 오래 걸리고 항상 일어나는 것은 아니기 때문에 다양한 시연을 통해 이 문제를 일으키는 다음과 같은 동작을 확인했다.

두 개의 trident-csi로 인해 kubelet이 Trident 플러그인 등록을 취소합니다.

1. Trident CSI 드라이버가 노드에 등록되었는지 확인합니다.

$ kubectl describe csinodes.storage.k8s.io <NODE_NAME>
...
Spec:
  Drivers:
    csi.trident.netapp.io:
      Node ID:        <NODE_NAME>
      Topology Keys:  [topology.kubernetes.io/zone]

1. trident-csi DaemonSet를 복사하여 각 노드에서 2개의 trident-csi 포드를 실행합니다.

$ kubectl get ds -n trident trident-csi -o json | jq '.metadata.name|="trident-csi-2"' | kubectl apply -f -

1. 실행될 때까지 기다린 다음 복사한 trident-csi-2 DaemonSet를 삭제합니다.

$ kubectl delete ds -n trident trident-csi-2

1. 노드의 드라이버 섹션에서 Trident CSI 드라이버가 사라졌는지 확인합니다. (시간이 좀 걸립니다)

$ kubectl describe csinodes.storage.k8s.io <NODE_NAME>
Spec:

DaemonSet을 다시 생성하면 두 개의 포드(이전 및 새 포드)를 동시에 실행할 수 있습니다.

1. trident-csi DaemonSet을 삭제합니다. DaemonSet은 곧 trident-operator에 의해 다시 생성됩니다.

$ kubectl delete ds -n trident trident-csi

1. 각 노드에 두 개의 trident-csi 포드가 표시됩니다.

$ kubectl get pods -n trident -o wide

예상되는 행동
포드는 Kubernetes 버전이 업데이트된 후 Trident 볼륨을 마운트 및 마운트 해제할 수 있습니다.

추가 컨텍스트
없음