버그 보고서

버전

kubeadm 버전 : 1.10.2

환경 :

• Kubernetes 버전 : 1.9.3
• 클라우드 공급자 또는 하드웨어 구성 : 3 x k8s 마스터 HA
• 운영체제 : RHEL7
• 커널 : 3.10.0-693.11.6.el7.x86_64

어떻게 된 거예요?

몇 달 전에 저는 '공식'문서 https://kubernetes.io/docs/setup/independent/high-availability/에 따라 kubeadm 1.9.3 사용하여 kubernetes 1.9.3 HA 클러스터를 만들었습니다. etcd 정적 포드를 사용하여 마스터 노드에서 호스팅하는 HA 클러스터

최신 kubeadm 사용하여 클러스터를 k8s 1.10.2 로 업그레이드하고 싶었습니다. kubeadm 을 업데이트 한 후 kubeadm upgrade plan 실행할 때 다음 오류가 발생했습니다.

[root@shared-cob-01 tmp]# kubeadm upgrade plan
[preflight] Running pre-flight checks.
[upgrade] Making sure the cluster is healthy:
[upgrade/config] Making sure the configuration is correct:
[upgrade/config] Reading configuration from the cluster...
[upgrade/config] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[upgrade/plan] computing upgrade possibilities
[upgrade] Fetching available versions to upgrade to
[upgrade/versions] Cluster version: v1.9.3
[upgrade/versions] kubeadm version: v1.10.2
[upgrade/versions] Latest stable version: v1.10.2
[upgrade/versions] FATAL: context deadline exceeded

문제를 조사한 결과 두 가지 근본 원인을 찾았습니다.

1) kubeadm 는 etcd 클러스터를 TLS 활성화로 식별하지 않습니다.

가이드는 etcd 정적 포드에서 다음 명령을 사용하도록 지시합니다.

- etcd --name <name> \
  - --data-dir /var/lib/etcd \
  - --listen-client-urls http://localhost:2379 \
  - --advertise-client-urls http://localhost:2379 \
  - --listen-peer-urls http://localhost:2380 \
  - --initial-advertise-peer-urls http://localhost:2380 \
  - --cert-file=/certs/server.pem \
  - --key-file=/certs/server-key.pem \
  - --client-cert-auth \
  - --trusted-ca-file=/certs/ca.pem \
  - --peer-cert-file=/certs/peer.pem \
  - --peer-key-file=/certs/peer-key.pem \
  - --peer-client-cert-auth \
  - --peer-trusted-ca-file=/certs/ca.pem \
  - --initial-cluster etcd0=https://<etcd0-ip-address>:2380,etcd1=https://<etcd1-ip-address>:2380,etcd2=https://<etcd2-ip-address>:2380 \
  - --initial-cluster-token my-etcd-token \
  - --initial-cluster-state new

kubeadm >= 1.10 검사 (여기 : https://github.com/kubernetes/kubernetes/blob/release-1.10/cmd/kubeadm/app/util/etcd/etcd.go#L56) if etcd 는 정적 pod 명령어에 다음 플래그가 있는지 확인하여 TLS를 활성화합니다.

"--cert-file=",
"--key-file=",
"--trusted-ca-file=",
"--client-cert-auth=",
"--peer-cert-file=",
"--peer-key-file=",
"--peer-trusted-ca-file=",
"--peer-client-cert-auth=",

그러나 --client-cert-auth 및 --peer-client-cert-auth 플래그가 매개 변수없이 지침에 사용되었으므로 (부울) kubeadm 는 etcd 클러스터가 TLS를 갖는 것을 인식하지 못했습니다. 활성화되었습니다.

개인 수정 :
- --client-cert-auth=true 및 - --peer-client-cert-auth=true 를 사용하도록 etcd static pod 명령을 업데이트했습니다.

일반 수정 :
--client-cert-auth=true 및 --peer-client-cert-auth=true 를 사용하도록 지침을 업데이트하고 "--peer-cert-file" 및 "--peer-key-file" (등호 제외)를 사용하여 kubeadm 검사를 완화합니다.

2) kubeadm 에서 올바른 인증서를 사용하지 않았습니다.

포인트 1을 수정 한 후에도 kubeadm 에서 올바른 인증서를 사용하지 않기 때문에 문제가 계속 발생했습니다.
kubeadm HA 가이드를 따르면 실제로 생성 된 인증서는 ca.pem ca-key.pem peer.pem peer-key.pem client.pem client-key.pem 하지만 최신 kubeadm ca.crt ca.key``peer.crt peer.key``healthcheck-client.crt healthcheck-client.key 합니다.
kubeadm-config MasterConfiguration 키 etcd.caFile , etcd.certFile 및 etcd.keyFile 은 무시됩니다.

개인 수정 :
.pem 인증서의 이름을 .crt 및 .key 상응하는 것으로 변경하고이를 사용하도록 etcd 정적 포드 구성을 업데이트했습니다.

일반 수정 :
kubeadm-config data.caFile , data.certFile 및 data.keyFile 값을 사용하고 etcd 정적 포드 정의 (포드 경로 + 볼륨 hostPath)에서 올바른 인증서를 유추하거나 생성합니다. 업그레이드 중에 사용할 새 임시 클라이언트 인증서.

무슨 일이 일어나기를 기대 했습니까?

업그레이드 계획이 올바르게 실행되어야합니다.

그것을 재현하는 방법 (가능한 한 최소한으로 정확하게)?

https://kubernetes.io/docs/setup/independent/high-availability/에 따라 kubeadm 1.9.3 사용하여 k8s ha 클러스터를 만들고 최신 kubeadm 사용하여 k8s >= 1.10 로 업데이트 해보십시오. kubeadm