Kubeadm: 마스터 IP 주소 변경

이는 kubeadm의 제한 사항이 아니라 일반적인 보안 관행입니다.
인증서는 {your-old-IP-here}에 대해 서명되었으며 보안 통신은 {your-new-ip-here}에 발생할 수 없습니다.

미리 인증서에 더 많은 IP를 추가할 수 있지만...

당신의 응답을 주셔서 감사합니다.

IP 주소는 클라우드 공급자가 할당하므로 인증서를 미리 생성하는 것은 와일드카드로 설정할 수 있는 경우에만 작동합니다. (죄송합니다, 저는 인증서에 대해 아무것도 모릅니다.)

나는 kubeadm reset 실제로 존재한다는 것을 간과했다. 왜냐하면 레퍼런스 가이드에 언급되지 않았기 때문이다. Reset 및 init는 저에게 충분히 잘 작동했으며 마스터 시스템을 종료하는 것을 피할 것입니다. 제 문제는 드물고 프로덕션 사용 사례와 거리가 멀다고 가정합니다. 그래도 더 좋은 방법이 있는지 궁금합니다. kubeadm reset 단계를 모방할 수 있지만 클러스터 설정을 보존하기 위해 etcd 데이터 폴더를 유지하시겠습니까?

어느 쪽이든 kubeadm에서 수행한 모든 작업에 감사드립니다! 클러스터가 몇 분 만에 시작되는 것을 보는 것은 마법과 같습니다. 저는 0.14부터 Kubernetes를 사용하고 있으며 1.0부터 프로덕션 환경에서 사용하고 있습니다.

@analytik 나는 당신과 똑같은 문제가 있습니다. 회사 네트워크가 gcr.io를 차단합니다. 그래서 설치를 위해 동글을 사용하고 있습니다. 그러나 공급자 IP는 계속 동적으로 변경되며 내 통제 하에 있지 않습니다. 그래서 나조차도 해결책을 찾고 있습니다. 동글을 계속 연결해도 네트워크 재설정으로 인해 IP가 변경되는 경우가 있습니다. 이에 대한 해결책이 있습니까? 어떻게 처리하고 있습니까?
@luxas 진행 방법에 대해 제안해 주시겠습니까? 저는 K8S의 초보자입니다. 이 구성으로 완전히 손실되었습니다. 이 동적 IP 문제를 해결하는 방법을 알려주시겠습니까?

변경된 마스터 IP는 어떻게 처리하고 계신가요?

이 문제에 대한 업데이트가 있습니까?

동일한 문제가 있습니다. 전체 클러스터를 재설정하지 않고 마스터 IP 수정을 진행하는 문서가 있습니까?

나는 다음과 같은 방법으로 이것을 달성할 수 있었다:

• /etc/kubernetes의 모든 구성 파일에서 IP 주소 바꾸기
• /etc/kubernetes/pki 백업
• /etc/kubernetes/pki에서 이전 IP 주소를 대체 이름으로 가진 인증서 식별[1]
• 각각에 대한 인증서와 키를 모두 삭제합니다 (나에게는 apiserver 및 etcd/peer였습니다)
• kubeadm alpha phase certs 사용하여 인증서 재생성 [2]
• 이전 IP[3]를 참조한 kube-system 네임스페이스에서 configmap 식별
• 해당 구성 맵을 수동으로 편집
• kubelet 및 docker 다시 시작(모든 컨테이너를 강제로 다시 생성하기 위해)

[1]

/etc/kubernetes/pki# for f in $(find -name "*.crt"); do openssl x509 -in $f -text -noout > $f.txt; done
/etc/kubernetes/pki# grep -Rl 12\\.34\\.56\\.78 .
./apiserver.crt.txt
./etcd/peer.crt.txt
/etc/kubernetes/pki# for f in $(find -name "*.crt"); do rm $f.txt; done

[2]

/etc/kubernetes/pki# rm apiserver.crt apiserver.key
/etc/kubernetes/pki# kubeadm alpha phase certs apiserver
...
/etc/kubernetes/pki# rm etcd/peer.crt etcd/peer.key
/etc/kubernetes/pki# kubeadm alpha phase certs etcd-peer
...

[삼]

$ kubectl -n kube-system get cm -o yaml | less
...
$ kubectl -n kube-system edit cm ...

와우, 나는이 명령을 몰랐습니다. 훌륭한 정보, 그 트릭을 수행했습니다. 고맙습니다 !

configmaps를 수동으로 찾아 변경하는 방법이 있습니까?

kubeadm이 향후 릴리스에서 이 프로세스를 다룰 수 있기를 바랍니다.

@patricklucas 진지하게

더 명확한 정보를 원하는 사람들을 위해 다음과 같은 경험을 했습니다.

1. /etc/kubernetes 있는 모든 구성 파일의 IP 주소를 교체합니다.
   bash oldip=192.168.1.91 newip=10.20.2.210 cd /etc/kubernetes # see before find . -type f | xargs grep $oldip # modify files in place find . -type f | xargs sed -i "s/$oldip/$newip/" # see after find . -type f | xargs grep $newip
2. /etc/kubernetes/pki 백업
   bash mkdir ~/k8s-old-pki cp -Rvf /etc/kubernetes/pki/* ~/k8s-old-pki
3. 이전 IP 주소를 대체 이름으로 사용하는 /etc/kubernetes/pki 인증서 식별(정리 가능)
   bash cd /etc/kubernetes/pki for f in $(find -name "*.crt"); do openssl x509 -in $f -text -noout > $f.txt; done grep -Rl $oldip . for f in $(find -name "*.crt"); do rm $f.txt; done

4. 이전 IP를 참조한 kube-system 네임스페이스에서 configmap을 식별하고 편집합니다.

   # find all the config map names
   configmaps=$(kubectl -n kube-system get cm -o name | \
     awk '{print $1}' | \
     cut -d '/' -f 2)
   
   # fetch all for filename reference
   dir=$(mktemp -d)
   for cf in $configmaps; do
     kubectl -n kube-system get cm $cf -o yaml > $dir/$cf.yaml
   done
   
   # have grep help you find the files to edit, and where
   grep -Hn $dir/* -e $oldip
   
   # edit those files, in my case, grep only returned these two:
   kubectl -n kube-system edit cm kubeadm-config
   kubectl -n kube-system edit cm kube-proxy
   

5. IP 주소 변경(배포용 cli 또는 gui를 통해)

6. 이전 단계에서 grep으로 식별된 각각에 대한 인증서와 키를 모두 삭제하고 해당 인증서를 재생성합니다.

   참고: kubeadm admin phase certs ... 를 통해 인증서를 다시 만들기 전에 새 IP 주소를 적용해야 합니다.

   rm apiserver.crt apiserver.key
   kubeadm alpha phase certs apiserver
   
   rm etcd/peer.crt etcd/peer.key
   kubeadm alpha phase certs etcd-peer
   

7. kubelet 및 docker를 다시 시작하십시오.
   bash sudo systemctl restart kubelet sudo systemctl restart docker
8. 새 구성 위에 복사
   bash sudo cp /etc/kubernetes/admin.conf $HOME/.kube/config

@mariamTr ^

주목해야 할 또 다른 사항은 구성 파일에서 k8s 버전을 지정하여 오프라인 모드에서 인증서를 변경할 수 있다는 것입니다. https://github.com/kubernetes/kubernetes/issues/54188#issuecomment -418880831

@weisjohn 다음 사항을 참고하여 의견을 업데이트해 주

kubectl edit cm -nkube-public cluster-info

kubeadm에도 필요합니까?

그렇지 않으면 프로세스 중간에 이전/잘못된 apiserver IP를 사용하여 kubeadm join 명령이 계속 실패합니다.

감사 해요!

@weisjohn (https://github.com/kubernetes/kubeadm/issues/338#issuecomment-418879755) 및 @michaelfig (https://github.com/kubernetes/kubeadm/issues/)의 모든 단계를 적용했습니다. 338#issuecomment-428340099) 모든 곳에서 주소를 대체합니다.

이는 kubernetes가 eth0의 공용 IP 대신 eth1에서 새로 생성된 VPC 주소를 사용하도록 하는 데 사용됩니다. 그러나 kubeadm upgrade diff v1.12.3 실행하면 --advertise-address 에서 /etc/kubernetes/manifests/kube-apiserver.yaml --advertise-address 로 변경 사항을 되돌리려고 합니다.

어떤 단서?

kubectl get all --export=true --all-namespaces -o yaml 에도 기존 IP는 어디에도 존재하지 않습니다.

업데이트: kubeadm upgrade diff 는 변경을 제안했지만 kubeadm upgrade apply 는 실제로 주소를 전혀 변경하지 않은 것으로 나타났습니다. (수정과 같은 많은 버그 kubernetes 1.13 중 하나)

@weisjohn 감사합니다

@patricklucas 진지하게

더 명확한 정보를 원하는 사람들을 위해 다음과 같은 경험을 했습니다.

1. /etc/kubernetes 있는 모든 구성 파일의 IP 주소를 교체합니다.
   shell oldip=192.168.1.91 newip=10.20.2.210 cd /etc/kubernetes # see before find . -type f | xargs grep $oldip # modify files in place find . -type f | xargs sed -i "s/$oldip/$newip/" # see after find . -type f | xargs grep $newip
2. /etc/kubernetes/pki 백업
   shell mkdir ~/k8s-old-pki cp -Rvf /etc/kubernetes/pki/* ~/k8s-old-pki
3. 이전 IP 주소를 대체 이름으로 사용하는 /etc/kubernetes/pki 인증서 식별(정리 가능)
   shell cd /etc/kubernetes/pki for f in $(find -name "*.crt"); do openssl x509 -in $f -text -noout > $f.txt; done grep -Rl $oldip . for f in $(find -name "*.crt"); do rm $f.txt; done

4. 이전 IP를 참조한 kube-system 네임스페이스에서 configmap을 식별하고 편집합니다.

   # find all the config map names
   configmaps=$(kubectl -n kube-system get cm -o name | \
    awk '{print $1}' | \
    cut -d '/' -f 2)
   
   # fetch all for filename reference
   dir=$(mktemp -d)
   for cf in $configmaps; do
    kubectl -n kube-system get cm $cf -o yaml > $dir/$cf.yaml
   done
   
   # have grep help you find the files to edit, and where
   grep -Hn $dir/* -e $oldip
   
   # edit those files, in my case, grep only returned these two:
   kubectl -n kube-system edit cm kubeadm-config
   kubectl -n kube-system edit cm kube-proxy
   

5. IP 주소 변경(배포용 cli 또는 gui를 통해)

6. 이전 단계에서 grep으로 식별된 각각에 대한 인증서와 키를 모두 삭제하고 해당 인증서를 재생성합니다.

   참고: kubeadm admin phase certs ... 를 통해 인증서를 다시 만들기 전에 새 IP 주소를 적용해야 합니다.

   rm apiserver.crt apiserver.key
   kubeadm alpha phase certs apiserver
   
   rm etcd/peer.crt etcd/peer.key
   kubeadm alpha phase certs etcd-peer
   

7. kubelet 및 docker를 다시 시작하십시오.
   shell sudo systemctl restart kubelet sudo systemctl restart docker
8. 새 구성 위에 복사
   shell sudo cp /etc/kubernetes/admin.conf $HOME/.kube/config

@mariamTr ^

단계를 주셔서 감사합니다.
마스터 노드에서 수행해야 하는 변경 사항과 그 후 재구성된 마스터 노드에 참여하기 위해 이전 작업자 노드에 적용해야 하는 절차와 같은 추가 정보를 제공할 수 있습니까?

미리 감사드립니다 :)

마스터 IP를 사설 네트워크로 이동할 때 오버레이 네트워크도 업데이트하는 것이 유용할 수 있습니다. Calico는 해당 인터페이스에 바인딩될 때까지 VPC 인터페이스를 사용하지 않았습니다.

         env:
            - name: IP_AUTODETECTION_METHOD
              value: interface=eth1

kubeadm 알파 단계 인증서 apiserver

@weisjohn kubeadm alpha phase certs apiserver는 v1.13.0에서 작동하지 않으며 "이 명령은 자체적으로 실행되지 않습니다. 사용 가능한 하위 명령 목록을 참조하십시오." 업데이트된 의견이 있습니까?

1.13에서 명령은 kubeadm init phase certs apiserver .
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init-phase/#cmd -phase-certs

매우 유용한 치료 단계 - @patricklucas 및 @weisjohn에게 감사드립니다!

저처럼 IP 주소가 이미 변경된 상태에서 시작하여 4단계에서 configmap을 변경하기 위해 api-server에 연결할 수 없는 경우 한 가지 추가 팁:
api-server 인증서는 호스트 이름 kubernetes 대해 서명되었으므로 /etc/hosts 의 새 IP 주소에 별칭으로 추가한 다음 kubectl --server=https://kubernetes:6443 ... 있습니다.

@bboreham @weisjohn @patricklucas 경험해 주셔서 감사합니다. 마스터 노드에서 IP를 변경한 후 작업자 노드에서 무엇을 해야 하는지 조언 부탁드립니다.
클러스터에 삭제/추가하시겠습니까? 아니면 __/etc/kubernetes/kubelet.conf_ 및 _/etc/kubernetes/pki/ca.crt_를 수동으로 변경하시겠습니까?

나는 그것이 오래된 문제라는 것을 알고 있지만 아마도 내 의견이 누군가에게 유용 할 것입니다.
불행히도 @patricklucas 와 @weisjohn 이 제안한 솔루션이 저에게 효과가 없었으므로 제가 직접 만들었습니다.

systemctl stop kubelet docker

cd /etc/

# backup old kubernetes data
mv kubernetes kubernetes-backup
mv /var/lib/kubelet /var/lib/kubelet-backup

# restore certificates
mkdir -p kubernetes
cp -r kubernetes-backup/pki kubernetes
rm kubernetes/pki/{apiserver.*,etcd/peer.*}

systemctl start docker

# reinit master with data in etcd
# add --kubernetes-version, --pod-network-cidr and --token options if needed
kubeadm init --ignore-preflight-errors=DirAvailable--var-lib-etcd

# update kubectl config
cp kubernetes/admin.conf ~/.kube/config

# wait for some time and delete old node
sleep 120
kubectl get nodes --sort-by=.metadata.creationTimestamp
kubectl delete node $(kubectl get nodes -o jsonpath='{.items[?(@.status.conditions[0].status=="Unknown")].metadata.name}')

# check running pods
kubectl get pods --all-namespaces

@valerius257 고마워요, 당신은 우리 주말을 저장합니다)

@valerius257 감사합니다 👍
@patricklucas 및 @weisjohn의 모든 작성/지시를 시도 했습니다 . 그들은 내 클러스터에서 작동하지 않았습니다. 좋은 점은 이러한 지침이 인증서 및 키의 일부 주요 측면과 처리해야 하는 일정을 강조한다는 것입니다.

@valerius257이 언급한 지침은 내 kubeadm 마스터 노드에 매우 특정한 문제가 발생할 때까지 원활하게 작동했습니다. IP가 변경된 kubeadm 마스터 노드를 복구하려고 했습니다.

@valerius257이 언급한 단계의 후속 작업
하나의 단일 마스터 노드에서 flannel n/w 플러그인을 사용하고 있었습니다.
Flannel 문제: kube-flannel-ds-xxxx 백오프가 실패한 컨테이너를 다시 시작함
포드 상태: CrashLoopBackOff. 이로 인해 core-dns-xxx와 같은 다른 Pod도 나타나지 않습니다.

해결: cidr n/w를 사용하여 kubeadm init으로 클러스터를 시작했기 때문에(IP가 오래되었거나 마스터 노드를 시운전하는 동안) 다음 단계에서 "/etc/kubernetes/manifests/kube-controller-manager"에서 cidr 설정을 지웠습니다. .yaml" 파일입니다.
kubeadm 초기화 --ignore-preflight-errors=DirAvailable--var-lib-etcd.

따라서 "kubeadm init --token {{ kubeadm_token }} --pod-network-cidr=10.244.0.0/16" "명령을 사용하여 kubeadm 마스터 노드(첫 번째 IP 주소 포함)를 시작한 경우 할당 후 새 IP는 --pod-network-cidr=10.244.0.0/16으로 다음 명령을 실행해야 합니다.
" kubeadm 초기화 --ignore-preflight-errors=DirAvailable--var-lib-etcd --token {{ kubeadm_token }} --pod-network-cidr=10.244.0.0/16"

또는 Spec:containers :command에서 누락된 경우 다음 매개변수가 포함된 "/etc/kubernetes/manifests/kube-controller-manager.yaml" 파일을 수정하십시오.

• --allocate-node-cidrs=true
• --cluster-cidr=10.244.0.0/16
  
  
  
  • --node-cidr-mask-size=24
    
    참조: https://github.com/coreos/flannel/issues/728 , @wkjun에서 솔루션 읽기
    
    위의 변경 사항이 적용되면
    
    systemctl 중지 kubelet 도커
    
    잠 20
    
    systemctl 도커 kubelet 시작
    
    플란넬을 포함하여 모든 포드가 실행 중인지 확인합니다.
    
    kubect 포드 가져오기 -n kube-system
  
  

문제 2:
애플리케이션 네임스페이스 또는 kube-system의 모든 포드는 다음과 같은 포드 명령 설명에서 오류를 표시하기 시작합니다.
"경고 FailedScheduling 기본 스케줄러 0/1 노드를 사용할 수 있습니다. 1개 노드에 포드가 허용하지 않는 오염이 있습니다."
다음 명령을 실행합니다. kubectl taint nodes --all node-role.kubernetes.io/master-
앱 작업 공간 또는 kube-system 네임스페이스에서 실행되는 모든 포드를 설명하면 언급된 오류가 관찰되지 않습니다. 다중 노드 클러스터에서는 각별한 주의가 필요합니다.

@patricklucas 진지하게

더 명확한 정보를 원하는 사람들을 위해 다음과 같은 경험을 했습니다.

1. /etc/kubernetes 있는 모든 구성 파일의 IP 주소를 교체합니다.
   shell oldip=192.168.1.91 newip=10.20.2.210 cd /etc/kubernetes # see before find . -type f | xargs grep $oldip # modify files in place find . -type f | xargs sed -i "s/$oldip/$newip/" # see after find . -type f | xargs grep $newip
2. /etc/kubernetes/pki 백업
   shell mkdir ~/k8s-old-pki cp -Rvf /etc/kubernetes/pki/* ~/k8s-old-pki
3. 이전 IP 주소를 대체 이름으로 사용하는 /etc/kubernetes/pki 인증서 식별(정리 가능)
   shell cd /etc/kubernetes/pki for f in $(find -name "*.crt"); do openssl x509 -in $f -text -noout > $f.txt; done grep -Rl $oldip . for f in $(find -name "*.crt"); do rm $f.txt; done

4. 이전 IP를 참조한 kube-system 네임스페이스에서 configmap을 식별하고 편집합니다.

   # find all the config map names
   configmaps=$(kubectl -n kube-system get cm -o name | \
    awk '{print $1}' | \
    cut -d '/' -f 2)
   
   # fetch all for filename reference
   dir=$(mktemp -d)
   for cf in $configmaps; do
    kubectl -n kube-system get cm $cf -o yaml > $dir/$cf.yaml
   done
   
   # have grep help you find the files to edit, and where
   grep -Hn $dir/* -e $oldip
   
   # edit those files, in my case, grep only returned these two:
   kubectl -n kube-system edit cm kubeadm-config
   kubectl -n kube-system edit cm kube-proxy
   

5. IP 주소 변경(배포용 cli 또는 gui를 통해)

6. 이전 단계에서 grep으로 식별된 각각에 대한 인증서와 키를 모두 삭제하고 해당 인증서를 재생성합니다.

   참고: kubeadm admin phase certs ... 를 통해 인증서를 다시 만들기 전에 새 IP 주소를 적용해야 합니다.

   rm apiserver.crt apiserver.key
   kubeadm alpha phase certs apiserver
   
   rm etcd/peer.crt etcd/peer.key
   kubeadm alpha phase certs etcd-peer
   

7. kubelet 및 docker를 다시 시작하십시오.
   shell sudo systemctl restart kubelet sudo systemctl restart docker
8. 새 구성 위에 복사
   shell sudo cp /etc/kubernetes/admin.conf $HOME/.kube/config

@mariamTr ^

newip 대신에 어떤 ip를 주어야합니까?
우리 고유의 ip를 만들 수 있습니까?

@VipinKrizz 이 문제의 컨텍스트는 인프라 내 요인으로 인해 IP가 이미 변경되었다는 것입니다. 특정 설정에 대해 잘 알고 있는 사람 외에는 어떤 IP를 사용해야 하는지 대답할 수 있는 사람이 없습니다.

Slack에서 이에 대해 이야기할 사람을 찾을 수 있을까요? Kubeadm 문제는 올바른 위치가 아닙니다.

@valerius257 그 스크립트에 감사드립니다. 이제 제 접근 방식에 여러 가지 단점이 있습니다. 귀하의 솔루션이 작동했음을 확인할 수 있지만 모든 k8에서와 같이 작은 가장자리가 많이 있습니다. 활성화된 서비스/내장, dns, 특수 스토리지 클래스 등에 모든 패치를 다시 적용해야 했습니다.

하지만 네, 당신의 대본이 오늘 제 베이컨을 구해줬습니다.

@ valerius257 귀하의 단계를 따랐지만 문제가 아래에 나타납니다.

root@ubuntu :/etc/kubernetes/pki# kubeadm init --ignore-preflight-errors=DirAvailable--var-lib-etcd
W0122 10:15:34.819150 102032 version.go:101] 인터넷에서 Kubernetes 버전을 가져올 수 없습니다: URL " https://dl.k8s.io/release/stable-1.txt ": Get https: //dl.k8s.io/release/stable-1.txt : 다이얼 tcp: 127.0.0.53:53에서 dl.k8s.io 조회: 서버 오작동
W0122 10:15:34.819340 102032 version.go:102] 로컬 클라이언트 버전: v1.16.3으로 폴백
[초기화] Kubernetes 버전 사용: v1.16.3
[실행 전] 실행 전 검사 실행
[경고 IsDockerSystemdCheck]: "cgroupfs"를 Docker cgroup 드라이버로 감지했습니다. 권장 드라이버는 "systemd"입니다. https://kubernetes.io/docs/setup/cri/ 의 가이드를 따르십시오.
[경고 DirAvailable--var-lib-etcd]: /var/lib/etcd가 비어 있지 않습니다.
[프리플라이트] Kubernetes 클러스터 설정에 필요한 이미지 가져오기
[프리플라이트] 인터넷 연결 속도에 따라 1~2분 정도 소요될 수 있습니다.
[프리플라이트] 'kubeadm config images pull'을 사용하여 미리 이 작업을 수행할 수도 있습니다.
[kubelet-start] "/var/lib/kubelet/kubeadm-flags.env" 파일에 플래그가 있는 kubelet 환경 파일 쓰기
[kubelet-start] "/var/lib/kubelet/config.yaml" 파일에 kubelet 구성 쓰기
[kubelet-start] kubelet 서비스 활성화
[certs] certificateDir 폴더 "/etc/kubernetes/pki" 사용
[certs] 기존 ca 인증 기관 사용
[certs] "apiserver" 인증서 및 키 생성
[certs] apiserver 서빙 인증서는 DNS 이름 [ubuntu kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] 및 IP [10.96.0.1 192.168.120.137]에 대해 서명되었습니다.
[certs] 디스크의 기존 apiserver-kubelet-client 인증서 및 키 사용
[certs] 기존 front-proxy-ca 인증 기관 사용
[certs] 디스크의 기존 프론트 프록시 클라이언트 인증서 및 키 사용
[certs] 기존 etcd/ca 인증 기관 사용
[certs] 디스크의 기존 etcd/server 인증서 및 키 사용
[certs] "etcd/peer" 인증서 및 키 생성
[인증서] etcd/피어 서비스 인증서는 DNS 이름 [ubuntu localhost] 및 IP [192.168.120.137 127.0.0.1 ::1]에 대해 서명되었습니다.
[certs] 디스크의 기존 etcd/healthcheck-client 인증서 및 키 사용
[certs] 디스크의 기존 apiserver-etcd-client 인증서 및 키 사용
[certs] 기존 "sa" 키 사용
[kubeconfig] kubeconfig 폴더 "/etc/kubernetes" 사용
[kubeconfig] "admin.conf" kubeconfig 파일 작성
[kubeconfig] "kubelet.conf" kubeconfig 파일 작성
[kubeconfig] "controller-manager.conf" kubeconfig 파일 작성
[kubeconfig] "scheduler.conf" kubeconfig 파일 작성
[제어 평면] 매니페스트 폴더 "/etc/kubernetes/manifests" 사용
[제어 평면] "kube-apiserver"에 대한 정적 포드 매니페스트 생성
[제어 평면] "kube-controller-manager"에 대한 정적 Pod 매니페스트 만들기
[제어 평면] "kube-scheduler"에 대한 정적 포드 매니페스트 생성
[etcd] "/etc/kubernetes/manifests"에서 로컬 etcd에 대한 정적 Pod 매니페스트 만들기
[wait-control-plane] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 정적 파드로 컨트롤 플레인을 부팅하기를 기다립니다. 최대 4m0초가 소요될 수 있습니다.
[kubelet-check] 40초의 초기 제한 시간이 지났습니다.
[kubelet-check] kubelet이 실행되지 않거나 정상적이지 않은 것 같습니다.
[kubelet-check] 'curl -sSL http://localhost :10248/healthz'와 같은 HTTP 호출이 오류로 인해 실패했습니다. Get http://localhost :10248/healthz: dial tcp 127.0.0.1:10248: connect: connection 거절했다.
[kubelet-check] kubelet이 실행되지 않거나 정상적이지 않은 것 같습니다.
[kubelet-check] 'curl -sSL http://localhost :10248/healthz'와 같은 HTTP 호출이 오류로 인해 실패했습니다. Get http://localhost :10248/healthz: dial tcp 127.0.0.1:10248: connect: connection 거절했다.
[kubelet-check] kubelet이 실행되지 않거나 정상적이지 않은 것 같습니다.
[kubelet-check] 'curl -sSL http://localhost :10248/healthz'와 같은 HTTP 호출이 오류로 인해 실패했습니다. Get http://localhost :10248/healthz: dial tcp 127.0.0.1:10248: connect: connection 거절했다.
[kubelet-check] kubelet이 실행되지 않거나 정상적이지 않은 것 같습니다.
[kubelet-check] 'curl -sSL http://localhost :10248/healthz'와 같은 HTTP 호출이 오류로 인해 실패했습니다. Get http://localhost :10248/healthz: dial tcp 127.0.0.1:10248: connect: connection 거절했다.
[kubelet-check] kubelet이 실행되지 않거나 정상적이지 않은 것 같습니다.
[kubelet-check] 'curl -sSL http://localhost :10248/healthz'와 같은 HTTP 호출이 오류로 실패했습니다. Get http://localhost :10248/healthz: dial tcp 127.0.0.1:10248: connect: connection 거절했다.

유감스럽게도 다음과 같은 오류가 발생했습니다.
조건을 기다리는 시간이 초과되었습니다.

이 오류는 다음으로 인해 발생할 수 있습니다.
- kubelet이 실행되지 않습니다.
- 어떤 식으로든 노드의 잘못된 구성으로 인해 kubelet이 비정상입니다(필요한 cgroups 비활성화됨).

시스템 전원 공급 시스템을 사용하는 경우 다음 명령을 사용하여 오류 문제를 해결할 수 있습니다.
- 'systemctl 상태 kubelet'
- 'journalctl -xeu kubelet'

또한 컨테이너 런타임에서 시작할 때 컨트롤 플레인 구성 요소가 충돌하거나 종료되었을 수 있습니다.
문제를 해결하려면 선호하는 컨테이너 런타임 CLI(예: docker)를 사용하여 모든 컨테이너를 나열하십시오.
다음은 도커에서 실행되는 모든 Kubernetes 컨테이너를 나열하는 방법의 한 가지 예입니다.
- '도커 PS -a | 그렙 큐브 | grep -v 일시 중지'
실패한 컨테이너를 찾으면 다음을 사용하여 로그를 검사할 수 있습니다.
- '도커 로그 CONTAINERID'
오류 실행 단계 wait-control-plane: Kubernetes 클러스터를 초기화할 수 없습니다.
이 오류의 스택 추적을 보려면 --v=5 이상으로 실행하십시오.

친절하게 도와주세요

나는 다음과 같은 방법으로 이것을 달성할 수 있었다:

• /etc/kubernetes의 모든 구성 파일에서 IP 주소 바꾸기
• /etc/kubernetes/pki 백업
• /etc/kubernetes/pki에서 이전 IP 주소를 대체 이름으로 가진 인증서 식별[1]
• 각각에 대한 인증서와 키를 모두 삭제합니다 (나에게는 apiserver 및 etcd/peer였습니다)
• kubeadm alpha phase certs 사용하여 인증서 재생성 [2]
• 이전 IP[3]를 참조한 kube-system 네임스페이스에서 configmap 식별
• 해당 구성 맵을 수동으로 편집
• kubelet 및 docker 다시 시작(모든 컨테이너를 강제로 다시 생성하기 위해)

[1]

/etc/kubernetes/pki# for f in $(find -name "*.crt"); do openssl x509 -in $f -text -noout > $f.txt; done
/etc/kubernetes/pki# grep -Rl 12\\.34\\.56\\.78 .
./apiserver.crt.txt
./etcd/peer.crt.txt
/etc/kubernetes/pki# for f in $(find -name "*.crt"); do rm $f.txt; done

[2]

/etc/kubernetes/pki# rm apiserver.crt apiserver.key
/etc/kubernetes/pki# kubeadm alpha phase certs apiserver
...
/etc/kubernetes/pki# rm etcd/peer.crt etcd/peer.key
/etc/kubernetes/pki# kubeadm alpha phase certs etcd-peer
...

[삼]

$ kubectl -n kube-system get cm -o yaml | less
...
$ kubectl -n kube-system edit cm ...

나를 위해 일했습니다 감사합니다

유일한 것은 당신이 사용해야한다는 것입니다.

 kubeadm init phase ..

최신 kubectl 버전의 경우

@bboreham
@patricklucas가 언급한 단계를 따랐습니다.
4단계에서 언급했듯이 IP가 이미 변경되어 api-server에 연결할 수 없기 때문에 /etc/hosts에서 일부 구성을 수행해야 합니다.

다음을 사용하여 인증서 생성
kubeadm init --kubernetes-version=v1.16.3 단계 인증서 API 서버

/etc/hosts에서 변경했습니다.

kubectl --server=https://를 시도했습니다.:6443 여전히 작동하지 않습니다 :(

/etc/hosts에서 수행해야 하는 특정 구성은??