<p>kubeadm alpha phase certs renew all should also update certs in KubeConfig files</p>

뿡 빵뀨
물론 조인 단계가 우선 순위가 높다는 점에 유의하십시오.

좋아요! 감사합니다.

안녕하세요,

이 주제와 관련하여 한 가지 더 있습니다.

kubeadm alpha phase kubeconfig all 명령을 실행할 때 conf 파일이있는 경우 다음 메시지를 표시합니다.

[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/admin.conf"
[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] Using existing up-to-date KubeConfig file: "/etc/kubernetes/scheduler.conf"

인증서가 만료되었는지 확인하지 않으므로 내 의견으로는 up-to-date 이 잘못되었습니다.

업데이트 된 인증서를 파일로 가져 오려면 로그가 다음과 같이 보이는 것보다 먼저 파일을 제거해야합니다.

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/scheduler.conf"   

제 경우에는 괜찮지 만 며칠 후 오래된 인증서로 인해 정적 포드와 통신 할 수 없었습니다.

친애하는
안드레아스

@MalloZup에 할당 됨

@MalloZup : GitHub에서 다음 사용자를 할당 할 수 없습니다 : MalloZup.

kubernetes 구성원 및 repo 협력자 만 할당 할 수 있으며 문제 / PR에는 동시에 10 명의 할당 자만있을 수 있습니다.
자세한 내용 은 기여자 가이드 를 참조하세요.

안녕하세요 @adoerler thx 문제입니다. 오해의 소지가있는 정보와 관련하여 PR https://github.com/kubernetes/kubernetes/pull/73798 을 보냈습니다

시간이 있으면 나머지 문제를 살펴 보겠습니다. 문제의 시간과 정확성에 대한 Thx

@adoerler 귀하의 제안에 대해 DOC 홍보를 보냈습니다. 티아 : rocket :
(https://github.com/kubernetes/website/pull/12579)

안녕하세요 @MalloZup ,

PR 감사합니다!

certs renew 는 게임의 일부일 뿐이므로 kubeconfig 파일에 대한 문장이 누락되었습니다.
다음과 같은 것 :

인증서가 갱신 된 후 kubeadm alpha phase kubeconfig ... 사용하여 KubeConfig 파일을 다시 만드는 것을 잊지 마십시오.

고마워. 실제로 kubeconfig 파일도 갱신 할 수 있다고 생각했기 때문에 문서를 추가하지 않았습니다. 나머지 다시 시작 포드는 사용자에게 위임하고 최소한의 문서를 작성할 수 있습니다. @fabriziopandini @lubomir @ereslibre 이 구현에서 뭔가 빠졌나요? 티아

@MalloZup 인증서 갱신이 어떻게 작동하는지에 대한 깊은 지식이 없습니다.

개인적으로 위에서 제안한 내용을 포함하여 조치를 취하기 전에 전체적인 역사를 약간 명확히하고 싶습니다.

• kubeadm alpha phase certs renew 관리해야하는 항목
• kubeadm upgrade 동안 자동으로 관리되어야하는 항목
• 문서화해야하는 사항 (사용자가 관리해야 함)
• 이것이 HA 클러스터에 적용되는 방법
• 이것이 클러스터 변형의 영향을받는 방식 (예 : 외부 etcd, 외부 CA)
• 기타

하지만이 분야에서 저보다 더 숙련 된 사람들에게 마지막 말을 남깁니다.

우리가 권장하는 인증서 갱신 정책이 무엇인지 논의하기 위해 회의 시간을 예약해야한다고 생각합니다. 인증서 관리에 대한 페이지에는 몇 가지 추가 세부 정보가 필요할 수 있습니다.
https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs

그리고 우리는 최소한 시작으로 단일 제어 플레인 클러스터에 대한 작은 가이드를 작성해야합니다.

사용자가하는 일은 스스로 알아내는 것입니다.
https://github.com/kubernetes/kubeadm/issues/581#issuecomment -421477139
^이 댓글과 위의 댓글에는 사용자가 만든 가이드가 포함되어 있습니다.

이것은 공식 가이드를 추가해야한다는 신호입니다.
cc @timothysc @liztio

/ 할당 @ereslibre

수백 명의 사용자가있는 클러스터가 현재 멈춰 있습니다. 만료 된 인증서로 무엇을해야하는지 매우 빠른 가이드를받을 수 있습니까?

뿡뿡

사용자가하는 일은 스스로 알아내는 것입니다.
# 581 (코멘트)
^이 댓글과 위의 댓글에는 사용자가 만든 가이드가 포함되어 있습니다.

이것들은 우리가 ATM을 가지고있는 유일한 가이드입니다.

[root<strong i="5">@controller0</strong> ~]# kubeadm alpha phase certs apiserver --apiserver-advertise-address 1.2.3.4
Error: unknown flag: --apiserver-advertise-address
Usage:

Flags:
  -h, --help   help for phase

Global Flags:
      --log-file string   If non-empty, use this log file
      --rootfs string     [EXPERIMENTAL] The path to the 'real' host root filesystem.
      --skip-headers      If true, avoid header prefixes in the log messages
  -v, --v Level           log level for V logs

error: unknown flag: --apiserver-advertise-address
[root<strong i="6">@controller0</strong> ~]# kubeadm alpha phase certs apiserver
This command is not meant to be run on its own. See list of available subcommands.

1.13 init 단계에서 부모 init 명령으로 전환되었습니다.
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-init-phase/#cmd -phase-certs

1.12에서는 플래그가 있어야합니다.
https://v1-12.docs.kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm-alpha/#cmd -phase-certs

1.11은 곧 지원이 중단됩니다.

수명주기 / 활성 레이블 제거.
1.15로 이동합니다.

가능한 문서 업데이트 아이디어는 다음과 같습니다.
https://github.com/kubernetes/kubeadm/issues/1361#issuecomment -463192631

뿡 빵뀨
질문 : 마스터 HA를 사용하는 1.14에서 단일 마스터에서 https://github.com/kubernetes/kubeadm/issues/581#issuecomment -421477139를 따르는 것으로 충분합니까, 아니면 보조 마스터에 다시 가입해야합니다. 인증서를 다시 가져 오시겠습니까?

보조 컨트롤 플레인 노드에 다시 연결하는 것은 1,14에서 빠르고 실행 가능한 옵션처럼 보입니다.
HA 인증서 순환 측면에서 아직 문서가 없습니다.
(https://github.com/kubernetes/kubeadm/issues/581#issuecomment-421477139와 같은 적절한 단계를 아직 추가하지 않았습니다.)

--experimental-upload-certs는 HA에서 인증서 교체에 대한 더 쉬운 솔루션의 기반을 제공하지 않습니까?

HA 인증서 순환을 수행하는 한 가지 방법은 다음과 같습니다.

• 단일 제어 플레인 노드에서 위에서 언급 한 단계에 따라 인증서를 업데이트합니다.
• 동일한 CP 노드 호출에서 :

kubeadm init phase upload-certs --experimental-upload-certs

인증서 키를 저장하십시오.

kubeadm token create --print-join-command

토큰과 함께 join 명령을 저장하십시오.

--certs-key .... --experimental-control-plane-join 사용하여 하나씩 토큰 및 인증서 키를 사용하여 나머지 제어 플레인 노드에 다시 가입합니다.

작업자를 위해 : 배수, 새 토큰, uncordon을 사용하여 하나씩 다시 참여하십시오.

선택적으로 결과 토큰을 삭제하십시오.

뿡 빵뀨
3 개의 마스터 클러스터에서 "기본"마스터의 인증서를 변경하는 순간 인증서가 변경되면 etcd가 작동을 멈 춥니 다 (쿼럼은 최소 51 % 여야 함)? 그렇다면 2 개의 보조 마스터를 어떻게 든 연결 한 다음 인증서를 변경해야할까요? "코드 마스터"가 가능합니까?

저는 여기서 전문가는 아니지만 자동 인증서 복사가이 그림에 들어가면 안된다고 생각합니다.

자동 복사 인증서는 CA, 프런트 프록시 CA, etcd-CA (10 년 TTL 포함) 및 SA 키 (TTL 제외)를 처리합니다.

인증서 갱신 명령은 마스터마다 다른 다른 모든 인증서 (1 년 TTL 포함)를 터치합니다.
AFAIK, 현재 kubeconfig 파일에 대한 인증서 갱신을 처리하는 것은 없습니다.

좋아, 나는 "certs copy"가 여기서 실제로 무엇을하는지 고려하지 않았다.
어느 쪽이든 적절한 인증서 회전 문서를 작성해야합니다.

/양수인
/ lifecycle active

이 문제에 대해 작업하기 시작했습니다.
해결해야 할 여러 가지 사항이 있습니다 (_2019 년 5 월 14 일 업데이트 됨 _).

• 인증서 교체가 활성화 된 경우에도 kubelet.conf는 오래된 인증서를 가리 킵니다 (이미 https://github.com/kubernetes/kubeadm/issues/1317에서 추적 됨).
• 인증서 교체는 apiserver / etcd / front-proxy-client 인증서를 업데이트하지 않습니다 (https://github.com/kubernetes/kubernetes/pull/76862로 수정 됨).
• kubeadm alpha phase certs renew all 명령은 KubeConfig 파일을 업데이트하지 않습니다 (https://github.com/kubernetes/kubernetes/pull/77180으로 수정 됨).
• 인증서 갱신에 대한 문서 (명령을 실행해야하는 위치,시기, kubeconfig, HA에 대한 자세한 정보 포함)

그리고 나는 그들 모두를 별도의 PR에서 다루겠습니다.

트윗 담아 가기
CA 인증서를 교체하기 위해 언급 한 단계가 있습니까? 이것도 문서화 할 수 있습니까? CA 용을 포함하여 개인 키를 교체하는 것은 어떻습니까?

CA 인증서의 @ tushar00jain 순환은 다른 문제 https://github.com/kubernetes/kubeadm/issues/1350 에서 추적됩니다.
이 문제는 서명 된 인증서에만 중점을 둡니다.

@fabriziopandini 리뉴얼 부품에 대한 PR을 보낼 수 있었기 때문에 오늘이 티켓을 마감하려고했습니다. 티켓을 닫아야합니까?

인증서 교체가 활성화 된 경우에도 kubelet.conf는 오래된 인증서를 가리 킵니다 (이미 # 1317에 의해 추적 됨).

예, 이는 별도의 문제에서 추적되며, 제공해야하는 해결 방법에 대한 논의 / 문서가 필요할 수 있습니다.

인증서 교체가 apiserver / etcd / front-proxy-client 인증서를 업데이트하지 않음 (kubernetes / kubernetes # 76862로 수정 됨)

kubeadm alpha phase certs renew all 명령은 KubeConfig 파일을 업데이트하지 않습니다 (kubernetes / kubernetes # 77180으로 수정 됨).

인증서 갱신에 대한 문서 (명령을 실행해야하는 위치,시기, kubeconfig, HA에 대한 자세한 정보 포함)

위의 3을 완료해야합니다.

/닫기
위의 의견에 따라 대부분의 작업이 이미 완료되었습니다. 누락 된 비트는 별도 / 전용 문제에서 추적됩니다.

@fabriziopandini :이 문제를 종료합니다.

누군가 "인증서 교체가 활성화 된 경우에도 kubelet.conf는 오래된 인증서를 가리 킵니다"부분이 어떻게 해결되었는지 설명해 주시겠습니까? 이 문제를 언급하는 유일한 문제는 "이게 문제인지 확실하지 않으므로 새 티켓을 엽니 다"로 종료 된 다른 문제에 찬성하여 명시 적으로 종료되었습니다.
나는 1.16에 kubelet.conf 로 sudo kubeadm alpha certs renew all kubelet.conf 에서 일어나는 갱신이 보이지 않습니다. 무엇이 빠졌습니까? 뿡 빵뀨

매우 긴 토론에 대한 간략한 요약입니다.

1. 모든 인증서에 대한 인증서 교체를 제외하고 kubelet.conf는 이제 kubeadm alpha cert renew에서 관리합니다.
2. kubelet.conf에 대한 인증서 순환은 kubelet 자체에서 관리합니다 (사용자가 자동 ​​인증서 순환에서 옵트 아웃하지 않는 한).

오늘 현재이 두 번째 지점은 kubeadm init를 실행하는 노드를 제외한 모든 노드에서 작동합니다. https://github.com/kubernetes/kubernetes/pull/84118 이 문제를 해결할 것입니다.

@fabriziopandini 감사합니다.

kubelte.conf의 certs 문제가 지금과 위의 내용이 수정 된시기 사이에 만료되는 다른 사람에게는이 기사가 도움이된다는 것을 알았습니다.

https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-certs/#check -certificate-expiration

kubeadm 버전 1.17 이전의 kubeadm init으로 생성 된 노드에는 kubelet.conf의 내용을 수동으로 수정해야하는 버그가 있습니다. kubeadm init가 완료되면 client-certificate-data 및 client-key-data를 다음으로 대체하여 회전 된 kubelet 클라이언트 인증서를 가리 키도록 kubelet.conf를 업데이트해야합니다.

client-certificate: /var/lib/kubelet/pki/kubelet-client-current.pem
client-key: /var/lib/kubelet/pki/kubelet-client-current.pem

@AndrewSav 감사합니다. promethes 연산자를 사용하여 클러스터를 모니터링했습니다. 최근에 "Kubernetes API 인증서가 7 일 이내에 만료됩니다"라는 경고를 받았는데,이 문제와 관련된 것 같습니다. 마스터 노드에서 kubelet.conf의 내용을 업데이트했습니다. 그러나 나는 여전히 경고를 받는다. 제안 사항 있어요? Tks.

@tannh kubeadm으로 클러스터를 설치 한 경우 kubeadm을 사용하여 인증서 만료를 확인하십시오. 그렇지 않으면 문제가 관련이 없을 수 있습니다.

kubeadm 버전 1.17 이전의 kubeadm init으로 생성 된 노드에는 kubelet.conf의 내용을 수동으로 수정해야하는 버그가 있습니다. kubeadm init가 완료되면 client-certificate-data 및 client-key-data를 다음으로 대체하여 회전 된 kubelet 클라이언트 인증서를 가리 키도록 kubelet.conf를 업데이트해야합니다.

이 내용은 1.17의 릴리스 정보에도 있습니다.

@adoerler 아직 이전 버전의 kubeadm을 실행 중입니다. 인증서 갱신 후 kubelet.conf, admin.con 등을 어떻게 업데이트 할 수 있습니까?

새 인증서를 생성 한 "kubeadm alpha certs renew all"을 실행 한 다음 / etc / kubernetes 아래의 모든 .conf를 편집해야합니다. 어떻게해야합니까? 정확히 어디를 가리켜 야합니까?
다중 마스터 노드의 경우 모든 마스터에서 명령을 실행해야합니까?

안녕하세요 @SuleimanWA ,

멀티 마스터 환경에서 무엇을해야하는지 말할 수 없습니다. 설정에 마스터가 하나뿐입니다.

이것이 내가 한 일입니다.

우선 기존 파일을 덮어 쓰지 않기 때문에 기존 conf 파일을 멀리 이동해야합니다!

mv /etc/kubernetes/admin.conf /backup
mv /etc/kubernetes/kubelet.conf /backup
mv /etc/kubernetes/controller-manager.conf /backup
mv /etc/kubernetes/scheduler.conf /backup

그런 다음 다음 파일을 업데이트하십시오.

user<strong i="13">@master</strong>:~$ sudo kubeadm alpha phase kubeconfig all --apiserver-advertise-address=<INSERT-YOUR-APISERVER-IP-HERE>
I0124 21:56:14.253641   15040 version.go:236] remote version is much newer: v1.13.2; falling back to: stable-1.12
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/scheduler.conf"    

정적 시스템 포드에 새 인증서를 적용하는 가장 쉬운 방법은 마스터 서버를 재부팅하는 것입니다.

복사 잊지 마세요 client-certificate-data 및 client-key-data 에서 /etc/kubernetes/admin.conf 지역에 .kube/config .

도움이 되었기를 바랍니다

안드레아스

1.14.10에서이 명령을 실행하는 방법을 아십니까? 내가 얻는 것은 :

kubeadm alpha phase kubeconfig all --apiserver-advertise-address=192.168.102.170 Error: unknown flag: --apiserver-advertise-address

그런 다음 문서는 다음과 같이 말합니다.
kubeadm alpha phase kubeconfig all
그리고 나는 얻는다 :
This command is not meant to be run on its own. See list of available subcommands.

감사

안녕하세요 @provgregoryabdo ,

kubeadm version 출력은 무엇입니까?

BR 안드레아스

@provgregoryabdo phase 명령은 알파에서 이동하고 이후 버전에서 초기화하도록 다음과 같이 사용할 수 있습니다.

kubeadm init phase kubeconfig all --apiserver-advertise-address=<your_address>

@adoerler 도움을 주셔서 감사합니다!