Kubernetes: kubeadm 초기화 후 x509 인증서 문제

@carldanley 이 문제에 대한 서명 레이블이 없습니다. 다음을 통해 서명 레이블 을
(1) 시그를 언급: @kubernetes/sig-<team-name>-misc
예: API 기계의 경우 @kubernetes/sig-api-machinery-*
(2) 수동으로 레이블 지정: /sig <label>
예: 신호/확장성의 경우 /sig scalability

_참고: 방법 (1)은 팀에 알림을 트리거합니다. 팀 목록은 여기에서 , 레이블 목록은 여기 에서 찾을 수 있습니다 _

/sig 클러스터 수명 주기

확실이 도움이된다면,하지만 난 같은했다 내가 복사, 이전 설치 가이드를 사용 깨달았다 /etc/kubernetes/admin.conf 에 ~/.kube/admin.conf 및 설정 $KUBECONFIG=$HOME/.kube/admin.conf . 환경 변수를 지우고 kubectl 기본적으로 ~/.kube/config 합니다.

나는 또한 kubeadm v1.7을 사용하여 이것을 보고 있습니다 - 노드가 클러스터에 합류하는 것을 막고 있습니다

내 설치에 대해 동일한 오류가 발생했습니다. v1.6.5 및 1.6.7로 시도하면 제대로 작동합니다.

동일한 문제가 있습니다.

.

( kubeadm init 괜찮아 보인다)

ns2 ~ # kubeadm init
[kubeadm] WARNING: kubeadm is in beta, please do not use it for production clusters.
[init] Using Kubernetes version: v1.7.3
[init] Using Authorization modes: [Node RBAC]
[preflight] Running pre-flight checks
[preflight] WARNING: docker version is greater than the most recently validated version. Docker version: 17.03.1-ce. Max validated version: 1.12
[preflight] WARNING: no supported init system detected, skipping checking for services
[preflight] WARNING: no supported init system detected, skipping checking for services
[preflight] WARNING: no supported init system detected, skipping checking for services
[preflight] WARNING: socat not found in system path
[preflight] No supported init system detected, won't ensure kubelet is running.
[certificates] Generated CA certificate and key.
[certificates] Generated API server certificate and key.
[certificates] API Server serving cert is signed for DNS names [ns2 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 ip_of_my_server]
[certificates] Generated API server kubelet client certificate and key.
[certificates] Generated service account token signing key and public key.
[certificates] Generated front-proxy CA certificate and key.
[certificates] Generated front-proxy client certificate and key.
[certificates] Valid certificates and keys now exist in "/etc/kubernetes/pki"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/scheduler.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"
[apiclient] Created API client, waiting for the control plane to become ready
[apiclient] All control plane components are healthy after 36.004283 seconds
[token] Using token: 62af23.9fba33a48799d425
[apiconfig] Created RBAC rules
[addons] Applied essential addon: kube-proxy
[addons] Applied essential addon: kube-dns

Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run (as a regular user):

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  http://kubernetes.io/docs/admin/addons/

You can now join any number of machines by running the following on each node
as root:

  kubeadm join --token [some string] [ip_of_my_server]:6443

( kubeadm join 괜찮아 보입니다)

h1 ~ # kubeadm join --token [some string] [ip_of_my_server]:6443 --skip-preflight-checks 
[kubeadm] WARNING: kubeadm is in beta, please do not use it for production clusters.
[preflight] Skipping pre-flight checks
[discovery] Trying to connect to API Server "192.168.0.254:6443"
[discovery] Created cluster-info discovery client, requesting info from "https://192.168.0.254:6443"
[discovery] Cluster info signature and contents are valid, will use API Server "https://192.168.0.254:6443"
[discovery] Successfully established connection with API Server "192.168.0.254:6443"
[bootstrap] Detected server version: v1.7.3
[bootstrap] The server supports the Certificates API (certificates.k8s.io/v1beta1)
[csr] Created API client to obtain unique certificate for this node, generating keys and certificate signing request
[csr] Received signed certificate from the API server, generating KubeConfig...
[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"

Node join complete:
* Certificate signing request sent to master and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on the master to see this machine join.

(하지만 kubectl get nodes 실패)

byungnam2<strong i="17">@ns2</strong> ~ $ kubectl get nodes
Unable to connect to the server: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")

$KUBECONFIG 가리키는 /etc/kubernetes/kubelet.conf 있습니까?

export KUBECONFIG=/etc/kubernetes/kubelet.conf
kubectl get nodes

@liggitt $KUBECONFIG 을 /etc/kubernetes/kubelet.conf 하면 이제 시간 초과 오류가 발생합니다.

ns2 ~ # ./kubernetes/kubernetes/server/bin/kubectl get nodes
Error from server (ServerTimeout): the server cannot complete the requested operation at this time, try again later (get nodes)

그리고 이제 내가 참조하는 매뉴얼에 그러한 진술이 없기 때문에 $KUBECONFIG 가 어디에서 왔는지 원합니다.

노드 결합 명령의 출력에서:

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"

kubeadm으로 플레이하는 동안 동일한 문제가 발생했습니다.

몇 번 kubeadm init 및 kubeadm reset 후 kubelet은 certificate signed by unknown authority (kubelet 로그에서) 때문에 apiserver와 통신하지 못합니다. 또한 kubeadm init 블록도 영구히 차단됩니다.

/run/kubernetes/ 수동으로 제거하면 모든 것이 다시 나타납니다. kubeadm reset 실행할 때 인증서를 청소하는 데 문제가 있을 수 있습니까?

/area kubeadm

kubeadm 1.8을 사용 중인데 이 문제가 계속 발생합니다.

ubuntu@ip-172-31-9-157:~$ kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"8", GitVersion:"v1.8.0", GitCommit:"6e937839ac04a38cac63e6a7a306c5d035fe7b0a", GitTreeState:"clean", BuildDate:"2017-09-28T22:46:41Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}
ubuntu@ip-172-31-9-157:~$
ubuntu@ip-172-31-9-157:~$
ubuntu@ip-172-31-9-157:~$ kubectl get nodes
Unable to connect to the server: x509: certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" while trying to verify candidate authority certificate "kubernetes")
ubuntu@ip-172-31-9-157:~$
ubuntu@ip-172-31-9-157:~$
ubuntu@ip-172-31-9-157:~$

수동으로 /var/run/kubernetes . kubeadm reset 실행할 때 청소되었습니다. 실제 문제가 무엇인지 확실하지 않습니다.

주의: "클러스터 사용을 시작하려면 (일반 사용자로) 실행해야 합니다."

[ root@master1 ~]# kubectl 노드 가져오기
서버에 연결할 수 없음: x509: 알 수 없는 기관에서 서명한 인증서(아마도 후보 기관 인증서 "kubernetes"를 확인하는 동안 "crypto/rsa: 확인 오류"로 인해)

[ root@master1 ~]# su - regular_user

[ regular_user@master1 ~]$ mkdir -p $HOME/.kube
[ regular_user@master1 ~]$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[ regular_user@master1 ~]$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

[ regular_user@master1 ~]$ kubectl 노드 가져오기
이름 상태 역할 나이 버전
master1.virti.corp NotReady 마스터 6m v1.8.1
master2.virti.corp 준비 안 됨4m v1.8.1

@jeffbr13 감사합니다. 효과가있다.

이 해결 방법으로 문서를 업데이트하십시오.

kubeadm reset 후 kubeadm init를 다시 실행하고 다음을 루트로 실행한 경우 새 구성을 얻으려면 루트로 다시 실행해야 합니다.
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

그런 다음 여전히 루트로 실행할 수 있습니다.

"sudo kubeadm reset"을 실행하려는 경우 캐시된 디렉토리를 지우려면 .kube 디렉토리를 제거해야 합니다.
그 후에 @petersonwsantos를 팔로우할 수 있습니다.
오, KUBECONFIG를 설정 파일의 이름을 (예: $HOME/.kube/config) 무엇으로든 설정하십시오.

탱크 친구 int true.

다음 줄과 같이 구성하면 _$kubectl get nodes_가 작동합니다.

_root:~/k8s# 고양이 04-config.sh
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
sudo chmod 777 $HOME/.kube/config
내보내기 KUBECONFIG=/etc/kubernetes/kubelet.conf
내보내기 KUBECONFIG=/home/ubuntu/.kube/config
kubectl 가져오기 노드

이는 다중 마스터 설정이 있고 각 마스터에서 /etc/kubernetes/pki/ca.* 를 생성했기 때문일 수 있습니다. 첫 번째 마스터에서 나머지 마스터로 복사하는 대신.

kubernetes 문서에서 솔루션을 찾았습니다.
문서를 따르는 동안 이 명령을 사용하여 .kube 디렉토리를 만드는 것을 잊지 마십시오.
mkdir -p $HOME/.kube

이 명령이 필요하기 때문에 .kube 디렉토리를 이동합니다.
mv $HOME/.kube $HOME/.kube.bak

https://kubernetes.io/docs/setup/independent/troubleshooting-kubeadm/

이 문제가 있을 수 있는 다른 사용자의 경우 /root/.kube 폴더가 있는 경우 백업 위치로 이동하고 다시 시도할 수 있습니다. kubeadm을 sudo로 실행할 것이기 때문에 더 이상 유효하지 않은 캐시된 루트 버전을 사용할 가능성이 매우 높습니다.

내 문제는 KubeEdge 시작하기 가이드에서 생성한 사용자 지정 인증서가 있다는 것입니다. ssl과 kubeedge를 어지럽히지 않고 작동했습니다.

주의: "클러스터 사용을 시작하려면 (일반 사용자로) 실행해야 합니다."

[ root@master1 ~]# kubectl 노드 가져오기
서버에 연결할 수 없음: x509: 알 수 없는 기관에서 서명한 인증서(아마도 후보 기관 인증서 "kubernetes"를 확인하는 동안 "crypto/rsa: 확인 오류"로 인해)

[ root@master1 ~]# su - regular_user

[ regular_user@master1 ~]$ mkdir -p $HOME/.kube
[ regular_user@master1 ~]$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[ regular_user@master1 ~]$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

이것은 작동합니다. 변경된 이후로 KUBECONFIG를 다시 설정해야 한다는 점을 제외하고

내보내기 KUBECONFIG=$HOME/.kube/config

[ regular_user@master1 ~]$ kubectl 노드 가져오기
이름 상태 역할 나이 버전
master1.virti.corp NotReady 마스터 6m v1.8.1
master2.virti.corp NotReady 4m v1.8.1

$KUBECONFIG 가리키는 /etc/kubernetes/kubelet.conf 있습니까?

export KUBECONFIG=/etc/kubernetes/kubelet.conf
kubectl get nodes

그것은 나를 위해 작동합니다. 감사합니다.

내보내기 KUBECONFIG=/etc/kubernetes/kubelet.conf
kubectl 가져오기 노드

나에게서 일이다

주의: "클러스터 사용을 시작하려면 (일반 사용자로) 실행해야 합니다."

[ root@master1 ~]# kubectl 노드 가져오기
서버에 연결할 수 없음: x509: 알 수 없는 기관에서 서명한 인증서(아마도 후보 기관 인증서 "kubernetes"를 확인하는 동안 "crypto/rsa: 확인 오류"로 인해)

[ root@master1 ~]# su - regular_user

[ regular_user@master1 ~]$ mkdir -p $HOME/.kube
[ regular_user@master1 ~]$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[ regular_user@master1 ~]$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

[ regular_user@master1 ~]$ kubectl 노드 가져오기
이름 상태 역할 나이 버전
master1.virti.corp NotReady 마스터 6m v1.8.1
master2.virti.corp NotReady 4m v1.8.1

이것은 효과가 있었다!

kubeadm init 다음에 $HOME/.kube 폴더를 제거하고 새로 만들어야 합니다.

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config