Kubeadm: Kubeadm init는 "제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

에 만든 2018년 01월 31일 · 67코멘트 · 출처: kubernetes/kubeadm

버전

kubeadm 버전 ( kubeadm version 사용):

환경 :

Kubernetes 버전 ( kubectl version 사용):v1.9.2
클라우드 제공자 또는 하드웨어 구성 :Virtual Box
OS (예: /etc/os-release):Ubuntu 16.04.0 LTS(Xeniak Xerus) amd64
커널 (예: uname -a ):linux 4.4.0-62-generic
기타 :kubeadm 버전:v1.9.2: amd64, kubelet 버전:v1.9.2 amd64, kubernetes-cni 버전:0.6.0-00 amd64, docker 버전:17.03.2-ce

무슨 일이에요?

kubeadm init를 실행하려고 하면 다음과 같이 중단됩니다.
xx@xx :~$ sudo kubeadm 초기화 --kubernetes-version=v1.9.2

[초기화] Kubernetes 버전 사용: v1.9.2
[초기화] 권한 부여 모드 사용: [노드 RBAC]
[실행 전] 실행 전 검사를 실행합니다.
[경고 FileExisting-crictl]: 시스템 경로에서 crictl을 찾을 수 없습니다.
[프리플라이트] kubelet 서비스 시작
[인증서] CA 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver 인증서 및 키입니다.
[인증서] apiserver 서빙 인증서는 DNS 이름 [kickseed kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] 및 IP [10.96.0.1 172.17.41.15]에 대해 서명되었습니다.
[인증서] apiserver-kubelet-client 인증서 및 키를 생성했습니다.
[인증서] sa 키와 공개 키를 생성했습니다.
[인증서] 생성된 front-proxy-ca 인증서 및 키입니다.
[인증서] 생성된 프런트 프록시 클라이언트 인증서 및 키입니다.
[인증서] 유효한 인증서 및 키가 이제 "/etc/kubernetes/pki"에 있습니다.
[kubeconfig] 디스크에 KubeConfig 파일 작성: "admin.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "kubelet.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "controller-manager.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "scheduler.conf"
[controlplane] 구성 요소 kube-apiserver에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-apiserver.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-controller-manager에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-controller-manager.yaml"에 작성했습니다.
[제어판] 구성 요소 kube-scheduler에 대한 정적 포드 매니페스트를 "/etc/kubernetes/manifests/kube-scheduler.yaml"에 작성했습니다.
[etcd] 로컬 etcd 인스턴스에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/etcd.yaml"에 작성했습니다.
[초기화] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 Static Pod로 컨트롤 플레인을 부팅하기를 기다립니다.
[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

그런 다음 kubelet 로그를 확인합니다.
xx@xx :~$ sudo journalctl -xeu kubelet:
Jan 31 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.280984 28516 remote_runtime.go:92] 런타임 서비스의 RunPodSandbox 실패: rpc 오류: 코드 = 알 수 없는 설명 = 이미지 "gcr.io/google을 가져오지 못했습니다. pause-amd64:3.0": 데몬의 오류 응답: https://gcr.io/v1/_ping 가져오기: 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
1월 31일 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.281317 28516 kuberuntime_sandbox.go:54] "kube-scheduler-kickseed_kube-system074에 대한 CreatePodSandbox" = "gcr.io/google_containers/pause-amd64:3.0" 이미지 가져오기 실패: 데몬의 오류 응답: Get https://gcr.io/v1/_ping : 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
1월 31일 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.281580 28516 kuberuntime_manager.go:647] createPodcd60 codecdcd60 "kube-scheduler-kickseed_kube-system(6)에 대한 codecdcd6b0 codecd60" = "gcr.io/google_containers/pause-amd64:3.0" 이미지 가져오기 실패: 데몬의 오류 응답: Get https://gcr.io/v1/_ping : 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
1 월 31 일 14:45:03 [28516] : E0131 14 : 45 : 03.281875 28516 Pod_Workers.go : 186.281875 28516 Pod_Workers.go : 186 Pod Syncing Pod 69C12074E336B0DBD074E336B0DBBD0A1666CE05226A ( "Kube-Scheduler-kickseed_kube-system (69C12074E336B0DBBD0A166CE05226A 시스템)"), 건너 뛰기 : " \"kube-scheduler-kickseed_kube-system(69c12074e336b0dbbd0a1666ce05226a)"에 대한 CreatePodSandbox 실패: \"kube-scheduler-kickseed_c31-system(709)에 대한 CreatePodSandbox = deknownsandboxError: "CreatePodSandbox\"code0bb 가져오기 "gcr.io/google_containers/pause-amd64:3.0\": 데몬의 오류 응답: Get https://gcr.io/v1/_ping : 다이얼 tcp 172.217.6.127:443: i/o 시간 초과"
Jan 31 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.380290 28516 event.go:209] 이벤트를 쓸 수 없음: '패치 https://172.17.41.15:6443/namesapi/v1 /events/kickseed.150ecf46afb098b7: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부됨'(잠자기 후 다시 시도할 수 있음)
1월 31일 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.933783 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: *v를 나열하지 못했습니다. 포드: 가져오기 https://172.17.41.15 :6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.934707 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:45:03 kickseed kubelet[28516]: E0131 14:45:03.935921 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스를 나열하지 못했습니다. Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.281024 28516 remote_runtime.go:92] 런타임 서비스의 RunPodSandbox 실패: rpc 오류: 코드 = 알 수 없는 설명 = 이미지 "gcr.io/google을 가져오지 못했습니다. pause-amd64:3.0": 데몬의 오류 응답: https://gcr.io/v1/_ping 가져오기: 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
Jan 31 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.281352 28516 kuberuntime_sandbox.go:54] CreatePodSandbox for pod "kube-controller-manager-kickseed_kube-system(65516) 알 수 없는 설명 = "gcr.io/google_containers/pause-amd64:3.0" 이미지 가져오기 실패: 데몬의 오류 응답: https://gcr.io/v1/_ping 가져오기: 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
1월 31일 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.281634 28516 kuberuntime_manager.go:647] pod "kube-controller-manager-kickseed_kube-647"에 대한 createPodcfcee6 error5dccfe6 error5dpcfee2004 알 수 없는 설명 = "gcr.io/google_containers/pause-amd64:3.0" 이미지 가져오기 실패: 데몬의 오류 응답: https://gcr.io/v1/_ping 가져오기: 다이얼 tcp 172.217.6.127:443: i/o 시간 초과
1 월 31 일 14:45:04 kickeed kubelet [28516] : e0131 14 : 45 : 04.281938 28516 Pod_Workers.go : 186.Go.Go : 186.114 : 04.281938 28516 Pod_Workers.go : Pod 6546D6Faf0B50C9FC6712CE25EE9B6CB ( "Kube-Controller-Manager-Kickseed_Kube-system (6546D6FAF0B50C9FC6712CE25EE9B6CB)"), 건너 뛰기 : 실패 = "kube-controller-manager-kickseed_kube-system(6546d6faf0b50c9fc6712ce25ee9b6cb)"에 대한 "CreatePodSandbox"에 실패: CreatePodSandboxError: "CreatePodSandbox for pod \"kube-controller\manager-kickseed_kube6) desc = 이미지 가져오기 실패 \"gcr.io/google_containers/pause-amd64:3.0\": 데몬의 오류 응답: https://gcr.io/v1/_ping 가져오기: 다이얼 tcp 172.217.6.127:443: i/o 시간 초과"
Jan 31 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.934694 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: *v 나열에 실패했습니다. 포드: 가져오기 https://172.17.41.15 :6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.935613 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:471: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:45:04 kickseed kubelet[28516]: E0131 14:45:04.936669 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스를 나열하지 못했습니다. Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:45:05 kickseed kubelet[28516]: W0131 14:45:05.073692 28516 cni.go:171] cni 구성을 업데이트할 수 없음: /etc/cni/net.d에 네트워크가 없습니다.
Jan 31 14:45:05 kickseed kubelet[28516]: E0131 14:45:05.074106 28516 kubelet.go:2105] 컨테이너 런타임 네트워크가 준비되지 않음: NetworkReady=false 이유:NetworkPluginNotReady 메시지가 준비되지 않음:docker : 네트워크 플러그인 초기화되지 않은
1월 31일 14:45:05 kickseed kubelet[28516]: E0131 14:45:05.935680 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: *v를 나열하지 못했습니다. 포드: 가져오기 https://172.17.41.15 :6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:45:05 kickseed kubelet[28516]: E0131 14:45:05.937423 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:45:05 kickseed kubelet[28516]: E0131 14:45:05.937963 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스를 나열하지 못했습니다. Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:45:05 kickseed kubelet[28516]: I0131 14:45:05.974034 28516 kubelet_node_status.go:273] 볼륨 컨트롤러 연결/분리를 활성화하기 위한 노드 주석 설정
Jan 31 14:45:06 kickseed kubelet[28516]: I0131 14:45:06.802447 28516 kubelet_node_status.go:273] 볼륨 컨트롤러 연결/분리를 활성화하기 위한 노드 주석 설정
Jan 31 14:45:06 kickseed kubelet[28516]: I0131 14:45:06.804242 28516 kubelet_node_status.go:82] 노드 킥시드 등록 시도
Jan 31 14:45:06 kickseed kubelet[28516]: E0131 14:45:06.804778 28516 kubelet_node_status.go:106] API 서버에 "kickseed" 노드를 등록할 수 없음: Post https ://1743.157.4 v1/노드: 다이얼 tcp 172.17.41.15:6443: getsockopt: con

xx@xx :~$ sudo systemctl 상태 kubelet:

kubelet.service - kubelet: Kubernetes 노드 에이전트
로드됨: 로드됨(/lib/systemd/system/kubelet.service; 활성화됨, 공급업체 사전 설정: 활성화됨)
드롭인: /etc/systemd/system/kubelet.service.d
└─11-kubeadm.conf, 10-kubeadm1.conf, 90-local-extras.conf
활성: 활성(실행 중) 이후 Wed 2018-01-31 13:53:46 CST; 49분 전
문서: http://kubernetes.io/docs/
메인 PID: 28516(kubelet)
작업: 13
메모리: 37.8M
CPU: 22.767초
C그룹: /system.slice/kubelet.service
└─28516 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --pod-manifest-path=/etc/kubernetes/ 매니페스트 --allow-privileged=true --cgroup-driver=cgroupfs --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni /bin --cluster-dns=10.96.0.10 --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt --cadvisor-port =0 --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki --fail-swap-on=false

1월 31일 14:43:17 kickseed kubelet[28516]: E0131 14:43:17.862590 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:43:17 kickseed kubelet[28516]: E0131 14:43:17.863474 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스를 나열하지 못했습니다. Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.621818 28516 event.go:209] 이벤트를 쓸 수 없음: '패치 https://172.17.41.15:6443/namesapi/v1 /events/kickseed.150ecf46afb098b7: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부됨'(잠자기 후 다시 시도할 수 있음)
Jan 31 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.862440 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: *v를 나열하지 못했습니다. 포드: 가져오기 https://172.17.41.15 :6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.863379 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.864424 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스 나열 실패 Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.255460 28516 eviction_manager.go:238] 퇴거 관리자: 예기치 않은 오류: 노드 정보를 가져오지 못했습니다: 노드 "kickseed"를 찾을 수 없음
1월 31일 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.863266 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: *v를 나열하지 못했습니다. 포드: 가져오기 https://172.17.41.15 :6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
1월 31일 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.864238 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: 노드 나열 실패 *v Get https://172.17.41.15 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부
Jan 31 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.865262 28516 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: 서비스 나열 실패 Get https://172.17.41.15 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 172.17.41.15:6443: getsockopt: 연결 거부

일부 도커 이미지는 다음과 같이 나열됩니다.
gcr.io/google_containers/kube-apiserver-amd64:v1.9.2
gcr.io/google_containers/kube-controller-manager-amd64:v1.9.2
gcr.io/google_containers/kube-scheduler-amd64:v1.9.2
gcr.io/google_containers/kube-proxy-amd64:v1.9.2
gcr.io/google_containers/etcd-amd64:3.2.14
gcr.io/google_containers/pause-amd64:3.1
gcr.io/google_containers/kube-dnsmasq-amd64:1.4.1
gcr.io/google_containers/kubernetes-dashboard-amd64:v1.8.2
gcr.io/google_containers/kubedns-amd64:1.9
gcr.io/google_containers/kube-discovery-amd64:1.0
gcr.io/google_containers/exechealthz-amd64:v1.2.0
gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.8
gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.8
gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.8
gcr.io/google_containers/dnsmasq-metrics-amd64:1.0.1

무슨 일이 일어날 것이라고 예상했습니까?

kubeadm 초기화가 완료되어야 합니다.

재현하는 방법(가능한 한 최소한으로 정확하게)?

Ubuntu 16.04 및 kubeadm 1.9.2가 있는 virtualbox

우리가 알아야 할 다른 것이 있습니까?

areUX lifecyclactive prioritimportant-soon

출처

PhoenixAD

👍12

가장 유용한 댓글

https://github.com/kubernetes/kubernetes/issues/59680#issuecomment -364646304
selinux 비활성화가 도움이되었습니다.

avielb 에 2018년 03월 19일

😕7 👍7 👎6 🎉2 ❤1

모든 67 댓글

위에 나열된 이러한 도커 이미지는 "kubeadm init --kubernetes-version v1.9.2"를 실행하기 전에 내 개인 저장소에서 가져왔습니다. GFW로 인해 gcr.io/google-containers에 직접 액세스할 수 없습니다.

PhoenixAD 에 2018년 01월 31일

여기서도 같은 문제!

hedinasr 에 2018년 02월 06일

CentOS 7에서 동일한 문제가 있습니다.

6l20 에 2018년 02월 07일

fluidjeel 에 2018년 02월 08일

newhomie 에 2018년 02월 09일

tmilleville 에 2018년 02월 09일

+1
vultr의 서버도 여기에 붙어 있습니다.

WindGreen 에 2018년 02월 09일

grantcurell 에 2018년 02월 09일

humorcode 에 2018년 02월 12일

CFAndy 에 2018년 02월 12일

해결 방법으로

1/ 쿠버네티스 마스터에 도커 레지스트리 생성

2/ /etc/hosts에서 kubernetes 마스터를 gcr.io로 선언합니다.

3/ 인터넷에 연결된 컴퓨터에서 ggogle 클라우드에 로그온하고 이미지를 다운로드합니다.
예:
gloud docker -- pull gcrio/goole_container/pause-amd64:3.0
gloud docker -- save -o /tmp/pause-amd.tar gcrio/goole_container/pause-amd64:3.0

4/ docker repo 레지스트리에 이미지 업로드
도커 로드 -i /tmp/pause-amd64.tar
도커 태그 gcr.io/Google_containers/pause-amd64:3.0 yourdoke 등록:pause-amd64 :3.0
docker push yourdoke 레지스트리:pause-amd64 :3.0

5/ kebernetes 마스터에서 gcr.io 도커 레지스트리로

도커 레지스트리 리포지토리에서 이미지 가져오기
docker pull yourdocke rregistry:pause-amd64 :3.0

로컬 gcr.io 도커 레지스트리로 가져오기
도커 태그 yourdocke rregistry:pause-amd64 :3.0 gcr.io/google_containers/pause-amd64:3.0
도커 푸시 gcr.io/google_containers/pause-amd64:3.0

kubeadm init 에서 사용하는 모든 이미지를 다운로드하십시오. /etc/kubernetes/manifest/*.yaml을 참조하십시오.

tmilleville 에 2018년 02월 12일

👎31 👍1

1.9.3에서 수정되었나요?

alexpekurovsky 에 2018년 02월 16일

edwardofclt 에 2018년 02월 23일

+1 - kubeadm init를 두 번째 실행할 때만 나타납니다. 처음은 그냥 잘 넘어갑니다. kubeadm reset으로 제대로 정리되지 않은 첫 번째 실행에서 약간의 상태가 있는지 확실하지 않습니다.

patrickstjohn 에 2018년 02월 25일

emisty 에 2018년 02월 27일

centos 7 및 /etc/env에 프록시를 설정한 다음 👎로 표시합니다.

emisty 에 2018년 02월 27일

😕1

simis2626 에 2018년 02월 28일

동일한 문제가 있습니다. Centos7, 최신 kube 설치(1.9.3), hightower 문서 및 모든 kubernetes 문서를 시도했습니다. etcd와 flannel은 작동하고 살아있습니다. NO_PROXY 환경 변수를 사용하여 다른 연결에 대한 프록시 연결을 시도하지 않도록 외부 IP를 입력하지만 실제로는 해당 지점에 도달하지 않고 위의 다른 모든 사람과 동일한 오류가 발생합니다.

multipathmaster 에 2018년 02월 28일

robertBrem 에 2018년 03월 02일

동일한 문제가 있습니다. centos 7, kubelet v1.9.3;
하지만 이미지가 성공적으로 다운로드 된 것 같습니다.
docker images
gcr.io/google_containers/kube-apiserver-amd64 v1.9.3 360d55f91cbf 4 weeks ago 210.5 MB gcr.io/google_containers/kube-controller-manager-amd64 v1.9.3 83dbda6ee810 4 weeks ago 137.8 MB gcr.io/google_containers/kube-scheduler-amd64 v1.9.3 d3534b539b76 4 weeks ago 62.71 MB gcr.io/google_containers/etcd-amd64 3.1.11 59d36f27cceb 3 months ago 193.9 MB gcr.io/google_containers/pause-amd64 3.0 99e59f495ffa 22 months ago 746.9 kB

wangsenyuan 에 2018년 03월 08일

❤1

여기에 CentOS 7 vm이 있고 이미 프록시 서버로 구성했습니다.
나는 같은 시간 초과 메시지를 받았지만 도커 이미지를 가져와 실행 중입니다.

mvsouza 에 2018년 03월 08일

저도 같은 문제를 겪고 있습니다. 자세한 내용은 출력 및 로그를 참조하십시오.

```[ root@kube01 ~]# kubeadm 초기화
[초기화] Kubernetes 버전 사용: v1.9.3
[초기화] 권한 부여 모드 사용: [노드 RBAC]
[실행 전] 실행 전 검사를 실행합니다.
[경고 호스트 이름]: 호스트 이름 "kube01"에 연결할 수 없습니다.
[경고 호스트 이름]: 호스트 이름 "kube01" 조회 kube01 on 10.10.0.81:53: 서버 오작동
[경고 FileExisting-crictl]: 시스템 경로에서 crictl을 찾을 수 없습니다.
[프리플라이트] kubelet 서비스 시작
[인증서] CA 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver 인증서 및 키입니다.
[인증서] apiserver 서빙 인증서는 DNS 이름 [kube01 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] 및 IP [10.96.0.1 10.25.123.11]에 대해 서명되었습니다.
[인증서] apiserver-kubelet-client 인증서 및 키를 생성했습니다.
[인증서] sa 키와 공개 키를 생성했습니다.
[인증서] 생성된 front-proxy-ca 인증서 및 키입니다.
[인증서] 생성된 프런트 프록시 클라이언트 인증서 및 키입니다.
[인증서] 유효한 인증서 및 키가 이제 "/etc/kubernetes/pki"에 있습니다.
[kubeconfig] 디스크에 KubeConfig 파일 작성: "admin.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "kubelet.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "controller-manager.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "scheduler.conf"
[controlplane] 구성 요소 kube-apiserver에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-apiserver.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-controller-manager에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-controller-manager.yaml"에 작성했습니다.
[제어판] 구성 요소 kube-scheduler에 대한 정적 포드 매니페스트를 "/etc/kubernetes/manifests/kube-scheduler.yaml"에 작성했습니다.
[etcd] 로컬 etcd 인스턴스에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/etcd.yaml"에 작성했습니다.
[초기화] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 Static Pod로 컨트롤 플레인을 부팅하기를 기다립니다.
[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

In the meantime, while watching `docker ps` this is what I see:
***Note:*** Don't mind the length of time that the containers have been up — this is my third attempt and it's always the same.

```CONTAINER ID        IMAGE
              COMMAND                  CREATED              STATUS              PORTS               NAMES
c422b3fd67f9        gcr.io/google_containers/kube-apiserver-amd64<strong i="5">@sha256</strong>:a5382344aa373a90bc87d3baa4eda5402507e8df5b8bfbbad392c4fff715f0
43            "kube-apiserver --req"   About a minute ago   Up About a minute                       k8s_kube-apiserver_kube-apiserver-k
ube01_kube-system_3ff6faac27328cf290a026c08ae0ce75_1
4b30b98bcc24        gcr.io/google_containers/kube-controller-manager-amd64<strong i="6">@sha256</strong>:3ac295ae3e78af5c9f88164ae95097c2d7af03caddf067cb35599
769d0b7251e   "kube-controller-mana"   2 minutes ago        Up 2 minutes                            k8s_kube-controller-manager_kube-co
ntroller-manager-kube01_kube-system_d556d9b8ccdd523a5208b391ca206031_0
71c6505ed125        gcr.io/google_containers/kube-scheduler-amd64<strong i="7">@sha256</strong>:2c17e637c8e4f9202300bd5fc26bc98a7099f49559ca0a8921cf692ffd4a16
75            "kube-scheduler --add"   2 minutes ago        Up 2 minutes                            k8s_kube-scheduler_kube-scheduler-k
ube01_kube-system_6502dddc08d519eb6bbacb5131ad90d0_0
9d01e2de4686        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-controller-manager-kub
e01_kube-system_d556d9b8ccdd523a5208b391ca206031_0
7fdaabc7e2a7        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-apiserver-kube01_kube-
system_3ff6faac27328cf290a026c08ae0ce75_0
a5a2736e6cd0        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-scheduler-kube01_kube-
system_6502dddc08d519eb6bbacb5131ad90d0_0
ea82cd3a27da        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_etcd-kube01_kube-system_727
8f85057e8bf5cb81c9f96d3b25320_0

gcr.io/google_containers/kube-apiserver-amd64@sha256:a5382344aa373a90bc87d3baa4eda5402507e8df5b8bfbbad392c4fff715f043에 대한 로그 출력

I0309 19:59:29.570990       1 server.go:121] Version: v1.9.3
I0309 19:59:29.756611       1 feature_gate.go:190] feature gates: map[Initializers:true]
I0309 19:59:29.756680       1 initialization.go:90] enabled Initializers feature as part of admission plugin setup
I0309 19:59:29.760396       1 master.go:225] Using reconciler: master-count
W0309 19:59:29.789648       1 genericapiserver.go:342] Skipping API batch/v2alpha1 because it has no resources.
W0309 19:59:29.796731       1 genericapiserver.go:342] Skipping API rbac.authorization.k8s.io/v1alpha1 because it has no resources.
W0309 19:59:29.797445       1 genericapiserver.go:342] Skipping API storage.k8s.io/v1alpha1 because it has no resources.
W0309 19:59:29.804841       1 genericapiserver.go:342] Skipping API admissionregistration.k8s.io/v1alpha1 because it has no resources.
[restful] 2018/03/09 19:59:29 log.go:33: [restful/swagger] listing is available at https://10.25.123.11:6443/swaggerapi
[restful] 2018/03/09 19:59:29 log.go:33: [restful/swagger] https://10.25.123.11:6443/swaggerui/ is mapped to folder /swagger-ui/
[restful] 2018/03/09 19:59:30 log.go:33: [restful/swagger] listing is available at https://10.25.123.11:6443/swaggerapi
[restful] 2018/03/09 19:59:30 log.go:33: [restful/swagger] https://10.25.123.11:6443/swaggerui/ is mapped to folder /swagger-ui/
I0309 19:59:32.393800       1 serve.go:89] Serving securely on [::]:6443
I0309 19:59:32.393854       1 apiservice_controller.go:112] Starting APIServiceRegistrationController
I0309 19:59:32.393866       1 cache.go:32] Waiting for caches to sync for APIServiceRegistrationController controller
I0309 19:59:32.393965       1 controller.go:84] Starting OpenAPI AggregationController
I0309 19:59:32.393998       1 crdregistration_controller.go:110] Starting crd-autoregister controller
I0309 19:59:32.394012       1 controller_utils.go:1019] Waiting for caches to sync for crd-autoregister controller
I0309 19:59:32.394034       1 customresource_discovery_controller.go:152] Starting DiscoveryController
I0309 19:59:32.394057       1 naming_controller.go:274] Starting NamingConditionController
I0309 19:59:32.393855       1 crd_finalizer.go:242] Starting CRDFinalizer
I0309 19:59:32.394786       1 available_controller.go:262] Starting AvailableConditionController
I0309 19:59:32.394815       1 cache.go:32] Waiting for caches to sync for AvailableConditionController controller
I0309 20:00:06.434318       1 trace.go:76] Trace[12318713]: "Create /api/v1/nodes" (started: 2018-03-09 19:59:32.431463052 +0000 UTC m=+2.986431803) (total time: 34.002792758s):
Trace[12318713]: [4.00201898s] [4.001725343s] About to store object in database
Trace[12318713]: [34.002792758s] [30.000773778s] END
E0309 20:00:32.406206       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.LimitRange: the server was unable to return a response in the time allotted, but may still be processing the request (get limitranges)
E0309 20:00:32.406339       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.Secret: the server was unable to return a response in the time allotted, but may still be processing the request (get secrets)
E0309 20:00:32.406342       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/kube-aggregator/pkg/client/informers/internalversion/factory.go:73: Failed to list *apiregistration.APIService: the server was unable to return a response in the time allotted, but may still be processing the request (get apiservices.apiregistration.k8s.io)
E0309 20:00:32.408094       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.Pod: the server was unable to return a response in the time allotted, but may still be processing the request (get pods)
E0309 20:00:32.415692       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.PersistentVolume: the server was unable to return a response in the time allotted, but may still be processing the request (get persistentvolumes)
E0309 20:00:32.415818       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/apiextensions-apiserver/pkg/client/informers/internalversion/factory.go:73: Failed to list *apiextensions.CustomResourceDefinition: the server was unable to return a response in the time allotted, but may still be processing the request (get customresourcedefinitions.apiextensions.k8s.io)
E0309 20:00:32.415862       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.ClusterRoleBinding: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterrolebindings.rbac.authorization.k8s.io)
E0309 20:00:32.415946       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Namespace: the server was unable to return a response in the time allotted, but may still be processing the request (get namespaces)
E0309 20:00:32.416029       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.ResourceQuota: the server was unable to return a response in the time allotted, but may still be processing the request (get resourcequotas)
E0309 20:00:32.416609       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.ClusterRole: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterroles.rbac.authorization.k8s.io)
E0309 20:00:32.416684       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.RoleBinding: the server was unable to return a response in the time allotted, but may still be processing the request (get rolebindings.rbac.authorization.k8s.io)
E0309 20:00:32.420305       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Endpoints: the server was unable to return a response in the time allotted, but may still be processing the request (get endpoints)
E0309 20:00:32.440196       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *storage.StorageClass: the server was unable to return a response in the time allotted, but may still be processing the request (get storageclasses.storage.k8s.io)
E0309 20:00:32.440403       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: the server was unable to return a response in the time allotted, but may still be processing the request (get services)
E0309 20:00:32.448018       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.ServiceAccount: the server was unable to return a response in the time allotted, but may still be processing the request (get serviceaccounts)
E0309 20:00:32.448376       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.Role: the server was unable to return a response in the time allotted, but may still be processing the request (get roles.rbac.authorization.k8s.io)
E0309 20:00:33.395988       1 storage_rbac.go:175] unable to initialize clusterroles: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterroles.rbac.authorization.k8s.io)
I0309 20:00:43.455564       1 trace.go:76] Trace[375160879]: "Create /api/v1/nodes" (started: 2018-03-09 20:00:13.454506587 +0000 UTC m=+44.009475397) (total time: 30.001008377s):
Trace[375160879]: [30.001008377s] [30.000778516s] END

==================================================== =====================

로그 출력

I0309 19:51:35.248083       1 controllermanager.go:108] Version: v1.9.3
I0309 19:51:35.257251       1 leaderelection.go:174] attempting to acquire leader lease...
E0309 19:51:38.310839       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:41.766358       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:46.025824       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:49.622916       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:52.675648       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:55.697734       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:59.348765       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:01.508487       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:03.886473       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:06.120356       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:08.844772       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:12.083789       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:16.038882       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:18.555388       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:21.471034       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:24.236724       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:27.363968       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:30.045776       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:32.751626       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:36.383923       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:38.910958       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:41.400748       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:44.268909       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:47.640891       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:51.713420       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:54.419154       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:57.134430       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:00.942903       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:03.440586       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:07.518362       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:53:12.968927       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:16.228760       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:18.299005       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:20.681915       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:24.141874       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:28.484775       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:30.678092       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:34.107654       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:36.251647       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:39.914756       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:42.641017       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:45.058876       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:48.359511       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:51.667554       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:54.338101       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:57.357894       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:00.633504       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:03.244353       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:05.923510       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:09.817627       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:12.688349       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:16.803954       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:19.519269       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:23.668226       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:25.903217       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:30.248639       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:32.428029       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:34.962675       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:38.598370       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:41.179039       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:43.927574       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:48.190961       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:51.974141       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:55.898687       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:59.653210       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:02.094737       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:05.125275       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:09.280324       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:12.920886       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:17.272605       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:21.488182       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:23.708198       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:26.893696       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:31.121014       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:35.414628       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:38.252001       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:41.912479       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:45.621133       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:48.976244       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:52.537317       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:55.863737       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:59.682009       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:02.653432       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:04.968939       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:09.336478       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:13.488850       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:16.262967       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:22.685928       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:26.235497       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:28.442915       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:32.051827       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:35.547277       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:38.437120       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:41.007877       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:44.295081       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:46.746424       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:49.321870       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:52.831866       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:55.138333       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:57.815491       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:00.802112       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:03.848363       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:07.350593       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:10.672982       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:14.171660       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:17.923995       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:21.919624       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:23.923165       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:27.692006       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:30.654447       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:33.851703       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:37.302382       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:40.286552       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:42.358940       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:44.364982       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:46.372569       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:50.571683       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:53.988093       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:57.648006       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:01.607961       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:05.717138       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:08.819600       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:12.262314       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:14.327626       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:18.359683       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:20.961212       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:24.503457       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:27.099581       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:29.518623       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:32.943210       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:36.900236       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:40.567479       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:42.642410       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:45.938839       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:50.282483       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:54.086558       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:56.794469       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:00.604370       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:02.968978       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:05.825551       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:09.824458       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:12.383249       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:15.891164       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:19.088375       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:21.305063       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:23.366258       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:26.308481       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:32.440045       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:36.673744       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:40.049109       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:43.463730       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:46.454431       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:49.782639       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:52.964468       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:57.265527       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:01.181219       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:03.441468       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:07.324053       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:10.269835       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:12.584906       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:15.042928       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:18.820764       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:22.392476       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:24.630702       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:27.881904       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:30.123513       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:32.490088       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:34.675420       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:37.433904       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:39.819475       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:42.152164       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"

==================================================== =====================

로그 출력

W0309 19:51:34.800737       1 server.go:159] WARNING: all flags than --config are deprecated. Please begin using a config file ASAP.
I0309 19:51:34.812848       1 server.go:551] Version: v1.9.3
I0309 19:51:34.817093       1 server.go:570] starting healthz server on 127.0.0.1:10251
E0309 19:51:34.818028       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: Get https://10.25.123.11:6443/apis/policy/v1beta1/poddisruptionbudgets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818279       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: Get https://10.25.123.11:6443/api/v1/pods?fieldSelector=spec.schedulerName%3Ddefault-scheduler%2Cstatus.phase%21%3DFailed%2Cstatus.phase%21%3DSucceeded&limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818346       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: Get https://10.25.123.11:6443/api/v1/persistentvolumeclaims?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818408       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: Get https://10.25.123.11:6443/apis/apps/v1beta1/statefulsets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.819028       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: Get https://10.25.123.11:6443/api/v1/services?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.819386       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: Get https://10.25.123.11:6443/api/v1/nodes?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.820217       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: Get https://10.25.123.11:6443/apis/extensions/v1beta1/replicasets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.820659       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: Get https://10.25.123.11:6443/api/v1/persistentvolumes?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.821783       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: Get https://10.25.123.11:6443/api/v1/replicationcontrollers?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:38.320455       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:38.329101       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:38.329733       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:38.332670       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:38.332707       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:38.332734       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:38.334248       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:38.334568       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:38.334594       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:39.322884       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:39.331726       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:39.333093       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:39.335939       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:39.335988       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:39.336229       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:39.336514       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:39.337881       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:39.338784       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:40.323869       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:40.332910       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:40.334120       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:40.337188       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:40.338218       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:40.339267       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:40.340635       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:40.342035       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:40.343070       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:41.325987       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:41.334782       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:41.336320       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:41.338996       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:41.339923       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:41.340904       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:41.342304       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:41.343675       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:41.344622       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:42.328038       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:42.336744       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:42.338239       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:42.340719       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:42.341878       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:42.342835       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:42.344100       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:42.345231       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:42.346405       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:43.330230       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:43.338706       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:43.339941       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:43.342476       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:43.343584       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:43.344615       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:43.345792       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:43.346976       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:43.348050       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:44.332307       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:44.340659       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:44.341607       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:44.344223       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:44.345380       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:44.346247       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:44.347536       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:44.348664       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:44.349648       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:45.334228       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:45.342638       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:45.343460       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:45.345969       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:45.347140       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:45.348176       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope

==================================================== =====================

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

==================================================== =====================

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

==================================================== =====================

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

==================================================== =====================

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

==================================================== =====================

edwardofclt 에 2018년 03월 09일

+1
업데이트:
내가 할 수 있는 모든 것을 살펴본 후(저는 k8s를 처음 접했습니다) 마침내 kubectl describe pod -n kube-system kube-dns-<sha> 에서 내가 설치하고 있던 가상 서버에 CPU가 1개만 있고 kube-dns가 시작되지 않는다는 것을 알았습니다. CPU가 부족하기 때문입니다. 이상하게도 kubectl logs pod -n kube-system kube-dns-<sha> 는 이 정보를 표시하지 않았습니다.

OS 재설치 후 작동했습니다(kubeadm 설치 후 재부팅하면 k8s 마스터가 제대로 시작되지 않음).
(출력을 캡처하는 것을 잊어 죄송합니다)

bbruun 에 2018년 03월 12일

QQ-ing 에 2018년 03월 14일

나는 같은 문제가 있었고 취소하고 reset 를 실행한 다음 이전과 동일한 init 를 실행했지만 --apiserver-advertise-address=<my_host_public_ip_address> -- 작동했습니다.

VaverDariush 에 2018년 03월 15일

👍2

https://github.com/kubernetes/kubernetes/issues/59680#issuecomment -364646304
selinux 비활성화가 도움이되었습니다.

avielb 에 2018년 03월 19일

😕7 👍7 👎6 🎉2 ❤1

1.8.10으로 다운 그레이드하면 문제가 해결되었습니다.

cbluth 에 2018년 03월 24일

👍5

gabrielfsousa 에 2018년 03월 27일

nevotheless 에 2018년 04월 01일

Ubuntu 16.04의 v1.9.3과 동일한 문제(selinux 없음)

jpmondet 에 2018년 04월 01일

+1 같은 문제

duongmngo 에 2018년 04월 02일

arm64의 Ubuntu 16.04에 있는 v1.10과 동일한 문제입니다.

farfeduc 에 2018년 04월 04일

👍8

arm64의 우분투 16.04의 v1.10과 동일한 문제(selinux 없음)

therealqxing 에 2018년 04월 05일

설치한 하드웨어에 있는 CPU 수를 확인하십시오. 3주 전에 위에서 설명한 대로 설치하려면 마스터에 2개가 필요합니다.

bbruun 에 2018년 04월 05일

😕1 👍1

@bbruun 사용된 하드웨어는 https://www.pine64.org/?page_id=1491 이므로 4개의 코어로 제대로 감지됩니다. 그러면 하드웨어가 문제가 되어서는 안 됩니다. 그러나 어쨌든 팁을 주셔서 감사합니다. @qxing3 은 동일한 하드웨어를 사용하지 않을 수도 있지만...

farfeduc 에 2018년 04월 05일

@farfeduc 그것은 내가 부딪힌 장애물이었습니다. 설치를 테스트하고 k8을 알기 위해 가상 머신을 다시 설치하면서 여러 번 연속 시도했지만 시스템에서 사용 가능한 로그를 가져오는 것은 엉뚱한 일이며 가능한 모든 곳에서 가져오려고 했습니다. 사용 가능한 CPU가 충분하지 않다는 메시지가 나타날 때까지. 이제 3개의 Udoo x86 Ultra를 구입하여 집에서 약간 더 큰 인스턴스를 사용하는 작업과 함께 작은 클러스터를 실행합니다 :-)

bbruun 에 2018년 04월 05일

@bbruun 어쨌든 팁 주셔서 감사합니다. 가상 머신에 2개의 CPU를 구성했습니다.

therealqxing 에 2018년 04월 05일

/할당 @liztio

timothysc 에 2018년 04월 07일

wu0407 에 2018년 04월 08일

+1 v1.10.0

manojakondi 에 2018년 04월 13일

+1 v1.10.0 및 1.10.1

TechnoRoss 에 2018년 04월 13일

cleversonledur 에 2018년 04월 13일

흥미롭게도 배포 위치에 따라 델타를 찾고 있습니다. 나는 더 탐구할 시간을 찾기를 희망하지만, 지금까지는 이것을 알고 있습니다. Mac/VMware Fusion을 사용하고 CentOS 7 VM을 실행하면 kubeadm 1.8을 완전히 사용할 수 있습니다. 로컬에서 작동하는 v1.9 또는 v1.10이 없습니다. 그러나 Digital Ocean에서 CentOS 7 이미지를 사용하면 v1.8.x, v1.10.0 및 v1.10.1을 성공적으로 실행할 수 있습니다. v1.9는 어떤 이유로 "그냥 의존"하는 것 같습니다. 이제 스위치를 트립하는 요소를 찾기 위해 두 환경 사이의 미세한 델타를 파헤치는 문제입니다. 커널/패치 수준이 일치하고 Docker 엔진 등이 일치한다는 것을 알고 있습니다. DO는 cloud-init 항목을 설치하지만 내 로컬 VM은 설치하지 않습니다. 무엇이 다른지 알아내는 것은 쉽지 않습니다. 나는 디스크 크기를 맞추기 위해 노력했습니다(작은 디스크가 어딘가에 오류를 가릴 수 있다고 생각하지만 그것도 제거했습니다).

모든 경우에 이미지 가져오기는 항상 작동했으며 API 서비스가 응답하도록 하고 실패할 때 몇 분마다 재활용을 유지하지 않습니다.

TechnoRoss 에 2018년 04월 14일

인사말,

https://docs.docker.com/config/daemon/systemd/#httphttps -proxy를 참조하여 docker 데몬에 대한 프록시를 설정할 수 있습니다.

guhuajun 에 2018년 04월 16일

+1 Raspberry PI 3의 HypriotOS에서 실행

hansamann 에 2018년 04월 18일

마지막 버전 대신 v1.9.6을 설치하여 작동하게 만들 수 있었습니다.
따라서 v1.9.6에서는 정상적으로 작동하지만 소파인 보드의 arm64에서 우분투 16.04의 v1.10.0 및 v1.10.1에서는 실패합니다.

farfeduc 에 2018년 04월 18일

👍1

Raspberry Pi 3, HypriotOS에서도 동일한 문제가 있습니다. 1.9.7-00으로 다운 그레이드하는 것도 저에게 효과적이었습니다.

JoeJasinski 에 2018년 04월 22일

👍1

+1, kubeadm v1.10.1, 라즈베리 파이 3b, hypriotOS

kocoten1992 에 2018년 04월 22일

제 경우에는 etcd 컨테이너가 시작되고 오류와 함께 종료되었으며 이로 인해 kubeadm init 가 중단되고 결국 시간이 초과되었습니다.

이것이 당신을 물고 있는지 확인하려면 docker ps -a 를 실행하고 etcd 컨테이너의 상태를 확인하십시오. 실행 중이 아니면 etcd 컨테이너( docker logs <container-id> )에 대한 로그를 확인하고 주소에 바인딩할 수 없다고 불평하는지 확인합니다. 이 문제 보고서를 참조하십시오: https://github.com/kubernetes/kubernetes/issues/57709

방금 언급한 문제에는 해결 방법이 있지만 그것이 먼저 실행되고 있는지 확인하십시오.

loudsong 에 2018년 04월 27일

👍1

방화벽이 6443 에 대한 인바운드 트래픽을 허용하는지 확인하십시오.

예를 들어 Ubuntu를 사용하는 경우 ufw status 를 실행하여 활성화되어 있는지 확인합니다.

그런 다음 ufw allow 6443 포트를 엽니다.

aaronkjones 에 2018년 05월 01일

아래 이미지를 나열하고 프록시를 통해 수동으로 가져온 다음 kubeadm을 다시 초기화하는 것이 가능합니까?
작동할까요?
사촌, 우리는 중국에 있습니다, 당신은 알고 있습니다, GFW.
그리고 저는 k8을 처음 사용하고 centos7에 설정할 때 여기에 멈췄습니다.

HanYL-coder 에 2018년 05월 17일

❤1

GREAT FIREWALL 뒤에 있는 중국 사람들을 위해

thanch2n 에 2018년 05월 17일

👍1

@thanch2n thx 많이. 나는 그것을 시도 할거야.

HanYL-coder 에 2018년 05월 18일

이것을 사용하여 프록시를 docker에 추가했는데 이미지가 모두 이미 다운로드된 것 같지만 여전히 "[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다."

아래에 자동으로 가져온 이미지를 나열합니다.

k8s.gcr.io/kube-apiserver-amd64 v1.10.2 e774f647e259 2주 전 225MB
k8s.gcr.io/kube-scheduler-amd64 v1.10.2 0dcb3dea0db1 2주 전 50.4MB
k8s.gcr.io/kube-controller-manager-amd64 v1.10.2 f3fcd0775c4e 2주 전 148MB
k8s.gcr.io/etcd-amd64 3.1.12 52920ad46f5b 2 개월 전 193 MB
k8s.gcr.io/pause-amd64 3.1 da86e6ba6ca1 4개월 전 742 kB

HanYL-coder 에 2018년 05월 18일

나는 이것을 알아내기 위해 많은 시간을 보냈다. 나는 ufw를 비활성화하고 selinux를 끄고 ip 포워딩이 켜져 있고 /proc/sys/net/bridge/bridge-nf-call-iptables도 1로 설정되어 있는지 확인했습니다. 아무 것도 문제를 해결하지 못하는 것 같았습니다.

결국 다운그레이드 후 업그레이드를 하기로 했습니다.

sudo apt-get -y --allow-downgrades install kubectl=1.5.3-00 kubelet=1.5.3-00 kubernetes-cni=0.3.0.1-07a8a2-00 및

curl -Lo /tmp/old-kubeadm.deb https://apt.k8s.io/pool/kubeadm_1.6.0-alpha.0.2074-a092d8e0f95f52-00_amd64_0206dba536f698b5777c7d210444a8ace18f48e045ab78687327631c6c694f42.deb

1.10에서 다운 그레이드 한 다음

sudo apt-get -y install kubectl kubelet kubernetes-cni kubeadm

Etcd가 다시 시작되고 API 서버가 시간 초과되었습니다. 잠시 후 api-server가 연결할 수 없다는 불평으로 다시 시작됩니다. DEBUG 레벨 로깅을 켤 수 있는 방법이 있습니까? 이제 원인이 무엇인지 확인하십시오. 하지만 지금 작동합니다. 나는 확실히 이것을 재현하고 문제를 해결하고 싶습니다.

mendoncangelo 에 2018년 05월 19일

👍2

막힌 이유를 알았습니다.
vmware에서 실행 중이고 1G RAM을 찾았습니다. k8s에는 최소 2G RAM이 필요합니다.
이에 대한 알림을 추가할 수 있습니까?

HanYL-coder 에 2018년 05월 22일

CentOS 7에서 +1 kubeadm 1.10.2
4GB RAM 2CPU

FNaughton 에 2018년 05월 25일

6GB RAM 및 1 VCPU가 있는 HyperV VM의 Debian Stretch(go1.9.3)에서 +1 kubeadm 1.10.1...

클러스터를 여러 번 재생성했을 때 과거에는 잘 작동했습니다 ...

simmessa 에 2018년 05월 28일

HyperV에서 2개의 VCPU로 전환을 시도했지만 아무 것도 변경되지 않았습니다.

simmessa 에 2018년 05월 28일

+1 !

imedaouidene 에 2018년 05월 29일

+1. kubeadm 1.10.1, 데비안 스트레치. 이전에 일함

egism 에 2018년 06월 01일

Centos 7의 docker 1.13.1에서 스토리지 드라이버에 문제가 있음을 발견했습니다. Docker 로그에 'readlink /var/lib/docker/overlay2/l: 잘못된 인수'가 표시되었습니다. docker 18.03.1-ce로 이동하면 이 문제가 해결되고 kubeadm init가 더 이상 중단되지 않습니다.

FNaughton 에 2018년 06월 01일

나는 같은 문제가 있었다. etcd가 리눅스 머신의 호스트 이름(somedomain.example.com)을 가져와서 DNS 서버에서 검색하고 와일드카드 도메인(*.example.com)에 대한 답변을 찾은 다음 반환된 IP 주소 대신 반환된 IP 주소에 바인딩을 시도한 것으로 나타났습니다. apiserver-advertise-address.

Evengard 에 2018년 06월 06일

사전 풀링 및 피벗 시간 초과 감지에 대한 여러 수정 사항이 있으므로 이 문제를 종료합니다.

timothysc 에 2018년 06월 12일

tejp1002 에 2018년 10월 30일

k8sadmin이 이미지를 끌어내리도록 하는 표준 방법을 시도하고 여러 번 시도한 다음 이미지를 가져오고 재설정하고 오류를 무시하려고 했지만 항상 실패했습니다.

pi@master-node-001 :~ $ sudo kubeadm 리셋
[재설정] 경고: 'kubeadm init' 또는 'kubeadm join'에 의해 이 호스트에 적용된 변경 사항은 되돌려집니다.
[실행 전] 실행 전 검사 실행
[재설정] kubelet 서비스 중지
[재설정] "/var/lib/kubelet"에서 마운트된 디렉토리 마운트 해제
[재설정] 상태 저장 디렉토리 내용 삭제: [/var/lib/kubelet /etc/cni/net.d /var/lib/dockershim /var/run/kubernetes /var/lib/etcd]
[재설정] 구성 디렉토리의 내용 삭제: [/etc/kubernetes/manifests /etc/kubernetes/pki]
[재설정] 파일 삭제: [/etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler. conf]
pi@master-node-001 :~ $ kubeadm 구성 이미지 풀
[config/images] 가져 오기 k8s.gcr.io/kube-apiserver:v1.12.2
[config/images] 가져 오기 k8s.gcr.io/kube-controller-manager:v1.12.2
[구성/이미지] 가져오기 k8s.gcr.io/kube- 스케줄러:v1.12.2
[config/images] 가져 오기 k8s.gcr.io/kube-proxy:v1.12.2
[config/images] k8s.gcr.io/pause:3.1 가져오기
[구성/이미지] 가져 오기 k8s.gcr.io/etcd:3.2.24
[config/images] k8s.gcr.io/coredns:1.2.2 가져오기
pi@master-node-001 :~ $ sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
[초기] Kubernetes 버전 사용: v1.12.2
[실행 전] 실행 전 검사 실행
[프리플라이트/이미지] Kubernetes 클러스터 설정에 필요한 이미지 가져오기
[프리플라이트/이미지] 인터넷 연결 속도에 따라 1~2분 정도 소요될 수 있습니다.
[프리플라이트/이미지] 'kubeadm config images pull'을 사용하여 미리 이 작업을 수행할 수도 있습니다.
[kubelet] "/var/lib/kubelet/kubeadm-flags.env" 파일에 플래그가 있는 kubelet 환경 파일 쓰기
[kubelet] "/var/lib/kubelet/config.yaml" 파일에 kubelet 구성 쓰기
[프리플라이트] kubelet 서비스 활성화
[인증서] etcd/ca 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver-etcd-client 인증서 및 키입니다.
[인증서] etcd/server 인증서 및 키를 생성했습니다.
[인증서] etcd/server 서빙 인증서는 DNS 이름 [master-node-001 localhost] 및 IP [127.0.0.1 ::1]에 대해 서명되었습니다.
[인증서] etcd/피어 인증서 및 키를 생성했습니다.
[인증서] etcd/peer 서빙 인증서는 DNS 이름 [master-node-001 localhost] 및 IP [192.168.0.100 127.0.0.1 ::1]에 대해 서명되었습니다.
[인증서] etcd/healthcheck-client 인증서 및 키를 생성했습니다.
[인증서] CA 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver 인증서 및 키입니다.
[인증서] apiserver 서빙 인증서는 DNS 이름 [master-node-001 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] 및 IP [10.96.0.1 192.168.0.100]에 대해 서명되었습니다.
[인증서] apiserver-kubelet-client 인증서 및 키를 생성했습니다.
[인증서] 생성된 front-proxy-ca 인증서 및 키입니다.
[인증서] 생성된 프런트 프록시 클라이언트 인증서 및 키입니다.
[인증서] 유효한 인증서 및 키가 이제 "/etc/kubernetes/pki"에 있습니다.
[인증서] sa 키와 공개 키를 생성했습니다.
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/admin.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/kubelet.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/scheduler.conf"
[controlplane] 구성 요소 kube-apiserver에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-apiserver.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-controller-manager에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-controller-manager.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-scheduler에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-scheduler.yaml"에 작성했습니다.
[etcd] 로컬 etcd 인스턴스에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/etcd.yaml"에 작성했습니다.
[초기화] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 Static Pod로 제어 평면을 부팅하기를 기다립니다.
[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

유감스럽게도 다음과 같은 오류가 발생했습니다.
조건을 기다리는 시간이 초과되었습니다.

이 오류는 다음으로 인해 발생할 수 있습니다.
- kubelet이 실행되지 않습니다.
- 어떤 식으로든 노드의 잘못된 구성으로 인해 kubelet이 비정상입니다(필요한 cgroups 비활성화됨).

시스템 전원 공급 시스템을 사용하는 경우 다음 명령을 사용하여 오류 문제를 해결할 수 있습니다.
- 'systemctl 상태 kubelet'
- 'journalctl -xeu kubelet'

또한 컨테이너 런타임에서 시작할 때 컨트롤 플레인 구성 요소가 충돌하거나 종료되었을 수 있습니다.
문제를 해결하려면 선호하는 컨테이너 런타임 CLI(예: docker)를 사용하여 모든 컨테이너를 나열하십시오.
다음은 도커에서 실행되는 모든 Kubernetes 컨테이너를 나열하는 방법의 한 예입니다.
- '도커 PS -a | 그렙 큐브 | grep -v 일시 중지'
실패한 컨테이너를 찾으면 다음을 사용하여 로그를 검사할 수 있습니다.
- '도커 로그 CONTAINERID'
Kubernetes 클러스터를 초기화할 수 없습니다.
pi@master-node-001 :~ $ 도커 이미지
저장소 태그 이미지 ID 생성된 크기
k8s.gcr.io/kube-controller-manager v1.12.2 4bc6cae738d8 7일 전 146MB
k8s.gcr.io/kube-apiserver v1.12.2 8bfe044a05e1 7일 전 177MB
k8s.gcr.io/kube-scheduler v1.12.2 3abf5566fec1 7일 전 52MB
k8s.gcr.io/kube-proxy v1.12.2 328ef67ca54f 7일 전 84.5MB
k8s.gcr.io/kube-proxy v1.12.1 8c06fbe56458 3주 전 84.7MB
k8s.gcr.io/kube-controller-manager v1.12.1 5de943380295 3주 전 146MB
k8s.gcr.io/kube-scheduler v1.12.1 1fbc2e4cd378 3주 전 52MB
k8s.gcr.io/kube-apiserver v1.12.1 ab216fe6acf6 3주 전 177MB
k8s.gcr.io/etcd 3.2.24 e7a8884c8443 5주 전 222MB
k8s.gcr.io/coredns 1.2.2 ab0805b0de94 2개월 전 33.4MB
k8s.gcr.io/kube-scheduler v1.11.0 0e4a34a3b0e6 4개월 전 56.8MB
k8s.gcr.io/kube-controller-manager v1.11.0 55b70b420785 4 개월 전 155MB
k8s.gcr.io/etcd 3.2.18 b8df3b177be2 6 개월 전 219MB
k8s.gcr.io/pause 3.1 e11a8cbeda86 10 months ago 374kB
pi@master-node-001 :~ $ h | grep kubectl
-bash: h: 명령을 찾을 수 없음
pi@master-node-001 :~ $ 히스토리 | grep kubectl
9 kubectl 포드 목록
10 kubectl 목록 포드
11 kubectl --help
12 kubectl get pod -o wide
14 kubectl get pod -o wide
32시간 | grep kubectl
33 역사 | grep kubectl
pi@master-node-001 :~ $ !12
kubectl 포드 가져오기 -o 와이드
서버에 연결할 수 없음: net/http: TLS 핸드셰이크 시간 초과
pi@master-node-001 :~ $ 히스토리 | 그렙 일시 중지
17 도커 PS -a | 그렙 큐브 | grep -v 일시 중지
35 역사 | 그렙 일시 중지
pi@master-node-001 :~ $ !17
도커 PS -a | 그렙 큐브 | grep -v 일시 중지
41623613679e 8bfe044a05e1 "kube-apiserver --au…
0870760b9ea0 8bfe044a05e1 "kube-apiserver --au…
c60d65fab8a7 3abf5566fec1 "kube-scheduler --ad…
26c58f6c68e9 e7a8884c8443 "etcd --advertise-cl…" 6분 전 최대 5분 k8s_etcd_etcd-master-node-001_kube-system_d01dcc7fc79b875a52f01e26432e6745
65546081ca77 4bc6cae738d8 "kube-controller-man…
pi@master-node-001 :~ $ kubectl get pod -o wide
^C
pi@master-node-001 :~ $ sudo 재부팅
192.168.0.100에 대한 연결이 원격 호스트에 의해 닫혔습니다.
192.168.0.100에 대한 연결이 닫혔습니다.
karl@karl-PL62-7RC :~$ 핑 192.168.0.100
PING 192.168.0.100(192.168.0.100) 56(84) 바이트 데이터.
^C
--- 192.168.0.100 핑 통계 ---
2 패킷 전송, 0 수신, 100% 패킷 손실, 시간 1015ms

karl@karl-PL62-7RC :~$ ssh [email protected]
ssh_exchange_identification: 읽기: 피어에 의한 연결 재설정
karl@karl-PL62-7RC :~$ ssh [email protected]
[email protected] 의 비밀번호:
Linux master-node-001 4.14.71-v7+ #1145 SMP Fri Sep 21 15:38:35 BST 2018 armv7l

데비안 GNU/리눅스 시스템에 포함된 프로그램은 무료 소프트웨어입니다.
각 프로그램의 정확한 배포 조건은
/usr/share/doc/*/copyright의 개별 파일.

데비안 GNU/리눅스는 어느 정도까지 보증을 하지 않습니다.
해당 법률에 의해 허용됩니다.
마지막 로그인: 2018년 10월 31일 수요일 21:36:13
pi@master-node-001 :~ $ kubectl get pod -o wide
서버 192.168.0.100:6443에 대한 연결이 거부되었습니다. 올바른 호스트 또는 포트를 지정했습니까?
pi@master-node-001 :~ $ sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
[초기] Kubernetes 버전 사용: v1.12.2
[실행 전] 실행 전 검사 실행
[경고 FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml이 이미 존재합니다.
[경고 FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml이 이미 존재합니다.
[경고 FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml이 이미 존재합니다.
[경고 FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml이 이미 존재합니다.
[경고 포트-10250]: 포트 10250이 사용 중입니다.
[경고 DirAvailable--var-lib-etcd]: /var/lib/etcd가 비어 있지 않습니다.
[프리플라이트/이미지] Kubernetes 클러스터 설정에 필요한 이미지 가져오기
[프리플라이트/이미지] 인터넷 연결 속도에 따라 1~2분 정도 소요될 수 있습니다.
[프리플라이트/이미지] 'kubeadm config images pull'을 사용하여 미리 이 작업을 수행할 수도 있습니다.
[kubelet] "/var/lib/kubelet/kubeadm-flags.env" 파일에 플래그가 있는 kubelet 환경 파일 쓰기
[kubelet] "/var/lib/kubelet/config.yaml" 파일에 kubelet 구성 쓰기
[프리플라이트] kubelet 서비스 활성화
[인증서] 기존 etcd/peer 인증서 및 키를 사용합니다.
[인증서] 기존 apiserver-etcd-client 인증서 및 키 사용.
[인증서] 기존 etcd/server 인증서 및 키를 사용합니다.
[인증서] 기존 etcd/healthcheck-client 인증서 및 키 사용.
[인증서] 기존 apiserver 인증서 및 키 사용.
[인증서] 기존 apiserver-kubelet-client 인증서 및 키 사용.
[인증서] 기존 프론트 프록시 클라이언트 인증서 및 키를 사용합니다.
[인증서] 유효한 인증서 및 키가 이제 "/etc/kubernetes/pki"에 있습니다.
[인증서] 기존 sa 키 사용.
[kubeconfig] 기존 최신 KubeConfig 파일 사용: "/etc/kubernetes/admin.conf"
[kubeconfig] 기존 최신 KubeConfig 파일 사용: "/etc/kubernetes/kubelet.conf"
[kubeconfig] 기존 최신 KubeConfig 파일 사용: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] 기존 최신 KubeConfig 파일 사용: "/etc/kubernetes/scheduler.conf"
[controlplane] 구성 요소 kube-apiserver에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-apiserver.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-controller-manager에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-controller-manager.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-scheduler에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-scheduler.yaml"에 작성했습니다.
[etcd] 로컬 etcd 인스턴스에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/etcd.yaml"에 작성했습니다.
[초기화] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 Static Pod로 제어 평면을 부팅하기를 기다립니다.
[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

유감스럽게도 다음과 같은 오류가 발생했습니다.
조건을 기다리는 시간이 초과되었습니다.

시스템 전원 공급 시스템을 사용하는 경우 다음 명령을 사용하여 오류 문제를 해결할 수 있습니다.
- 'systemctl 상태 kubelet'
- 'journalctl -xeu kubelet'

fenwk0 에 2018년 10월 31일

13 sudo kubeadm 초기화 --token-ttl=0
14 kubectl get pod -o wide
15 sudo kubeadm 재설정
16 sudo kubeadm 초기화 --token-ttl=0
17 도커 PS -a | 그렙 큐브 | grep -v 일시 중지
18개의 kubeadm 구성 이미지 pull --kubernetes-version=v1.11.0
19 sudo kubeadm 재설정
20 역사 > notes.txt
21개의 추가 notes.txt
22 sudo 재부팅
23개의 kubeadm 구성 이미지 목록
24개의 kubeadm 구성 이미지 pull --kubernetes-version=v1.11.0
25 sudo kubeadm 초기화 --token-ttl=0 --ignore-preflight-errors=all
26개의 kubeadm 구성 이미지 가져오기
27 sudo kubeadm 초기화 --token-ttl=0 --ignore-preflight-errors=all
28개의 kubeadm 구성 이미지 풀
29 sudo kubeadm 재설정
30개의 kubeadm 구성 이미지 풀
31 sudo kubeadm 초기화 --token-ttl=0 --ignore-preflight-errors=all
32개의 도커 이미지
33시간 | grep kubectl
34 역사 | grep kubectl
35 kubectl get pod -o wide
36 역사 | 그렙 일시 중지
37 도커 ps -a | 그렙 큐브 | grep -v 일시 중지
38 kubectl get pod -o wide
39 sudo 재부팅
40 kubectl get pod -o wide
41 sudo kubeadm 초기화 --token-ttl=0 --ignore-preflight-errors=all

fenwk0 에 2018년 10월 31일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Kubeadm: Kubeadm init는 "제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

버전

무슨 일이에요?

무슨 일이 일어날 것이라고 예상했습니까?

재현하는 방법(가능한 한 최소한으로 정확하게)?

우리가 알아야 할 다른 것이 있습니까?

가장 유용한 댓글

모든 67 댓글

gcr.io/google_containers/kube-apiserver-amd64@sha256:a5382344aa373a90bc87d3baa4eda5402507e8df5b8bfbbad392c4fff715f043에 대한 로그 출력

로그 출력

로그 출력

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

gcr.io/google_containers/pause-amd64:3.0에 대한 로그 출력

관련 문제