도움 요청입니까?

네

이 항목을 제출하기 전에 kubeadm 문제에서 어떤 키워드를 검색하셨습니까?

x509: 알 수 없는 기관이 서명한 인증서 -- 기업 네트워크 내부

중복되는 항목을 찾으면 대신 거기에 답장하고 이 페이지를 닫아야 합니다.

중복 항목을 찾지 못한 경우 이 섹션을 삭제하고 계속 진행하십시오.

이것은 버그 보고서입니까 아니면 기능 요청입니까?

BUG REPORT 또는 FEATURE REQUEST 중 하나를 선택하십시오.

버그 보고서

버전

kubeadm 버전 ( kubeadm version ): --1.10.4
kubeadm 버전: &version.Info{주요:"1", 부:"10", GitVersion:"v1.10.4", GitCommit:"5ca598b4ba5abb89bb773071ce452e33fb66339d", GitTreeState:"2016T0:"clean", BuildDate::0 59Z", GoVersion:"go1.9.3", 컴파일러:"gc", 플랫폼:"linux/amd64"}

환경 :

• Kubernetes 버전 ( kubectl version ):
• 클라우드 제공자 또는 하드웨어 구성 :
• OS (예: /etc/os-release):
  NAME="센트OS 리눅스"
  버전="7(코어)"
  아이디 = "센토스"
  ID_LIKE="렐 페도라"
  VERSION_ID="7"
  PRETTY_NAME="CentOS Linux 7(코어)"
  ANSI_COLOR="0;31"
  CPE_NAME="cpe:/o: centos:centos :7"
  HOME_URL=" https://www.centos.org/ "
  BUG_REPORT_URL=" https://bugs.centos.org/ "

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="센토스"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

• 커널 (예: uname -a ):
  리눅스 kubem13.10.0-123.el7.x86_64 #1 SMP 월요일 6월 30일 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux
• 기타 :

무슨 일이에요?

오류 x509 발생: 알 수 없는 기관에서 서명한 인증서

무슨 일이 일어날 것이라고 예상했습니까?

오류 없이 kubeadm init를 실행해야 합니다.

그것을 재현하는 방법(가능한 한 최소한으로 그리고 정확하게)?

우리가 알아야 할 다른 것이 있습니까?

여러 파일에 프록시를 구성했습니다.

.bash_profile
/etc/환경
/etc/systemd/system/docker.service.d/http-proxy.conf

/etc/systemd/system/docker.service.d/http-proxy.conf

[서비스]
환경="HTTP_PROXY=http://:@:8080"
환경="HTTPS_PROXY=https://:@:8080"
환경 = "NO_PROXY = 로컬 호스트, 127.0.0.1,10.169.150.123"

/etc/환경

내보내기 http_proxy="http://:@:8080"
내보내기 https_proxy="https://:@:8080"
내보내기 HTTP_PROXY="http://:@:8080"
내보내기 HTTPS_PROXY="https://:@:8080"
내보내기 no_proxy="10.169.150.123,127.0.0.1,localhost"

IN 배쉬 프로필

내보내기 KUBECONFIG=/etc/kubernetes/admin.conf
내보내기 http_proxy="http://:@:8080"
내보내기 https_proxy="https://:@:8080"
내보내기 HTTP_PROXY="http://:@:8080"
내보내기 HTTPS_PROXY="https://:@:8080"
내보내기 no_proxy="10.169.150.123,127.0.0.1,localhost"

필요한 포트를 열었습니다.

고양이 /etc/sysconfig/iptables

-A INPUT -p tcp -m state --state NEW -m tcp --dport 6443 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 2379-2380 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10250 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10251 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10252 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10255 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT

방화벽을 다시 로드했습니다.

또한 방화벽을 비활성화하여 확인했습니다.

비활성화된 SELINUX

########KUBELET_NETWORK_ARGS에 댓글을 남겼습니다.

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf

[서비스]
환경="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_SYSTEM_PODS_ARGS=--pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true"

환경="KUBELET_NETWORK_ARGS=--network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin"

환경="KUBELET_DNS_ARGS=--cluster-dns=10.96.0.10 --cluster-domain=cluster.local"
Environment="KUBELET_AUTHZ_ARGS=--authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt"
환경="KUBELET_CADVISOR_ARGS=--cadvisor-port=0"
환경="KUBELET_CGROUP_ARGS=--cgroup-driver=systemd"
Environment="KUBELET_CERTIFICATE_ARGS=--rotate-certificates=true --cert-dir=/var/lib/kubelet/pki"
환경="KUBELET_EXTRA_ARGS=--fail-swap-on=false"
실행 시작=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_SYSTEM_PODS_ARGS $KUBELET_DNS_ARGS $KUBELET_AUTHZ_ARGS $KUBELET_CADVISOR_ARGS $KUBELET_CGROUP_ARGS $FICATELEET_CERTI

버전을 전달하여 실행하면

[ root@kubem1 ~]# kubeadm 초기화 --kubernetes-version=v1.10.4
[초기화] Kubernetes 버전 사용: v1.10.4
[초기화] 권한 부여 모드 사용: [노드 RBAC]
[실행 전] 실행 전 검사를 실행합니다.
[경고 HTTPProxyCIDR]: "10.96.0.0/12"에 대한 연결은 프록시 "https:// * * * * "를 사용합니다. 이로 인해 클러스터 설정이 제대로 작동하지 않을 수 있습니다. 포드 및 서비스 IP 범위가 프록시 구성에서 예외로 올바르게 지정되었는지 확인합니다.
[인증서] CA 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver 인증서 및 키입니다.
[인증서] apiserver 서빙 인증서는 DNS 이름 [kubem1]에 대해 서명되었습니다.kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] 및 IP [10.96.0.1 10.169.150.123]
[인증서] apiserver-kubelet-client 인증서 및 키를 생성했습니다.
[인증서] sa 키와 공개 키를 생성했습니다.
[인증서] 생성된 front-proxy-ca 인증서 및 키입니다.
[인증서] 생성된 프런트 프록시 클라이언트 인증서 및 키입니다.
[인증서] etcd/ca 인증서 및 키를 생성했습니다.
[인증서] etcd/server 인증서 및 키를 생성했습니다.
[인증서] etcd/server 서빙 인증서는 DNS 이름 [localhost] 및 IP [127.0.0.1]에 대해 서명되었습니다.
[인증서] etcd/피어 인증서 및 키를 생성했습니다.
[인증서] etcd/피어 서비스 인증서는 DNS 이름 [kubem1. * * ** ] 및 IP [10.169.150.123]
[인증서] etcd/healthcheck-client 인증서 및 키를 생성했습니다.
[인증서] 생성된 apiserver-etcd-client 인증서 및 키입니다.
[인증서] 유효한 인증서 및 키가 이제 "/etc/kubernetes/pki"에 있습니다.
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/admin.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/kubelet.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] 디스크에 KubeConfig 파일 작성: "/etc/kubernetes/scheduler.conf"
[controlplane] 구성 요소 kube-apiserver에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-apiserver.yaml"에 작성했습니다.
[controlplane] 구성 요소 kube-controller-manager에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/kube-controller-manager.yaml"에 작성했습니다.
[제어판] 구성 요소 kube-scheduler에 대한 정적 포드 매니페스트를 "/etc/kubernetes/manifests/kube-scheduler.yaml"에 작성했습니다.
[etcd] 로컬 etcd 인스턴스에 대한 Static Pod 매니페스트를 "/etc/kubernetes/manifests/etcd.yaml"에 작성했습니다.
[초기화] kubelet이 "/etc/kubernetes/manifests" 디렉토리에서 Static Pod로 컨트롤 플레인을 부팅하기를 기다립니다.
[초기화] 제어 평면 이미지를 가져와야 하는 경우 1분 이상 걸릴 수 있습니다.

#############IN 오류 로그

6월 22일 04:31:34 kubem1. * * * * kubelet[7275]: E0622 04:31:34.942572 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: 나열 실패 *v1.Pod: https 가져오기 * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:35 kubem1. * * * * kubelet[7275]: E0622 04:31:35.888104 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: *v1.Node를 나열하지 못했습니다 . /10.169.150.123 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkubem1. * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:35 kubem1. * * * * kubelet[7275]: E0622 04:31:35.888256 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: *v1.Service: https:/ 를 나열하지 못했습니다
6월 22일 04:31:35 kubem1. * * * * kubelet[7275]: E0622 04:31:35.943992 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: v1.Pod 나열 실패 * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:36 kubem1. * * * * kubelet[7275]: E0622 04:31:36.889648 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: 나열하지 못했습니다. *v1.Node: Get https:/ /10.169.150.123 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkubem1. * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:36 kubem1. * * * * kubelet[7275]: E0622 04:31:36.891490 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: 나열하지 못했습니다. *v1.Service: https:/ /10.169.150.123 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:36 kubem1. * * * * kubelet[7275]: E0622 04:31:36.945185 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: v1.Pod 나열 실패 * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:37 kubem1. * * * * kubelet[7275]: E0622 04:31:37.890407 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: 나열에 실패했습니다. *v1.Node: Get https:/ /10.169.150.123 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkubem1. * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:37 kubem1. * * * * kubelet[7275]: E0622 04:31:37.891696 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: 나열하지 못했습니다. *v1.Service: Get https:/ /10.169.150.123 :6443/api/v1/services?limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:37 kubem1. * * * * kubelet[7275]: E0622 04:31:37.946023 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: v1.Pod 나열 실패 * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:38 kubem1. * * * * kubelet[7275]: E0622 04:31:38.121910 7275 eviction_manager.go:247] 퇴거 관리자: 요약 통계 가져오기 실패: 노드 정보 가져오기 실패: 노드 "kubem1. * * * * "을(를) 찾을 수 없음
6월 22일 04:31:38 kubem1. * * * * kubelet[7275]: E0622 04:31:38.892292 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: 나열에 실패했습니다. *v1.Node: Get https:/ /10.169.150.123 :6443/api/v1/nodes?fieldSelector=metadata.name%3Dkubem1. * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부
6월 22일 04:31:38 kubem1. * * * * kubelet[7275]: E0622 04:31:38.894157 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: 나열하지 못했습니다. *v1.Service: https:/를 가져옵니다.
6월 22일 04:31:38 kubem1. * * * * kubelet[7275]: E0622 04:31:38.947002 7275 reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: v1.Pod 나열 실패 * * * * &limit=500&resourceVersion=0: 다이얼 tcp 10.169.150.123:6443: getsockopt: 연결 거부

/etc/resolve.conf도 추가됨

[ root@kubem1 ~]# 고양이 /etc/resolv.conf

NetworkManager에 의해 생성됨

도메인 <>

검색 <>

네임서버 <>

네임서버 <>

네임서버 8.8.8.8
네임서버 8.8.4.4

이 파일에 항목을 추가해야 합니까?

인증서를 가져와야 하나요??

나는 프록시 환경에 있습니다

또한 아래를 시도했습니다.

kubeadm 재설정
systemctl 데몬 다시 로드
systemctl docker.service 다시 시작
systemctl 중지 kubelet.service

아래 이미지는 도커를 통해 가져올 수 없습니다.

도커 풀 k8s.gcr.io/kube-apiserver-amd64:v1.10.3
도커 풀 k8s.gcr.io/kube-controller-manager-amd64:v1.10.3
도커 풀 k8s.gcr.io/kube-scheduler-amd64:v1.10.3
도커 풀 k8s.gcr.io/etcd-amd64:3.1.12