Kubeadm: 비행 전 검사 실행이 중단됨

v10 매개변수로.

[ root@vm03 etcd]# kubeadm은 vm10.andrefagundes에 가입합니다. 조직 : 6443 --token 07nh7g.v8p5fcs61fn3o2h4 운세 토큰-CA-CERT-해시 SHA256 : 039a5f9229dafe39d4a51af6899c20adff1de5dda23f780ac9b896e95f95623a --experimental 제어 플레인 --certificate 키 cf3c8ca4f74751bfe7fc9d3e00e03a37619d36a6d6fb79fb5ba3645d74dd7bf4의 -v10
I0401 00:34:08.531961 16893 join.go:367] [프리플라이트] NodeName이 비어 있음을 발견했습니다. OS 호스트 이름을 NodeName으로 사용
I0401 00:34:08.532014 16893 join.go:371] [프리플라이트] 광고 주소가 비어 있음을 발견했습니다. 기본 인터페이스의 IP 주소를 광고 주소로 사용
I0401 00:34:08.532048 16893 initconfiguration.go:105] 감지 및 CRI 소켓 사용: /var/run/dockershim.sock
I0401 00:34:08.532179 16893 interface.go:384] IPv4 주소로 기본 경로를 찾고 있습니다.
I0401 00:34:08.532187 16893 interface.go:389] 기본 경로 전송 인터페이스 "eth0"
I0401 00:34:08.532324 16893 interface.go:196] 인터페이스 eth0이 작동 중입니다.
I0401 00:34:08.532380 16893 interface.go:244] 인터페이스 "eth0"에는 4개의 주소가 있습니다. 64 fe80::4381:b4a5:5836:a0e1/64].
I0401 00:34:08.532399 16893 interface.go:211] 주소 192.168.122.103/24를 확인 중입니다.
I0401 00:34:08.532407 16893 interface.go:218] IP 발견 192.168.122.103
I0401 00:34:08.532415 16893 interface.go:250] 인터페이스 "eth0"에 대해 유효한 IPv4 주소 192.168.122.103을 찾았습니다.
I0401 00:34:08.532421 16893 interface.go:395] 활성 IP 192.168.122.103을 찾았습니다.
[실행 전] 실행 전 검사 실행
I0401 00:34:08.532495 16893 preflight.go:90] [preflight] 일반 검사 실행 중
I0401 00:34:08.532539 16893 checks.go:254] /etc/kubernetes/manifests 디렉토리의 존재 여부와 비어 있는지 확인 중
I0401 00:34:08.532570 16893 checks.go:292] /etc/kubernetes/kubelet.conf 파일의 존재 확인
I0401 00:34:08.532579 16893 checks.go:292] /etc/kubernetes/bootstrap-kubelet.conf 파일의 존재 확인
I0401 00:34:08.532586 16893 checks.go:105] 컨테이너 런타임 유효성 검사
I0401 00:34:08.580885 16893 checks.go:131] 서비스가 활성화되고 활성 상태인지 확인 중
I0401 00:34:08.638659 16893 checks.go:341] /proc/sys/net/bridge/bridge-nf-call-iptables 파일의 내용 확인 중
I0401 00:34:08.638724 16893 checks.go:341] /proc/sys/net/ipv4/ip_forward 파일의 내용을 확인 중입니다.
I0401 00:34:08.638755 16893 checks.go:653] 스왑이 활성화되었는지 여부를 확인 중입니다.
I0401 00:34:08.638788 16893 checks.go:382] 실행 가능한 IP가 있는지 확인 중
I0401 00:34:08.638809 16893 checks.go:382] 실행 가능한 iptables의 존재 확인
I0401 00:34:08.638824 16893 checks.go:382] 실행 가능한 마운트가 있는지 확인 중
I0401 00:34:08.638837 16893 checks.go:382] 실행 가능한 nsenter의 존재 확인
I0401 00:34:08.638849 16893 checks.go:382] 실행 가능한 ebtables의 존재 확인
I0401 00:34:08.638860 16893 checks.go:382] 실행 가능한 ethtool의 존재 확인
I0401 00:34:08.638871 16893 checks.go:382] 실행 가능한 socat의 존재 확인
I0401 00:34:08.638883 16893 checks.go:382] 실행 가능한 tc가 있는지 확인 중
I0401 00:34:08.638894 16893 checks.go:382] 실행 가능한 터치의 존재 확인
I0401 00:34:08.638914 16893 checks.go:524] 모든 검사 실행 중
I0401 00:34:08.664826 16893 checks.go:412] net.LookupHost를 사용하여 주어진 노드 이름에 연결할 수 있는지 확인
I0401 00:34:08.665583 16893 checks.go:622] kubelet 버전 확인 중
I0401 00:34:08.709573 16893 checks.go:131] 서비스가 활성화되고 활성 상태인지 확인 중
I0401 00:34:08.716270 16893 checks.go:209] 포트 10250의 가용성 확인
I0401 00:34:08.716418 16893 checks.go:439] 연결 유형이 프록시를 통한 것인지 직접 확인 중인지 확인 중
I0401 00:34:08.716444 16893 join.go:427] [프리플라이트] 클러스터 정보 검색 중
I0401 00:34:08.716498 16893 token.go:200] [discovery] API 서버 " vm10.andrefagundes.org:6443 "에 연결하려고 합니다.
I0401 00:34:08.716961 16893 token.go:75] [discovery] " https://vm10.andrefagundes.org :6443"에서 정보를 요청하는 클러스터 정보 검색 클라이언트를 생성했습니다.
I0401 00:34:08.717031 16893 round_trippers.go:419] curl -k -v -XGET -H "수락: application/json, / " -H "사용자 에이전트: kubeadm/v1.14.0(linux/amd64) kubernetes/ 641856d" ' https://vm10.andrefagundes.org :6443/api/v1/namespaces/kube-public/configmaps/cluster-info'
I0401 00:34:08.722405 16893 round_trippers.go:438] GET https://vm10.andrefagundes.org :6443/api/v1/namespaces/kube-public/configmaps/cluster-info 403 5밀리초 안에 금지됨
I0401 00:34:08.722423 16893 round_trippers.go:444] 응답 헤더:
I0401 00:34:08.722432 16893 round_trippers.go:447] Content-Type: application/json
I0401 00:34:08.722441 16893 round_trippers.go:447] X-Content-Type-Options: nosniff
I0401 00:34:08.722450 16893 round_trippers.go:447] 콘텐츠 길이: 321
I0401 00:34:08.722458 16893 round_trippers.go:447] 날짜: 2019년 4월 1일 월요일 03:34:08 GMT
I0401 00:34:08.722497 16893 request.go:942] 응답 본문: {"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message ":"configmaps \"cluster-info\"는 금지됨: \" system:anonymous\ " 사용자는 \"kube-public\"" 네임스페이스의 API 그룹 \"\"에서 리소스 \"configmaps\"를 가져올 수 없습니다." 이유":"금지","세부 정보":{"이름":"클러스터 정보","종류":"configmaps"},"코드":403}
I0401 00:34:08.722937 16893 token.go:83] [discovery] 클러스터 정보를 요청하지 못했습니다. 다시 시도합니다: [configmaps "cluster-info"는 금지됨: 사용자 " system:anonymous "는 API에서 "configmaps" 리소스를 가져올 수 없습니다. "kube-public" 네임스페이스의 그룹 ""]

또 다른 정보 ... vm10.andrefagundes.org는 내 제어 평면 앞의 Haproxy입니다.

나에게 네트워킹 문제처럼 보입니다.
이 결합 노드가 LB의 포트 6443에 연결되어 있고 vm10.andrefagundes.org를 해결할 수 있다고 확신하십니까?

예, 제어 평면을 가리키도록 vm10도 변경했습니다. TCDUMP로 모니터링하는 컨트롤 플레인의 트래픽을 보았습니다.

kubelet 로그에 미해결 오류가 있습니까?

로그에 몇 가지 오류가 있습니다. 또한 클러스터를 몇 번 다시 설치하려고 시도했지만 매번 다른 오류가 발생했습니다. 나는 포기하고 있다. 사건을 종결할 수 있습니다. 감사 해요!!

단일 제어 평면 노드 + 일부 작업자 노드를 만드는 것이 작동합니까 아니면 추가 제어 평면 노드를 결합할 때만 문제가 발생합니까?

사용자 " system:anonymous "는 네임스페이스 "kube-public"","reason":"Forbidden","details":{"name":"cluster-info"의 API 그룹 ""에서 리소스 "configmaps"를 가져올 수 없습니다. "종류":"configmaps"},"코드":403

kubeadm init가 클러스터 정보를 제대로 생성/구성하지 않은 것 같습니다.
kubeadm 초기화 로그를 공유할 수 있습니까?

'kubeadm join ...' 명령을 실행한 후에도 동일한 오류가 발생합니다. 실행 전 검사가 중단되었습니다. 처리할 생각이 없습니다.

나는 같은 문제가 있었다. 마스터를 재부팅해야 했고 그 후 노드에서 'kubeadm join ...' 명령을 다시 실행하면 효과적이었습니다.

kubeadm v1.15 와 동일한 문제가 발생했습니다. 재부팅 마스터가 작동하지 않습니다.

kubeadm v1.15 와 동일한 문제가 발생했습니다. 재부팅 마스터가 작동하지 않습니다.

kubelet 및 kubeadm v1.13.1로 대체하여 이 문제를 해결했습니다.

진행 상황에 대한 자세한 내용을 보려면 kubeadm init/join 를 --v=2 $와 같이 호출해야 합니다.

동일한 문제에 부딪쳤지만 문제는 중단 마스터 노드가 API 서비스 VIP를 통해 클러스터에 가입하지 못하도록 잘못 구성된 keepalive 및 haproxy 데몬이 있는 네트워크 연결로 추적되었습니다.

--v=2를 사용하여 kubeadm init/join을 실행하는 것이 문제를 해결하는 방법임을 지적할 가치가 있습니다.

진행 상황에 대한 자세한 내용을 보려면 kubeadm init/join 를 --v=2 $와 같이 호출해야 합니다.

kubeadm v1.15

kubeadm 조인 .. --v=2

I0802 11:47:31.027812 359 token.go:202] [discovery] API 서버 ""에 연결하지 못했습니다: 토큰 ID "r5uyqk"가 이 클러스터에 대해 유효하지 않거나 만료되었습니다. 제어 평면 노드에서 "kubeadm token create"를 사용하여 유효한 새 토큰을 만듭니다.

kubeadm 초기 단계 업로드 인증서 --upload-certs
kubeadm 토큰 생성

그런 다음 kubeadm 가입 성공

제 경우에는 마스터 노드에서 방화벽을 중지하여 노드에 성공적으로 합류할 수 있었습니다.

systemctl stop firewall

제 경우에는 마스터 노드에서 방화벽을 중지하여 노드에 성공적으로 합류할 수 있었습니다.

systemctl stop firewall

이것은 매력처럼 작동했습니다.
[ 루트 @localhost ~]# kubeadm 조인 192.168.8.128:6443 --token 38lhr8.kxi5uy8aoy71dj17 --discovery-token-ca-cert-hash sha256:a12c805b8d98f42a25648
[실행 전] 실행 전 검사 실행
[경고 IsDockerSystemdCheck]: "cgroupfs"를 Docker cgroup 드라이버로 감지했습니다. 권장 드라이버는 "systemd"입니다. https://kubernetes.io/docs/setup/cri/ 의 가이드를 따르십시오.
[경고 SystemVerification]: 이 Docker 버전은 검증된 버전 목록에 없습니다: 19.03.1. 최신 검증 버전: 18.09
[프리플라이트] 클러스터에서 구성을 읽는 중...
[프리플라이트] 참고: 'kubectl -n kube-system get cm kubeadm-config -oyaml'을 사용하여 이 구성 파일을 볼 수 있습니다.
[kubelet-start] kube-system 네임스페이스의 "kubelet-config-1.14" ConfigMap에서 kubelet에 대한 구성 다운로드
[kubelet-start] "/var/lib/kubelet/config.yaml" 파일에 kubelet 구성 쓰기
[kubelet-start] "/var/lib/kubelet/kubeadm-flags.env" 파일에 플래그가 있는 kubelet 환경 파일 쓰기
[kubelet-start] kubelet 서비스 활성화
[kubelet-start] kubelet이 TLS 부트스트랩을 수행하기를 기다리는 중...

이 노드는 클러스터에 합류했습니다:

• 인증서 서명 요청이 apiserver로 전송되었고 응답이 수신되었습니다.
• Kubelet은 새로운 보안 연결 세부 정보를 받았습니다.

제어 평면에서 'kubectl get nodes'를 실행하여 이 노드가 클러스터에 참여하는지 확인합니다.

OP의 로그를 다시 보면 이것은 실행 전의 "중단"이 아니라 클러스터 정보 구성 맵에 액세스할 수 없습니다. "초기화"의 "부스트랩 토큰" 단계에서 발생할 수 있는 유일한 방법입니다. 건너뜁니다.

이후 보고서를 보면 버그가 아닌 "지원" 항목에 해당하는 네트워킹 및 만료된 토큰 문제가 있습니다.

/선별 분류 지원
질문이 있는 경우 k8s slack에서 stackoverflow, reddit 또는 #kubeadm을 사용해 보세요.

실제 버그를 찾으면 새 문제를 열어주세요.

제 경우에는 마스터 노드에서 방화벽을 중지하여 노드에 성공적으로 합류할 수 있었습니다.

systemctl stop firewall

systemctl 방화벽 중지

마스터 노드에 연결할 트래픽이 허용되지 않았습니다.

sg에 규칙을 추가하면 내 문제가 해결되었습니다.

'kubeadm join ...' 명령을 실행한 후에도 동일한 오류가 발생합니다. 실행 전 검사가 중단되었습니다. 처리할 생각이 없습니다.

해결책을 찾으셨습니까?

마스터 노드에 연결할 트래픽이 허용되지 않았습니다.

sg에 규칙을 추가하면 내 문제가 해결되었습니다.

어떤 인바운드 포트를 허용 했습니까?