Kubeadm: Инициализация Kubeadm блокируется со словами «Это может занять минуту или больше, если необходимо извлечь образы плоскости управления».

Созданный на 31 янв. 2018 · 67Комментарии · Источник: kubernetes/kubeadm

Версии

версия kubeadm (используйте kubeadm version ):

Окружающая среда :

Версия Kubernetes (используйте kubectl version ): v1.9.2
Облачный провайдер или аппаратная конфигурация : Virtual Box
ОС (например, из /etc/os-release): Ubuntu 16.04.0 LTS (Xeniak Xerus) amd64
Ядро (например, uname -a ): linux 4.4.0-62-generic
Другое : версия kubeadm: v1.9.2: amd64, версия kubelet: v1.9.2 amd64, версия kubernetes-cni: 0.6.0-00 amd64, версия докера

Что случилось?

Когда я пытаюсь запустить kubeadm init, он зависает с
xx@xx :~$ sudo kubeadm init --kubernetes-version=v1.9.2

[init] Использование версии Kubernetes: v1.9.2
[init] Использование режимов авторизации: [Node RBAC]
[preflight] Запуск проверки перед полетом.
[ПРЕДУПРЕЖДЕНИЕ FileExisting-crictl]: crictl не найден в системном пути
[preflight] Запуск службы kubelet
[сертификаты] Сгенерированный сертификат ЦС и ключ.
[сертификаты] Сгенерированный сертификат и ключ apiserver.
[сертификаты] apiserver обслуживающий сертификат подписан для DNS-имен [kickseed kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] и IP-адресов [10.96.0.1 172.17.41.15]
[сертификаты] Создан сертификат и ключ apiserver-kubelet-client.
[сертификаты] Создан ключ sa и открытый ключ.
[сертификаты] Сгенерированный сертификат и ключ front-proxy-ca.
[сертификаты] Создан сертификат и ключ переднего прокси-клиента.
[сертификаты] Действительные сертификаты и ключи теперь существуют в «/etc/kubernetes/pki»
[kubeconfig] Записал файл KubeConfig на диск: «admin.conf»
[kubeconfig] Записал файл KubeConfig на диск: «kubelet.conf»
[kubeconfig] Записал файл KubeConfig на диск: «controller-manager.conf»
[kubeconfig] Записал файл KubeConfig на диск: «scheduler.conf»
[controlplane] Записал манифест статического модуля для компонента kube-apiserver в «/etc/kubernetes/manifests/kube-apiserver.yaml»
[controlplane] Записал манифест Static Pod для компонента kube-controller-manager в «/etc/kubernetes/manifests/kube-controller-manager.yaml»
[controlplane] Записал манифест статического модуля для компонента kube-scheduler в «/etc/kubernetes/manifests/kube-scheduler.yaml»
[etcd] Записал манифест статического модуля для локального экземпляра etcd в «/etc/kubernetes/manifests/etcd.yaml»
[init] Ожидание, пока kubelet загрузит плоскость управления как статические модули из каталога «/etc/kubernetes/manifests».
[init] Это может занять минуту или больше, если необходимо извлечь образы плоскости управления.

Затем я проверяю журнал kubelet:
xx@xx :~$ sudo journalctl -xeu kubelet:
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,280984 28516 remote_runtime.go: 92] RunPodSandbox от службы исполнения не удалось: Ошибка RPC: код = Неизвестная DESC = не удалось вытягивать изображение «gcr.io/google_containers/ pause-amd64:3.0": Ответ об ошибке от демона: Получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,281317 28516 kuberuntime_sandbox.go: 54] CreatePodSandbox для стручка "Kube-планировщик-kickseed_kube-система (69c12074e336b0dbbd0a1666ce05226a)" не удалось: ошибка RPC: код = Unknown убывание = не удалось получить изображение "gcr.io/google_containers/pause-amd64:3.0": ответ об ошибке от демона: получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,281580 28516 kuberuntime_manager.go: 647] createPodSandbox для стручка "Kube-планировщик-kickseed_kube-система (69c12074e336b0dbbd0a1666ce05226a)" не удалось: ошибка RPC: код = Неизвестный DESC = не удалось получить изображение "gcr.io/google_containers/pause-amd64:3.0": ответ об ошибке от демона: получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,281875 28516 pod_workers.go: 186] Ошибка синхронизации стручка 69c12074e336b0dbbd0a1666ce05226a ( "Kube-планировщик-kickseed_kube-система (69c12074e336b0dbbd0a1666ce05226a)"), пропустив: не удалось " CreatePodsandbox "для" Kube-kubeleber-kickseed_kube-System (69C12074E336B0DBBD0A1666CE05226A) "С CreatePodsandboxeROR:" CreatePodsandbox for pod \ "Kube-qube-kickseed_kube-System (69C12074E336B0DBBD0A1666CE05226A) \" Ошибка: RPC Ошибка: Code = Unknown Desc = Не удалось потянуть изображение \ "gcr.io/google_containers/pause-amd64:3.0\": ответ об ошибке от демона: получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода"
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,380290 28516 event.go: 209] Невозможно событие записи: «Patch https://172.17.41.15 : 6443 / API / v1 / пространств имен / по умолчанию /events/kickseed.150ecf46afb098b7: наберите tcp 172.17.41.15:6443: getsockopt: соединение отклонено (может повторить попытку после сна)
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,933783 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось список * v1. Pod: получить https://172.17.41.15:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0 : набрать tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,934707 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось список * v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:03 kickseed kubelet [28516]: E0131 14: 45: 03,935921 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось список * v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,281024 28516 remote_runtime.go: 92] RunPodSandbox от службы исполнения не удалось: Ошибка RPC: код = Неизвестная DESC = не удалось вытягивать изображение «gcr.io/google_containers/ pause-amd64:3.0": Ответ об ошибке от демона: Получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,281352 28516 kuberuntime_sandbox.go: 54] CreatePodSandbox для стручка "Kube-контроллер-менеджер-kickseed_kube-система (6546d6faf0b50c9fc6712ce25ee9b6cb)" не удалось: ошибка RPC: код = Неизвестное описание = ошибка извлечения изображения "gcr.io/google_containers/pause-amd64:3.0": ответ об ошибке от демона: получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,281634 28516 kuberuntime_manager.go: 647] createPodSandbox для стручка "Kube-контроллер-менеджер-kickseed_kube-система (6546d6faf0b50c9fc6712ce25ee9b6cb)" не удалось: ошибка RPC: код = Неизвестное описание = ошибка извлечения изображения "gcr.io/google_containers/pause-amd64:3.0": ответ об ошибке от демона: получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: тайм-аут ввода/вывода
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,281938 28516 pod_workers.go: 186] Ошибка синхронизации стручка 6546d6faf0b50c9fc6712ce25ee9b6cb ( "Kube-контроллер-менеджер-kickseed_kube-система (6546d6faf0b50c9fc6712ce25ee9b6cb)"), пропустив: не удалось К "CreateePodsandbox" для "Kube-Controller-Manager-Kickseed_kube-System (6546d6faf0b50c9fc6712Caf0b50c9fc6712ce250b50c9fc6712ce255ee9b6cber)" С CreatePodsAndbox for Pod \ "Kube-Controller-Manager-kickseed_kube-System (6546D6Faf0b50c9fc6712Caf0b50c9fc6712ce25ee9b6cb) \" Ошибка: RPC Ошибка: код = неизвестен desc = не удалось получить изображение \"gcr.io/google_containers/pause-amd64:3.0\": Ответ об ошибке от демона: Получить https://gcr.io/v1/_ping : набрать tcp 172.217.6.127:443: i/o тайм-аут"
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,934694 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось список * v1. Pod: получить https://172.17.41.15:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0 : набрать tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,935613 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось список * v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:04 kickseed kubelet [28516]: E0131 14: 45: 04,936669 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось список * v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано
31 января 14:45:05 kickseed kubelet [28516]: W0131 14: 45: 05,073692 28516 cni.go: 171] Не удалось обновить CNI конфигурации: сети не найдены в /etc/cni/net.d
31 января 14:45:05 kickseed kubelet [28516]: E0131 14: 45: 05,074106 28516 kubelet.go: 2105] Контейнер выполнения сеть не готова: NetworkReady = ложная причина: NetworkPluginNotReady сообщение: Докер : сетевой модуль не готов: CNI конфигурации неинициализированный
31 января 14:45:05 kickseed kubelet [28516]: E0131 14: 45: 05,935680 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось список * v1. Pod: получить https://172.17.41.15:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0 : набрать tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:05 kickseed kubelet [28516]: E0131 14: 45: 05,937423 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось список * v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:45:05 kickseed kubelet [28516]: E0131 14: 45: 05,937963 28516 reflector.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось список * v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано
31 января 14:45:05 kickseed kubelet [28516]: I0131 14: 45: 05,974034 28516 kubelet_node_status.go: 273] Установка аннотацию узла для того, чтобы контроллер громкости прикрепить / открепление
31 января 14:45:06 kickseed kubelet [28516]: I0131 14: 45: 06,802447 28516 kubelet_node_status.go: 273] Установка аннотацию узла для того, чтобы контроллер громкости прикрепить / открепление
31 января 14:45:06 kickseed kubelet [28516]: I0131 14: 45: 06,804242 28516 kubelet_node_status.go: 82] Попытка зарегистрировать узел kickseed
31 января 14:45:06 kickseed kubelet [28516]: E0131 14: 45: 06,804778 28516 kubelet_node_status.go: 106] Не удалось зарегистрировать узла "kickseed" с сервером API: Сообщение https://172.17.41.15 : 6443 / API / v1/nodes: наберите tcp 172.17.41.15:6443:getockopt:con

xx@xx :~$ sudo systemctl статус kubelet:

kubelet.service — kubelet: агент узла Kubernetes
Загружено: загружено (/lib/systemd/system/kubelet.service; включено; предустановка поставщика: включена)
Вставка: /etc/systemd/system/kubelet.service.d
└─11-kubeadm.conf, 10-kubeadm1.conf, 90-local-extras.conf
Активно: активно (работает) со среды 31 января 2018 г., 13:53:46 CST; 49 минут назад
Документы: http://kubernetes.io/docs/
Основной PID: 28516 (кубелет)
Заданий: 13
Память: 37,8 Мб
ЦП: 22,767 с
Группа CG: /system.slice/kubelet.service
└─28516 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --pod-manifest-path=/etc/kubernetes/ манифесты --allow-privated=true --cgroup-driver=cgroupfs --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni /bin --cluster-dns=10.96.0.10 --cluster-domain=cluster.local --authorization-mode=Webhook --client-ca-file=/etc/kubernetes/pki/ca.crt --cadvisor-port =0 --rotate-certificates=true --cert-dir=/var/lib/kubelet/pki --fail-swap-on=false

31 января 14:43:17 kickseed kubelet[28516]: E0131 14:43:17.862590 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось перечислить *v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:43:17 kickseed kubelet[28516]: E0131 14:43:17.863474 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось добавить *v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано
31 января 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.621818 28516 event.go:209] Невозможно записать событие: «Исправление https://172.17.41.15:6443/api/v1/namespaces/default /events/kickseed.150ecf46afb098b7: наберите tcp 172.17.41.15:6443: getsockopt: соединение отклонено (может повторить попытку после сна)
31 января , 14:43:18, kubelet[28516]: E0131, 14:43:18.862440, 28516, Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: не удалось получить список *v1. Pod: получить https://172.17.41.15:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0 : набрать tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.863379 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось перечислить *v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:43:18 kickseed kubelet[28516]: E0131 14:43:18.864424 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось добавить *v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано
31 января 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.255460 28516 eviction_manager.go:238] диспетчер выселения: непредвиденная ошибка: не удалось получить информацию об узле: узел «kickseed» не найден
31 января , 14:43:19, kubelet[28516]: E0131, 14:43:19.863266, 28516, Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: не удалось получить список *v1. Pod: получить https://172.17.41.15:6443/api/v1/pods?fieldSelector=spec.nodeName%3Dkickseed&limit=500&resourceVersion=0 : набрать tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.864238 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:474: Не удалось перечислить *v1.Node: Получите https://172.17.41.15:6443/api/v1/nodes?fieldSelector=metadata.name%3Dkickseed&limit=500&resourceVersion=0 : наберите tcp 172.17.41.15:6443:getockopt: соединение отклонено
31 января 14:43:19 kickseed kubelet[28516]: E0131 14:43:19.865262 28516 Reflector.go:205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:465: Не удалось перечислить *v1.Service: Получите https://172.17.41.15:6443/api/v1/services?limit=500&resourceVersion=0 : наберите TCP 172.17.41.15:6443:getockopt: в соединении отказано

Некоторые образы докеров перечислены ниже:
gcr.io/google_containers/kube-apiserver-amd64:v1.9.2
gcr.io/google_containers/kube-controller-manager-amd64:v1.9.2
gcr.io/google_containers/kube-scheduler-amd64:v1.9.2
gcr.io/google_containers/kube-proxy-amd64:v1.9.2
gcr.io/google_containers/etcd-amd64:3.2.14
gcr.io/google_containers/pause-amd64:3.1
gcr.io/google_containers/kube-dnsmasq-amd64:1.4.1
gcr.io/google_containers/kubernetes-dashboard-amd64:v1.8.2
gcr.io/google_containers/kubedns-amd64:1.9
gcr.io/google_containers/kube-discovery-amd64:1.0
gcr.io/google_containers/exechealthz-amd64:v1.2.0
gcr.io/google_containers/k8s-dns-kube-dns-amd64:1.14.8
gcr.io/google_containers/k8s-dns-dnsmasq-nanny-amd64:1.14.8
gcr.io/google_containers/k8s-dns-sidecar-amd64:1.14.8
gcr.io/google_containers/dnsmasq-metrics-amd64:1.0.1

Что вы ожидали?

kubeadm init должен завершиться

Как это воспроизвести (минимально и точно)?

виртуальный бокс с Ubuntu 16.04 и kubeadm 1.9.2

Что-нибудь еще нам нужно знать?

areUX lifecyclactive prioritimportant-soon

Источник

PhoenixAD

👍12

Самый полезный комментарий

https://github.com/kubernetes/kubernetes/issues/59680#issuecomment -364646304
отключить selinux мне помогло.

avielb 19 мар. 2018

😕7 👍7 👎6 🎉2 ❤1

Все 67 Комментарий

Эти образы докеров, перечисленные выше, были извлечены из моего частного репозитория перед запуском «kubeadm init --kubernetes-version v1.9.2». Я не могу получить прямой доступ к gcr.io/google-containers из-за GFW.

PhoenixAD 31 янв. 2018

Здесь та же проблема!

hedinasr 6 февр. 2018

У меня такая же проблема на CentOS 7

6l20 7 февр. 2018

fluidjeel 8 февр. 2018

newhomie 9 февр. 2018

tmilleville 9 февр. 2018

+1
сервера на vultr, застрял и здесь.

WindGreen 9 февр. 2018

grantcurell 9 февр. 2018

humorcode 12 февр. 2018

CFAndy 12 февр. 2018

Как обходной путь

1/ создайте реестр докеров на своем мастере kubernetes

2/объявите свой мастер kubernetes как gcr.io в /etc/hosts

3/ На компьютере с доступом в Интернет войдите в облако Ggogle и загрузите изображение.
пример:
gloud docker -- потяните gcrio/goole_container/pause-amd64:3.0
gloud docker -- сохранить -o /tmp/pause-amd.tar gcrio/goole_container/pause-amd64:3.0

4/ Загрузить изображения в реестр репозитория докеров
docker load -i /tmp/pause-amd64.tar
тег докера gcr.io/Google_containers/pause-amd64:3.0 yourdoke rregistry:pause-amd64 :3.0
docker push yourdoke rregistry:pause-amd64 :3.0

5/ В вашем мастере kebernetes в качестве реестра докеров gcr.io

Получите изображения из репозитория реестра докеров
docker pull yourdocke rregistry:pause-amd64 :3.0

Перетащите в локальный реестр докеров gcr.io
тег docker yourdocke rregistry:pause-amd64 :3.0 gcr.io/google_containers/pause-amd64:3.0
docker push gcr.io/google_containers/pause-amd64:3.0

Загрузите все образы, используемые kubeadm init. Смотрите в /etc/kubernetes/manifest/*.yaml

tmilleville 12 февр. 2018

👎31 👍1

Это исправлено в 1.9.3?

alexpekurovsky 16 февр. 2018

edwardofclt 23 февр. 2018

+1 - Это проявляется только во второй раз, когда я запускаю kubeadm init. Первый раз нормально заводится. Я не уверен, есть ли какое-то состояние при первом запуске, которое не очищается должным образом с помощью сброса kubeadm.

patrickstjohn 25 февр. 2018

emisty 27 февр. 2018

Centos 7 и я установил прокси в /etc/env, а затем показал как 👎

emisty 27 февр. 2018

😕1

simis2626 28 февр. 2018

Та же проблема здесь. Centos7, последняя установка kube (1.9.3), пробовал документацию hightower и всю документацию kubernetes. etcd и фланель рабочие и живые и вверх. Использовал переменную env NO_PROXY для ввода моих внешних IP-адресов, чтобы он не пытался установить прокси-соединение с другими соединениями, но никогда не доходил до этого момента и получал те же ошибки, что и все остальные выше.

multipathmaster 28 февр. 2018

robertBrem 2 мар. 2018

У меня такая же проблема, centos 7, kubelet v1.9.3;
Но, кажется, изображения успешно загружены,
docker images
gcr.io/google_containers/kube-apiserver-amd64 v1.9.3 360d55f91cbf 4 weeks ago 210.5 MB gcr.io/google_containers/kube-controller-manager-amd64 v1.9.3 83dbda6ee810 4 weeks ago 137.8 MB gcr.io/google_containers/kube-scheduler-amd64 v1.9.3 d3534b539b76 4 weeks ago 62.71 MB gcr.io/google_containers/etcd-amd64 3.1.11 59d36f27cceb 3 months ago 193.9 MB gcr.io/google_containers/pause-amd64 3.0 99e59f495ffa 22 months ago 746.9 kB

wangsenyuan 8 мар. 2018

❤1

У меня есть виртуальная машина CentOS 7, и я уже настроил ее с нашим прокси-сервером.
Я получил то же сообщение об истечении времени ожидания, но образы докеров были загружены и запущены.

mvsouza 8 мар. 2018

Я тоже испытываю ту же проблему. См. выходные данные и журналы для получения дополнительной информации.

```[ root@kube01 ~]# инициализация kubeadm
[init] Использование версии Kubernetes: v1.9.3
[init] Использование режимов авторизации: [Node RBAC]
[preflight] Запуск проверки перед полетом.
[ВНИМАНИЕ! Имя хоста]: имя хоста «kube01» недоступно.
[ПРЕДУПРЕЖДЕНИЕ Имя хоста]: имя хоста «kube01» поиск kube01 на 10.10.0.81:53: неправильное поведение сервера
[ПРЕДУПРЕЖДЕНИЕ FileExisting-crictl]: crictl не найден в системном пути
[preflight] Запуск службы kubelet
[сертификаты] Сгенерированный сертификат ЦС и ключ.
[сертификаты] Сгенерированный сертификат и ключ apiserver.
[сертификаты] apiserver, обслуживающий сертификат, подписан для DNS-имен [kube01 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] и IP-адресов [10.96.0.1 10.25.123.11]
[сертификаты] Создан сертификат и ключ apiserver-kubelet-client.
[сертификаты] Создан ключ sa и открытый ключ.
[сертификаты] Сгенерированный сертификат и ключ front-proxy-ca.
[сертификаты] Создан сертификат и ключ переднего прокси-клиента.
[сертификаты] Действительные сертификаты и ключи теперь существуют в «/etc/kubernetes/pki»
[kubeconfig] Записал файл KubeConfig на диск: «admin.conf»
[kubeconfig] Записал файл KubeConfig на диск: «kubelet.conf»
[kubeconfig] Записал файл KubeConfig на диск: «controller-manager.conf»
[kubeconfig] Записал файл KubeConfig на диск: «scheduler.conf»
[controlplane] Записал манифест статического модуля для компонента kube-apiserver в «/etc/kubernetes/manifests/kube-apiserver.yaml»
[controlplane] Записал манифест Static Pod для компонента kube-controller-manager в «/etc/kubernetes/manifests/kube-controller-manager.yaml»
[controlplane] Записал манифест статического модуля для компонента kube-scheduler в «/etc/kubernetes/manifests/kube-scheduler.yaml»
[etcd] Записал манифест статического модуля для локального экземпляра etcd в «/etc/kubernetes/manifests/etcd.yaml»
[init] Ожидание, пока kubelet загрузит плоскость управления как статические модули из каталога «/etc/kubernetes/manifests».
[init] Это может занять минуту или больше, если необходимо извлечь образы плоскости управления.

In the meantime, while watching `docker ps` this is what I see:
***Note:*** Don't mind the length of time that the containers have been up — this is my third attempt and it's always the same.

```CONTAINER ID        IMAGE
              COMMAND                  CREATED              STATUS              PORTS               NAMES
c422b3fd67f9        gcr.io/google_containers/kube-apiserver-amd64<strong i="5">@sha256</strong>:a5382344aa373a90bc87d3baa4eda5402507e8df5b8bfbbad392c4fff715f0
43            "kube-apiserver --req"   About a minute ago   Up About a minute                       k8s_kube-apiserver_kube-apiserver-k
ube01_kube-system_3ff6faac27328cf290a026c08ae0ce75_1
4b30b98bcc24        gcr.io/google_containers/kube-controller-manager-amd64<strong i="6">@sha256</strong>:3ac295ae3e78af5c9f88164ae95097c2d7af03caddf067cb35599
769d0b7251e   "kube-controller-mana"   2 minutes ago        Up 2 minutes                            k8s_kube-controller-manager_kube-co
ntroller-manager-kube01_kube-system_d556d9b8ccdd523a5208b391ca206031_0
71c6505ed125        gcr.io/google_containers/kube-scheduler-amd64<strong i="7">@sha256</strong>:2c17e637c8e4f9202300bd5fc26bc98a7099f49559ca0a8921cf692ffd4a16
75            "kube-scheduler --add"   2 minutes ago        Up 2 minutes                            k8s_kube-scheduler_kube-scheduler-k
ube01_kube-system_6502dddc08d519eb6bbacb5131ad90d0_0
9d01e2de4686        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-controller-manager-kub
e01_kube-system_d556d9b8ccdd523a5208b391ca206031_0
7fdaabc7e2a7        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-apiserver-kube01_kube-
system_3ff6faac27328cf290a026c08ae0ce75_0
a5a2736e6cd0        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_kube-scheduler-kube01_kube-
system_6502dddc08d519eb6bbacb5131ad90d0_0
ea82cd3a27da        gcr.io/google_containers/pause-amd64:3.0
              "/pause"                 3 minutes ago        Up 2 minutes                            k8s_POD_etcd-kube01_kube-system_727
8f85057e8bf5cb81c9f96d3b25320_0

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/ kube-apiserver-amd64@sha256 :a5382344aa373a90bc87d3baa4eda5402507e8df5b8bfbbad392c4fff715f043

I0309 19:59:29.570990       1 server.go:121] Version: v1.9.3
I0309 19:59:29.756611       1 feature_gate.go:190] feature gates: map[Initializers:true]
I0309 19:59:29.756680       1 initialization.go:90] enabled Initializers feature as part of admission plugin setup
I0309 19:59:29.760396       1 master.go:225] Using reconciler: master-count
W0309 19:59:29.789648       1 genericapiserver.go:342] Skipping API batch/v2alpha1 because it has no resources.
W0309 19:59:29.796731       1 genericapiserver.go:342] Skipping API rbac.authorization.k8s.io/v1alpha1 because it has no resources.
W0309 19:59:29.797445       1 genericapiserver.go:342] Skipping API storage.k8s.io/v1alpha1 because it has no resources.
W0309 19:59:29.804841       1 genericapiserver.go:342] Skipping API admissionregistration.k8s.io/v1alpha1 because it has no resources.
[restful] 2018/03/09 19:59:29 log.go:33: [restful/swagger] listing is available at https://10.25.123.11:6443/swaggerapi
[restful] 2018/03/09 19:59:29 log.go:33: [restful/swagger] https://10.25.123.11:6443/swaggerui/ is mapped to folder /swagger-ui/
[restful] 2018/03/09 19:59:30 log.go:33: [restful/swagger] listing is available at https://10.25.123.11:6443/swaggerapi
[restful] 2018/03/09 19:59:30 log.go:33: [restful/swagger] https://10.25.123.11:6443/swaggerui/ is mapped to folder /swagger-ui/
I0309 19:59:32.393800       1 serve.go:89] Serving securely on [::]:6443
I0309 19:59:32.393854       1 apiservice_controller.go:112] Starting APIServiceRegistrationController
I0309 19:59:32.393866       1 cache.go:32] Waiting for caches to sync for APIServiceRegistrationController controller
I0309 19:59:32.393965       1 controller.go:84] Starting OpenAPI AggregationController
I0309 19:59:32.393998       1 crdregistration_controller.go:110] Starting crd-autoregister controller
I0309 19:59:32.394012       1 controller_utils.go:1019] Waiting for caches to sync for crd-autoregister controller
I0309 19:59:32.394034       1 customresource_discovery_controller.go:152] Starting DiscoveryController
I0309 19:59:32.394057       1 naming_controller.go:274] Starting NamingConditionController
I0309 19:59:32.393855       1 crd_finalizer.go:242] Starting CRDFinalizer
I0309 19:59:32.394786       1 available_controller.go:262] Starting AvailableConditionController
I0309 19:59:32.394815       1 cache.go:32] Waiting for caches to sync for AvailableConditionController controller
I0309 20:00:06.434318       1 trace.go:76] Trace[12318713]: "Create /api/v1/nodes" (started: 2018-03-09 19:59:32.431463052 +0000 UTC m=+2.986431803) (total time: 34.002792758s):
Trace[12318713]: [4.00201898s] [4.001725343s] About to store object in database
Trace[12318713]: [34.002792758s] [30.000773778s] END
E0309 20:00:32.406206       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.LimitRange: the server was unable to return a response in the time allotted, but may still be processing the request (get limitranges)
E0309 20:00:32.406339       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.Secret: the server was unable to return a response in the time allotted, but may still be processing the request (get secrets)
E0309 20:00:32.406342       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/kube-aggregator/pkg/client/informers/internalversion/factory.go:73: Failed to list *apiregistration.APIService: the server was unable to return a response in the time allotted, but may still be processing the request (get apiservices.apiregistration.k8s.io)
E0309 20:00:32.408094       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.Pod: the server was unable to return a response in the time allotted, but may still be processing the request (get pods)
E0309 20:00:32.415692       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.PersistentVolume: the server was unable to return a response in the time allotted, but may still be processing the request (get persistentvolumes)
E0309 20:00:32.415818       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/apiextensions-apiserver/pkg/client/informers/internalversion/factory.go:73: Failed to list *apiextensions.CustomResourceDefinition: the server was unable to return a response in the time allotted, but may still be processing the request (get customresourcedefinitions.apiextensions.k8s.io)
E0309 20:00:32.415862       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.ClusterRoleBinding: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterrolebindings.rbac.authorization.k8s.io)
E0309 20:00:32.415946       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Namespace: the server was unable to return a response in the time allotted, but may still be processing the request (get namespaces)
E0309 20:00:32.416029       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.ResourceQuota: the server was unable to return a response in the time allotted, but may still be processing the request (get resourcequotas)
E0309 20:00:32.416609       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.ClusterRole: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterroles.rbac.authorization.k8s.io)
E0309 20:00:32.416684       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.RoleBinding: the server was unable to return a response in the time allotted, but may still be processing the request (get rolebindings.rbac.authorization.k8s.io)
E0309 20:00:32.420305       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Endpoints: the server was unable to return a response in the time allotted, but may still be processing the request (get endpoints)
E0309 20:00:32.440196       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *storage.StorageClass: the server was unable to return a response in the time allotted, but may still be processing the request (get storageclasses.storage.k8s.io)
E0309 20:00:32.440403       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: the server was unable to return a response in the time allotted, but may still be processing the request (get services)
E0309 20:00:32.448018       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *core.ServiceAccount: the server was unable to return a response in the time allotted, but may still be processing the request (get serviceaccounts)
E0309 20:00:32.448376       1 reflector.go:205] k8s.io/kubernetes/pkg/client/informers/informers_generated/internalversion/factory.go:85: Failed to list *rbac.Role: the server was unable to return a response in the time allotted, but may still be processing the request (get roles.rbac.authorization.k8s.io)
E0309 20:00:33.395988       1 storage_rbac.go:175] unable to initialize clusterroles: the server was unable to return a response in the time allotted, but may still be processing the request (get clusterroles.rbac.authorization.k8s.io)
I0309 20:00:43.455564       1 trace.go:76] Trace[375160879]: "Create /api/v1/nodes" (started: 2018-03-09 20:00:13.454506587 +0000 UTC m=+44.009475397) (total time: 30.001008377s):
Trace[375160879]: [30.001008377s] [30.000778516s] END

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/ kube-controller-manager-amd64@sha256 : 3ac295ae3e78af5c9f88164ae95097c2d7af03caddf067cb35599769d0b7251e

I0309 19:51:35.248083       1 controllermanager.go:108] Version: v1.9.3
I0309 19:51:35.257251       1 leaderelection.go:174] attempting to acquire leader lease...
E0309 19:51:38.310839       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:41.766358       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:46.025824       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:49.622916       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:52.675648       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:55.697734       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:51:59.348765       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:01.508487       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:03.886473       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:06.120356       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:08.844772       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:12.083789       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:16.038882       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:18.555388       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:21.471034       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:24.236724       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:27.363968       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:30.045776       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:32.751626       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:36.383923       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:38.910958       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:41.400748       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:44.268909       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:47.640891       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:51.713420       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:54.419154       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:52:57.134430       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:00.942903       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:03.440586       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:07.518362       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:53:12.968927       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:16.228760       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:18.299005       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:20.681915       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:24.141874       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:28.484775       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:30.678092       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:34.107654       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:36.251647       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:39.914756       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:42.641017       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:45.058876       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:48.359511       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:51.667554       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:54.338101       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:53:57.357894       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:00.633504       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:03.244353       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:05.923510       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:09.817627       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:12.688349       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:16.803954       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:19.519269       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:23.668226       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:25.903217       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:30.248639       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:32.428029       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:34.962675       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:38.598370       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:41.179039       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:43.927574       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:54:48.190961       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:51.974141       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:55.898687       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:54:59.653210       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:02.094737       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:05.125275       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:09.280324       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:12.920886       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:17.272605       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:21.488182       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:23.708198       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:26.893696       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:31.121014       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:35.414628       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:38.252001       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:41.912479       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:45.621133       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:48.976244       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:52.537317       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:55.863737       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:55:59.682009       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:02.653432       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:04.968939       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:09.336478       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:13.488850       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:16.262967       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:56:22.685928       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:26.235497       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:28.442915       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:32.051827       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:35.547277       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:38.437120       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:41.007877       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:44.295081       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:46.746424       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:49.321870       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:52.831866       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:55.138333       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:56:57.815491       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:00.802112       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:03.848363       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:07.350593       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:10.672982       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:14.171660       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:17.923995       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:21.919624       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:23.923165       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:27.692006       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:30.654447       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:33.851703       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:57:37.302382       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:40.286552       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:42.358940       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:44.364982       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:46.372569       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:50.571683       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:53.988093       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:57:57.648006       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:01.607961       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:05.717138       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:08.819600       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:12.262314       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:14.327626       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:18.359683       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:20.961212       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:24.503457       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:27.099581       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:29.518623       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:32.943210       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:36.900236       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:40.567479       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:42.642410       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:45.938839       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:50.282483       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:54.086558       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:58:56.794469       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:00.604370       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:02.968978       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:05.825551       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:09.824458       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:12.383249       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:15.891164       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:19.088375       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:21.305063       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:23.366258       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:26.308481       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: Get https://10.25.123.11:6443/api/v1/namespaces/kube-system/endpoints/kube-controller-manager: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:59:32.440045       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:36.673744       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:40.049109       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:43.463730       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:46.454431       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:49.782639       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:52.964468       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 19:59:57.265527       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:01.181219       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:03.441468       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:07.324053       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:10.269835       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:12.584906       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:15.042928       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:18.820764       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:22.392476       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:24.630702       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:27.881904       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:30.123513       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:32.490088       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:34.675420       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:37.433904       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:39.819475       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"
E0309 20:00:42.152164       1 leaderelection.go:224] error retrieving resource lock kube-system/kube-controller-manager: endpoints "kube-controller-manager" is forbidden: User "system:kube-controller-manager" cannot get endpoints in the namespace "kube-system"

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/ kube-scheduler-amd64@sha256 : 2c17e637c8e4f9202300bd5fc26bc98a7099f49559ca0a8921cf692ffd4a1675

W0309 19:51:34.800737       1 server.go:159] WARNING: all flags than --config are deprecated. Please begin using a config file ASAP.
I0309 19:51:34.812848       1 server.go:551] Version: v1.9.3
I0309 19:51:34.817093       1 server.go:570] starting healthz server on 127.0.0.1:10251
E0309 19:51:34.818028       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: Get https://10.25.123.11:6443/apis/policy/v1beta1/poddisruptionbudgets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818279       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: Get https://10.25.123.11:6443/api/v1/pods?fieldSelector=spec.schedulerName%3Ddefault-scheduler%2Cstatus.phase%21%3DFailed%2Cstatus.phase%21%3DSucceeded&limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818346       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: Get https://10.25.123.11:6443/api/v1/persistentvolumeclaims?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.818408       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: Get https://10.25.123.11:6443/apis/apps/v1beta1/statefulsets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.819028       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: Get https://10.25.123.11:6443/api/v1/services?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.819386       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: Get https://10.25.123.11:6443/api/v1/nodes?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.820217       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: Get https://10.25.123.11:6443/apis/extensions/v1beta1/replicasets?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.820659       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: Get https://10.25.123.11:6443/api/v1/persistentvolumes?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:34.821783       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: Get https://10.25.123.11:6443/api/v1/replicationcontrollers?limit=500&resourceVersion=0: dial tcp 10.25.123.11:6443: getsockopt: connection refused
E0309 19:51:38.320455       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:38.329101       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:38.329733       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:38.332670       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:38.332707       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:38.332734       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:38.334248       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:38.334568       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:38.334594       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:39.322884       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:39.331726       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:39.333093       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:39.335939       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:39.335988       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:39.336229       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:39.336514       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:39.337881       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:39.338784       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:40.323869       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:40.332910       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:40.334120       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:40.337188       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:40.338218       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:40.339267       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:40.340635       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:40.342035       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:40.343070       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:41.325987       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:41.334782       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:41.336320       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:41.338996       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:41.339923       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:41.340904       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:41.342304       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:41.343675       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:41.344622       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:42.328038       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:42.336744       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:42.338239       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:42.340719       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:42.341878       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:42.342835       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:42.344100       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:42.345231       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:42.346405       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:43.330230       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:43.338706       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:43.339941       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:43.342476       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:43.343584       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:43.344615       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:43.345792       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:43.346976       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:43.348050       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:44.332307       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:44.340659       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:44.341607       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:44.344223       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:44.345380       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:44.346247       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope
E0309 19:51:44.347536       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolume: persistentvolumes is forbidden: User "system:kube-scheduler" cannot list persistentvolumes at the cluster scope
E0309 19:51:44.348664       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.StatefulSet: statefulsets.apps is forbidden: User "system:kube-scheduler" cannot list statefulsets.apps at the cluster scope
E0309 19:51:44.349648       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Service: services is forbidden: User "system:kube-scheduler" cannot list services at the cluster scope
E0309 19:51:45.334228       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:kube-scheduler" cannot list poddisruptionbudgets.policy at the cluster scope
E0309 19:51:45.342638       1 reflector.go:205] k8s.io/kubernetes/plugin/cmd/kube-scheduler/app/server.go:590: Failed to list *v1.Pod: pods is forbidden: User "system:kube-scheduler" cannot list pods at the cluster scope
E0309 19:51:45.343460       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.ReplicationController: replicationcontrollers is forbidden: User "system:kube-scheduler" cannot list replicationcontrollers at the cluster scope
E0309 19:51:45.345969       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1beta1.ReplicaSet: replicasets.extensions is forbidden: User "system:kube-scheduler" cannot list replicasets.extensions at the cluster scope
E0309 19:51:45.347140       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.Node: nodes is forbidden: User "system:kube-scheduler" cannot list nodes at the cluster scope
E0309 19:51:45.348176       1 reflector.go:205] k8s.io/kubernetes/vendor/k8s.io/client-go/informers/factory.go:86: Failed to list *v1.PersistentVolumeClaim: persistentvolumeclaims is forbidden: User "system:kube-scheduler" cannot list persistentvolumeclaims at the cluster scope

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/pause-amd64:3.0

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/pause-amd64:3.0

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/pause-amd64:3.0

================================================= =====================

ВЫВОД ЖУРНАЛА ДЛЯ gcr.io/google_containers/pause-amd64:3.0

================================================= =====================

edwardofclt 9 мар. 2018

+1
Обновлять:
Просмотрев все, что я мог (я новичок в k8s), я наконец обнаружил, что kubectl describe pod -n kube-system kube-dns-<sha> показывает, что виртуальный сервер, на который я устанавливал, имел только 1 процессор, а kube-dns не запускался из-за не хватает процессоров. Как ни странно, kubectl logs pod -n kube-system kube-dns-<sha> не показывал эту информацию.

Это сработало после переустановки ОС (поскольку перезагрузка после установки kubeadm приводит к тому, что мастер k8s не запускается должным образом).
(извините, что забыл зафиксировать вывод)

bbruun 12 мар. 2018

QQ-ing 14 мар. 2018

У меня была та же проблема, я отменил и запустил reset , а затем тот же init , что и раньше, но с --apiserver-advertise-address=<my_host_public_ip_address> — и это сработало.

VaverDariush 15 мар. 2018

👍2

https://github.com/kubernetes/kubernetes/issues/59680#issuecomment -364646304
отключить selinux мне помогло.

avielb 19 мар. 2018

😕7 👍7 👎6 🎉2 ❤1

переход на 1.8.10 решил проблему для меня.

cbluth 24 мар. 2018

👍5

gabrielfsousa 27 мар. 2018

nevotheless 1 апр. 2018

Та же проблема с v1.9.3 в Ubuntu 16.04 (без selinux)

jpmondet 1 апр. 2018

+1 та же проблема

duongmngo 2 апр. 2018

Та же проблема с v1.10 в Ubuntu 16.04 на arm64.

farfeduc 4 апр. 2018

👍8

такая же проблема с v1.10 на Ubuntu 16.04 на arm64 (без selinux)

therealqxing 5 апр. 2018

Проверьте количество процессоров, которые у вас есть на аппаратном обеспечении, которое вы устанавливаете - 2 требуется на мастере для установки, как я писал выше чуть более 3 недель назад.

bbruun 5 апр. 2018

😕1 👍1

@bbruun Используемое оборудование: https://www.pine64.org/?page_id=1491 , поэтому 4 ядра, и они правильно определяются как таковые. Тогда аппаратное обеспечение не должно быть проблемой. Но все равно спасибо за подсказку. Возможно, @qxing3 использует другое оборудование...

farfeduc 5 апр. 2018

@farfeduc это был блокпост, с которым я столкнулся, несколько попыток подряд с переустановкой моей виртуальной машины, чтобы проверить установку и познакомиться с k8s, но получение пригодных для использования журналов из системы - это проблема, и я пытался получить это везде, где мог пока я не получил сообщение о недостаточном количестве доступных процессоров. Теперь я купил 3 Udoo x86 Ultra, чтобы запустить небольшой кластер, чтобы играть дома вместе с работой, где мы используем экземпляры немного большего размера :-)

bbruun 5 апр. 2018

@bbruun Я настроил 2 процессора для своей виртуальной машины, в любом случае спасибо за совет.

therealqxing 5 апр. 2018

/назначить @liztio

timothysc 7 апр. 2018

wu0407 8 апр. 2018

+1 v1.10.0

manojakondi 13 апр. 2018

+1 v1.10.0 и 1.10.1

TechnoRoss 13 апр. 2018

cleversonledur 13 апр. 2018

Интересно, что я нахожу дельты в зависимости от того, где я развертываю. Я надеюсь найти время для дальнейшего изучения, но пока я это знаю. Если я использую свой Mac/VMware Fusion и запускаю виртуальные машины CentOS 7, я могу с полным успехом использовать kubeadm 1.8. У меня никогда не было v1.9 или v1.10 для локальной работы. Однако, используя образы CentOS 7 в Digital Ocean, я могу успешно запустить v1.8.x, v1.10.0 и v1.10.1; v1.9 по какой-то причине кажется «просто зависимым». Так что теперь нужно копаться в тонких дельтах между двумя средами, чтобы выяснить, что отключает переключатель. Я знаю, что уровни ядра/исправлений совпадают, а также механизмы Docker и т. д. DO устанавливает материал для облачной инициализации, мои локальные виртуальные машины — нет, и так далее. Не тривиально выяснить, что отличается. Я дошел до того, что попытался сопоставить размеры дисков (думая, что маленький диск может где-то скрыть какую-то ошибку, но устранил и это).

Во всех случаях извлечение изображений всегда работало, нужно просто заставить службу API реагировать и не перезапускать каждые пару минут в случае сбоя.

TechnoRoss 14 апр. 2018

Привет,

Вы можете обратиться к https://docs.docker.com/config/daemon/systemd/#httphttps -proxy, чтобы установить прокси для демона docker.

guhuajun 16 апр. 2018

+1 Запуск на HypriotOS на Raspberry PI 3

hansamann 18 апр. 2018

Я смог заставить его работать, установив v1.9.6 вместо последней версии.
Таким образом, он нормально работает с v1.9.6, но не работает с v1.10.0 и v1.10.1 в Ubuntu 16.04 на arm64 на платах sopine.

farfeduc 18 апр. 2018

👍1

У меня такая же проблема на Raspberry Pi 3, HypriotOS. У меня также сработало понижение до 1.9.7-00.

JoeJasinski 22 апр. 2018

👍1

+1, kubeadm v1.10.1, raspberry pi 3b, hypriotOS

kocoten1992 22 апр. 2018

В моем случае я обнаружил, что контейнер etcd запускался, а затем закрывался с ошибкой, и это приводило к зависанию kubeadm init и, в конечном итоге, к тайм-ауту.

Чтобы проверить, не кусается ли это, запустите docker ps -a и проверьте состояние контейнера etcd. Если он не запущен, проверьте журналы контейнера etcd ( docker logs <container-id> ) и посмотрите, не жалуется ли он на невозможность привязки к адресу. См. этот отчет об ошибке: https://github.com/kubernetes/kubernetes/issues/57709 .

Проблема, которую я только что упомянул, имеет обходной путь, но сначала убедитесь, что это то, с чем вы столкнулись.

loudsong 27 апр. 2018

👍1

Убедитесь, что ваш брандмауэр разрешает входящий трафик на 6443

Например, если вы используете Ubuntu, запустите ufw status , чтобы увидеть, включена ли она.

Затем ufw allow 6443 , чтобы открыть порт

aaronkjones 1 мая 2018

Возможно ли, что перечислите изображения ниже, и мы вытащим их вручную через прокси, а затем снова запустим kubeadm.
это будет работать?
потому что мы в Китае, знаешь, GFW.
И я новичок в k8s, застрял здесь при настройке на centos7.

HanYL-coder 17 мая 2018

❤1

Для людей в Китае, которые стоят за ВЕЛИКИМ БРАНДМАУРОМ

thanch2n 17 мая 2018

👍1

@thanch2n Большое спасибо . Я собираюсь попробовать.

HanYL-coder 18 мая 2018

Я добавил прокси-сервер в докер, используя это , кажется, что все изображения уже загружены, но все еще зависают «[init] Это может занять минуту или дольше, если необходимо вытащить изображения плоскости управления».

перечислите автоматически загруженные изображения ниже.

k8s.gcr.io/kube-apiserver-amd64 v1.10.2 e774f647e259 2 недели назад 225 МБ
k8s.gcr.io/kube-scheduler-amd64 v1.10.2 0dcb3dea0db1 2 недели назад 50,4 МБ
k8s.gcr.io/kube-controller-manager-amd64 v1.10.2 f3fcd0775c4e 2 недели назад 148 МБ
k8s.gcr.io/etcd-amd64 3.1.12 52920ad46f5b 2 месяца назад 193 МБ
k8s.gcr.io/pause-amd64 3.1 da86e6ba6ca1 4 месяца назад 742 кБ

HanYL-coder 18 мая 2018

Я потратил так много времени, пытаясь понять это. Я отключил ufw, отключил selinux, убедился, что перенаправление IP-адресов включено, а также для /proc/sys/net/bridge/bridge-nf-call-iptables установлено значение 1. Казалось, ничто не решило проблему.

Наконец я решил понизить, а затем обновить.

sudo apt-get -y --allow-downgrades install kubectl=1.5.3-00 kubelet=1.5.3-00 kubernetes-cni=0.3.0.1-07a8a2-00 и

curl -Lo /tmp/old-kubeadm.deb https://apt.k8s.io/pool/kubeadm_1.6.0-alpha.0.2074-a092d8e0f95f52-00_amd64_0206dba536f698b5777c7d210444a8ace18f48e045ab78687327631c6c694f42.deb

перейти с 1.10, а затем просто

sudo apt-get -y install kubectl kubelet kubernetes-cni kubeadm

Etcd перезагружался, а время ожидания API-сервера истекло. Через некоторое время api-сервер перезагружается, жалуясь на невозможность подключения. Есть ли способ включить ведение журнала уровня DEBUG? Теперь уверен, что вызывает это. Но сейчас работает. Я определенно хотел бы воспроизвести это и устранить неполадки.

mendoncangelo 19 мая 2018

👍2

У меня есть причина, по которой я застрял.
Я запускаю его в vmware и располагаю 1 ГБ ОЗУ, для k8s требуется не менее 2 ГБ ОЗУ.
Есть ли возможность добавить уведомление об этом?

HanYL-coder 22 мая 2018

+1 kubeadm 1.10.2 на CentOS 7
4 ГБ ОЗУ 2 процессора

FNaughton 25 мая 2018

+1 kubeadm 1.10.1 в Debian Stretch (go1.9.3) на виртуальной машине HyperV с 6 ГБ ОЗУ и 1 VCPU...

в прошлом он работал нормально, так как я много раз регенерировал кластер...

simmessa 28 мая 2018

Пробовал переключаться на 2 VCPU в HyperV, ничего не меняется.

simmessa 28 мая 2018

+1 !

imedaouidene 29 мая 2018

+1. kubeadm 1.10.1, Debian Stretch. Работал раньше

egism 1 июн. 2018

Обнаружено, что с докером 1.13.1 на Centos 7 мы видели проблемы с драйвером хранилища. Журналы Docker показали «ссылка для чтения /var/lib/docker/overlay2/l: недопустимый аргумент». Переход на docker 18.03.1-ce, кажется, решает эту проблему, и kubeadm init больше не зависает.

FNaughton 1 июн. 2018

У меня такая же проблема. Оказалось, что etcd вытащил имя хоста Linux-машины (somedomain.example.com), поискал его на DNS-сервере, нашел ответ для подстановочного домена (*.example.com) и попытался выполнить привязку к возвращенному IP-адресу вместо apiserver-рекламный-адрес.

Evengard 6 июн. 2018

Был внесен ряд исправлений для предварительного извлечения, а также для обнаружения времени ожидания поворота, поэтому эта проблема закрыта.

timothysc 12 июн. 2018

tejp1002 30 окт. 2018

Пробовал стандартный способ, позволяя k8sadmin вытаскивать образы, пробовал много раз, затем вытягивал образы, сбрасывал, пытался игнорировать ошибки, всегда терпит неудачу.

pi@master-node-001 :~ $ sudo kubeadm reset
[сброс] ПРЕДУПРЕЖДЕНИЕ: изменения, внесенные в этот хост с помощью «kubeadm init» или «kubeadm join», будут отменены.
[preflight] запуск предполетных проверок
[reset] остановка службы kubelet
[сброс] размонтирование смонтированных каталогов в «/var/lib/kubelet»
[сброс] удаление содержимого каталогов с состоянием: [/var/lib/kubelet /etc/cni/net.d /var/lib/dockershim /var/run/kubernetes /var/lib/etcd]
[сброс] удаление содержимого каталогов конфигурации: [/etc/kubernetes/manifests /etc/kubernetes/pki]
[reset] удаление файлов: [/etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/controller-manager.conf /etc/kubernetes/scheduler. конф]
pi@master-node-001 :~ $ kubeadm извлечение образов конфигурации
[config/images] Вытащил k8s.gcr.io/kube-apiserver:v1.12.2
[config/images] Вытащил k8s.gcr.io/kube-controller-manager:v1.12.2
[config/images] Вытащил k8s.gcr.io/kube- scheduler:v1.12.2
[config/images] Вытащил k8s.gcr.io/kube-proxy:v1.12.2
[config/images] Вытащил k8s.gcr.io/ pause:3.1
[config/images] Вытащил k8s.gcr.io/etcd:3.2.24
[config/images] Вытащил k8s.gcr.io/ coredns:1.2.2
pi@master-node-001 :~ $ sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
[init] с использованием версии Kubernetes: v1.12.2
[preflight] запуск предполетных проверок
[preflight/images] Получение изображений, необходимых для настройки кластера Kubernetes.
[preflight/images] Это может занять минуту или две, в зависимости от скорости вашего интернет-соединения.
[preflight/images] Вы также можете выполнить это действие заранее, используя «вытягивание образов конфигурации kubeadm»
[kubelet] Запись файла среды kubelet с флагами в файл «/var/lib/kubelet/kubeadm-flags.env»
[kubelet] Запись конфигурации kubelet в файл «/var/lib/kubelet/config.yaml»
[preflight] Активация службы kubelet
[сертификаты] Сгенерированный сертификат и ключ etcd/ca.
[сертификаты] Создан сертификат и ключ apiserver-etcd-client.
[сертификаты] Сгенерированный сертификат и ключ etcd/server.
[сертификаты] сертификат etcd/server, обслуживающий сервер, подписан для DNS-имен [master-node-001 localhost] и IP-адресов [127.0.0.1 :: 1]
[сертификаты] Сгенерированный сертификат и ключ etcd/peer.
[сертификаты] сертификат etcd/peer service подписан для DNS-имен [master-node-001 localhost] и IP-адресов [192.168.0.100 127.0.0.1 ::1]
[сертификаты] Создан сертификат и ключ etcd/healthcheck-client.
[сертификаты] Сгенерированный сертификат ЦС и ключ.
[сертификаты] Сгенерированный сертификат и ключ apiserver.
[сертификаты] apiserver, обслуживающий сертификат, подписан для DNS-имен [master-node-001 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] и IP-адресов [10.96.0.1 192.168.0.100]
[сертификаты] Создан сертификат и ключ apiserver-kubelet-client.
[сертификаты] Сгенерированный сертификат и ключ front-proxy-ca.
[сертификаты] Создан сертификат и ключ переднего прокси-клиента.
[сертификаты] действительные сертификаты и ключи теперь существуют в «/etc/kubernetes/pki»
[сертификаты] Создан ключ sa и открытый ключ.
[kubeconfig] Записал файл KubeConfig на диск: «/etc/kubernetes/admin.conf»
[kubeconfig] Записал файл KubeConfig на диск: «/etc/kubernetes/kubelet.conf»
[kubeconfig] Записал файл KubeConfig на диск: «/etc/kubernetes/controller-manager.conf»
[kubeconfig] Записал файл KubeConfig на диск: «/etc/kubernetes/scheduler.conf»
[controlplane] записал манифест Static Pod для компонента kube-apiserver в «/etc/kubernetes/manifests/kube-apiserver.yaml»
[controlplane] записал манифест Static Pod для компонента kube-controller-manager в «/etc/kubernetes/manifests/kube-controller-manager.yaml»
[controlplane] записал манифест Static Pod для компонента kube-scheduler в «/etc/kubernetes/manifests/kube-scheduler.yaml»
[etcd] Записал манифест статического модуля для локального экземпляра etcd в «/etc/kubernetes/manifests/etcd.yaml»
[init] ожидание, пока kubelet загрузит плоскость управления как Static Pods из каталога «/etc/kubernetes/manifests»
[инициализация] это может занять минуту или больше, если необходимо извлечь образы плоскости управления

К сожалению, произошла ошибка:
истекло время ожидания условия

Эта ошибка, вероятно, вызвана:
- Кубелет не запущен
- Кублет неисправен из-за неправильной настройки узла (необходимые cgroups отключены)

Если вы работаете в системе на основе systemd, вы можете попытаться устранить ошибку с помощью следующих команд:
- 'кубелет статуса systemctl'
- 'journalctl -xeu кубелет'

Кроме того, компонент плоскости управления мог аварийно завершать работу при запуске средой выполнения контейнера.
Чтобы устранить неполадки, перечислите все контейнеры, используя CLI предпочтительной среды выполнения контейнеров, например docker.
Вот один пример того, как вы можете перечислить все контейнеры Kubernetes, работающие в докере:
- 'докер ps -a | grep куб | grep -v пауза'
Как только вы нашли неисправный контейнер, вы можете проверить его журналы с помощью:
- 'журналы докера CONTAINERID'
не удалось инициализировать кластер Kubernetes
pi@master-node-001 : ~ $ образы докеров
ТЕГ РЕПОЗИТОРИЯ ИДЕНТИФИКАТОР ИЗОБРАЖЕНИЯ РАЗМЕР СОЗДАН
k8s.gcr.io/kube-controller-manager v1.12.2 4bc6cae738d8 7 дней назад 146MB
k8s.gcr.io/kube-apiserver v1.12.2 8bfe044a05e1 7 дней назад 177MB
k8s.gcr.io/kube-scheduler v1.12.2 3abf5566fec1 7 дней назад 52MB
k8s.gcr.io/kube-proxy v1.12.2 328ef67ca54f 7 дней назад 84.5MB
k8s.gcr.io/kube-proxy v1.12.1 8c06fbe56458 3 недели назад 84.7MB
k8s.gcr.io/kube-controller-manager v1.12.1 5de943380295 3 недели назад 146MB
k8s.gcr.io/kube-scheduler v1.12.1 1fbc2e4cd378 3 недели назад 52MB
k8s.gcr.io/kube-apiserver v1.12.1 ab216fe6acf6 3 недели назад 177MB
k8s.gcr.io/etcd 3.2.24 e7a8884c8443 5 недель назад 222MB
k8s.gcr.io/coredns 1.2.2 ab0805b0de94 2 месяца назад 33.4MB
k8s.gcr.io/kube-scheduler v1.11.0 0e4a34a3b0e6 4 месяца назад 56.8MB
k8s.gcr.io/kube-controller-manager v1.11.0 55b70b420785 4 месяца назад 155MB
k8s.gcr.io/etcd 3.2.18 b8df3b177be2 6 месяцев назад 219MB
k8s.gcr.io/pause 3.1 e11a8cbeda86 10 месяцев назад 374kB
pi@master-node-001 :~ $ ч | grep кубектл
-bash:h: команда не найдена
pi@master-node-001 :~ $ история | grep кубектл
Список 9 подов kubectl
10 модулей списка kubectl
11 кубектл --help
12 kubectl get pods -o широкий
14 kubectl get pods -o широкий
32 ч | grep кубектл
33 история | grep кубектл
pi@master-node-001 :~ $ !12
kubectl получить pods -o широкий
Не удалось подключиться к серверу: net/http: тайм-аут рукопожатия TLS
pi@master-node-001 :~ $ история | пауза
17 докер пс-а | grep куб | grep -v пауза
35 история | пауза
pi@master-node-001 :~ $ !17
докер пс-а | grep куб | grep -v пауза
41623613679e 8bfe044a05e1 "kube-apiserver --au…" 29 секунд назад Up 14 секунд k8s_kube-apiserver_kube-apiserver-master-node-001_kube-system_1ec53f8ef96c76af95c78c809252f05c_3
0870760b9ea0 8bfe044a05e1 "kube-apiserver --au…" 2 минуты назад Вышел (0) 33 секунды назад k8s_kube-apiserver_kube-apiserver-master-node-001_kube-system_1ec53f8ef96c76af95c78c809252f05c_2
c60d65fab8a7 3abf5566fec1 "kube-scheduler --ad…" 6 минут назад Up 5 минут
26c58f6c68e9 e7a8884c8443 "etcd --advertise-cl…" 6 минут назад Up 5 минут k8s_etcd_etcd-master-node-001_kube-system_d01dcc7fc79b875a52f01e26432e6745_0
65546081ca77 4bc6cae738d8 "kube-controller-man…" 6 минут назад Up 5 минут
pi@master-node-001 :~ $ kubectl get pods -o wide
^ С
pi@master-node-001 :~ $ sudo reboot
Соединение с 192.168.0.100 закрыто удаленным хостом.
Соединение с 192.168.0.100 закрыто.
karl@karl-PL62-7RC :~$ пинг 192.168.0.100
PING 192.168.0.100 (192.168.0.100) 56 (84) байт данных.
^ С
--- Статистика пинга 192.168.0.100 ---
2 пакета передано, 0 получено, 100% потери пакетов, время 1015 мс

karl@karl-PL62-7RC :~$ ssh [email protected]
ssh_exchange_identification: чтение: сброс соединения узлом
karl@karl-PL62-7RC :~$ ssh [email protected]
[email protected] пароль пользователя:
Linux master-node-001 4.14.71-v7+ #1145 SMP Пт, 21 сентября, 15:38:35 BST 2018 armv7l

Программы, включенные в систему Debian GNU/Linux, являются бесплатными;
точные условия распространения для каждой программы описаны в
отдельные файлы в /usr/share/doc/*/copyright.

Debian GNU/Linux поставляется АБСОЛЮТНО БЕЗ ГАРАНТИЙ, если
разрешено действующим законодательством.
Последний вход: Среда 31 октября 21:36:13 2018
pi@master-node-001 :~ $ kubectl get pods -o wide
В соединении с сервером 192.168.0.100:6443 было отказано - вы указали правильный хост или порт?
pi@master-node-001 :~ $ sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
[init] с использованием версии Kubernetes: v1.12.2
[preflight] запуск предполетных проверок
[ВНИМАНИЕ FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml уже существует
[ВНИМАНИЕ FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml уже существует
[ВНИМАНИЕ FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml уже существует
[ВНИМАНИЕ FileAvailable--etc-kubernetes-manifests-etcd.yaml]: /etc/kubernetes/manifests/etcd.yaml уже существует
[ВНИМАНИЕ, порт-10250]: порт 10250 используется.
[ПРЕДУПРЕЖДЕНИЕ DirAvailable--var-lib-etcd]: /var/lib/etcd не пуст
[preflight/images] Получение изображений, необходимых для настройки кластера Kubernetes.
[preflight/images] Это может занять минуту или две, в зависимости от скорости вашего интернет-соединения.
[preflight/images] Вы также можете выполнить это действие заранее, используя «вытягивание образов конфигурации kubeadm»
[kubelet] Запись файла среды kubelet с флагами в файл «/var/lib/kubelet/kubeadm-flags.env»
[kubelet] Запись конфигурации kubelet в файл «/var/lib/kubelet/config.yaml»
[preflight] Активация службы kubelet
[сертификаты] Использование существующего сертификата и ключа etcd/peer.
[сертификаты] Использование существующего сертификата и ключа apiserver-etcd-client.
[сертификаты] Использование существующего сертификата и ключа etcd/server.
[сертификаты] Использование существующего сертификата и ключа etcd/healthcheck-client.
[сертификаты] Использование существующего сертификата и ключа apiserver.
[сертификаты] Использование существующего сертификата и ключа apiserver-kubelet-client.
[сертификаты] Использование существующего сертификата и ключа переднего прокси-клиента.
[сертификаты] действительные сертификаты и ключи теперь существуют в «/etc/kubernetes/pki»
[сертификаты] Использование существующего ключа sa.
[kubeconfig] Использование существующего актуального файла KubeConfig: «/etc/kubernetes/admin.conf»
[kubeconfig] Использование существующего актуального файла KubeConfig: «/etc/kubernetes/kubelet.conf»
[kubeconfig] Использование существующего актуального файла KubeConfig: «/etc/kubernetes/controller-manager.conf»
[kubeconfig] Использование существующего актуального файла KubeConfig: «/etc/kubernetes/scheduler.conf»
[controlplane] записал манифест Static Pod для компонента kube-apiserver в «/etc/kubernetes/manifests/kube-apiserver.yaml»
[controlplane] записал манифест Static Pod для компонента kube-controller-manager в «/etc/kubernetes/manifests/kube-controller-manager.yaml»
[controlplane] записал манифест Static Pod для компонента kube-scheduler в «/etc/kubernetes/manifests/kube-scheduler.yaml»
[etcd] Записал манифест статического модуля для локального экземпляра etcd в «/etc/kubernetes/manifests/etcd.yaml»
[init] ожидание, пока kubelet загрузит плоскость управления как Static Pods из каталога «/etc/kubernetes/manifests»
[инициализация] это может занять минуту или больше, если необходимо извлечь образы плоскости управления

К сожалению, произошла ошибка:
истекло время ожидания условия

fenwk0 31 окт. 2018

13 sudo kubeadm init --token-ttl=0
14 kubectl get pods -o широкий
15 сброс sudo kubeadm
16 sudo kubeadm init --token-ttl=0
17 докер пс-а | grep куб | grep -v пауза
18 образов конфигурации kubeadm pull --kubernetes-version=v1.11.0
19 сброс sudo kubeadm
20 история > заметки.txt
еще 21 примечание.txt
22 судо перезагрузка
23 конфигурационных образа kubeadm
24 образа конфигурации kubeadm pull --kubernetes-version=v1.11.0
25 sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
Вытягивание 26 образов конфигурации kubeadm
27 sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
Вытягивание 28 образов конфигурации kubeadm
29 сброс sudo kubeadm
Вытягивание 30 образов конфигурации kubeadm
31 sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all
32 докер-образа
33 ч | grep кубектл
34 история | grep кубектл
35 kubectl get pods -o широкий
36 история | пауза
37 докер пс-а | grep куб | grep -v пауза
38 kubectl get pods -o широкий
39 судо перезагрузка
40 kubectl get pods -o широкий
41 sudo kubeadm init --token-ttl=0 --ignore-preflight-errors=all

fenwk0 31 окт. 2018

Была ли эта страница полезной?

0 / 5 - 0 рейтинги

Смежные вопросы

не удалось запустить Kubelet: невозможно создать запрос на подпись сертификата: неавторизовано

imedaouidene · 3Комментарии

Узел не может присоединиться к кластеру

ep4eg · 3Комментарии

Не будет работать на ubuntu 18.04

jbrandes · 4Комментарии

Невозможно обновить kube-apiserver из частного реестра.

ggaaooppeenngg · 4Комментарии

поддержка автономного установщика kubeadm

helphi · 3Комментарии