Это просьба о помощи?

ДА

Какие ключевые слова вы искали в выпусках kubeadm перед тем, как подать этот запрос?

x509: сертификат, подписанный неизвестным органом - ВНУТРИ КОРПОРАТИВНОЙ СЕТИ

Если вы нашли какие-либо дубликаты, вам следует вместо этого ответить и закрыть эту страницу.

Если вы не нашли дубликатов, удалите этот раздел и продолжайте.

Это ОТЧЕТ ОБ ОШИБКЕ или ЗАПРОС О ФУНКЦИОНИРОВАНИИ?

Выберите одно: СООБЩЕНИЕ ОБ ОШИБКЕ или ЗАПРОС ФУНКЦИЙ

сообщение об ошибке

Версии

версия kubeadm (используйте kubeadm version ): --1.10.4
версия kubeadm: & version.Info {Major: «1», Minor: «10», GitVersion: «v1.10.4», GitCommit: «5ca598b4ba5abb89bb773071ce452e33fb66339d», GitTreeState: «clean», BuildDate: «2018-06-06T08: 59Z ", GoVersion:" go1.9.3 ", компилятор:" gc ", платформа:" linux / amd64 "}

Окружающая среда :

• Версия Kubernetes (используйте kubectl version ):
• Облачный провайдер или конфигурация оборудования :
• ОС (например, из / etc / os-release):
  ИМЯ = "CentOS Linux"
  ВЕРСИЯ = "7 (Ядро)"
  ID = "centos"
  ID_LIKE = "Рел Федора"
  VERSION_ID = "7"
  PRETTY_NAME = "CentOS Linux 7 (Core)"
  ANSI_COLOR = "0; 31"
  CPE_NAME = "cpe: / o: centos: centos : 7"
  HOME_URL = " https://www.centos.org/ "
  BUG_REPORT_URL = " https://bugs.centos.org/ "

CENTOS_MANTISBT_PROJECT = "CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION = "7"
REDHAT_SUPPORT_PRODUCT = "centos"
REDHAT_SUPPORT_PRODUCT_VERSION = «7»

• Ядро (например, uname -a ):
  Linux kubem13.10.0-123.el7.x86_64 # 1 SMP Понедельник, 30 июня, 12:09:22 UTC 2014 x86_64 x86_64 x86_64 GNU / Linux
• Другие :

Что случилось?

Выкидывающая ошибка x509: сертификат, подписанный неизвестным органом

Чего вы ожидали?

Необходимо запустить kubeadm init без ошибок

Как это воспроизвести (максимально минимально и точно)?

Что еще нам нужно знать?

Я настроил прокси в нескольких файлах.

.bash_profile
/ и т. д. / окружающая среда
/etc/systemd/system/docker.service.d/http-proxy.conf

/etc/systemd/system/docker.service.d/http-proxy.conf

[Услуга]
Среда = "HTTP_PROXY = http: //:@: 8080 "
Среда = "HTTPS_PROXY = https: //:@: 8080 "
Environment = "NO_PROXY = localhost, 127.0.0.1,10.169.150.123"

/ и т. д. / окружающая среда

экспорт http_proxy = "http: //:@: 8080 "
экспорт https_proxy = "https: //:@: 8080 "
экспорт HTTP_PROXY = "http: //:@: 8080 "
экспорт HTTPS_PROXY = "https: //:@: 8080 "
экспорт no_proxy = "10.169.150.123,127.0.0.1, локальный хост"

IN Bash Профиль

экспорт KUBECONFIG = / etc / kubernetes / admin.conf
экспорт http_proxy = "http: //:@: 8080 "
экспорт https_proxy = "https: //:@: 8080 "
экспорт HTTP_PROXY = "http: //:@: 8080 "
экспорт HTTPS_PROXY = "https: //:@: 8080 "
экспорт no_proxy = "10.169.150.123,127.0.0.1, локальный хост"

Открыл нужные порты

кошка / и т. д. / sysconfig / iptables

-A ВХОД -p tcp -m state --state NEW -m tcp --dport 6443 -j ПРИНЯТЬ
-A ВХОД -p tcp -m state --state NEW -m tcp --dport 2379-2380 -j ПРИНЯТЬ
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10250 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10251 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10252 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 10255 -j ACCEPT
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT

и перезагрузили брандмауэр.

ТАКЖЕ проверил с отключением межсетевого экрана.

Отключен SELINUX

######## Прокомментировал KUBELET_NETWORK_ARGS

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf

[Услуга]
Environment = "KUBELET_KUBECONFIG_ARGS = - bootstrap-kubeconfig = / etc / kubernetes / bootstrap-kubelet.conf --kubeconfig = / etc / kubernetes / kubelet.conf"
Environment = "KUBELET_SYSTEM_PODS_ARGS = - pod-manifest-path = / etc / kubernetes / manifestests --allow-privileged = true"

Environment = "KUBELET_NETWORK_ARGS = - network-plugin = cni --cni-conf-dir = / etc / cni / net.d --cni-bin-dir = / opt / cni / bin"

Environment = "KUBELET_DNS_ARGS = - cluster-dns = 10.96.0.10 --cluster-domain = cluster.local"
Environment = "KUBELET_AUTHZ_ARGS = - authorization-mode = Webhook --client-ca-file = / etc / kubernetes / pki / ca.crt"
Среда = "KUBELET_CADVISOR_ARGS = - cadvisor-port = 0"
Среда = "KUBELET_CGROUP_ARGS = - cgroup-driver = systemd"
Environment = "KUBELET_CERTIFICATE_ARGS = - rotate-Certific = true --cert-dir = / var / lib / kubelet / pki"
Environment = "KUBELET_EXTRA_ARGS = - fail-swap-on = false"
ExecStart =
ExecStart = / USR / бен / kubelet $ KUBELET_KUBECONFIG_ARGS $ KUBELET_SYSTEM_PODS_ARGS $ KUBELET_DNS_ARGS $ KUBELET_AUTHZ_ARGS $ KUBELET_CADVISOR_ARGS $ KUBELET_CGROUP_ARGS $ KUBELET_CERTIFICATE_ARGS $ KUBELET_EXTRA_ARGS

Если я бегу, передав версию,

[ root @ kubem1 ~] # kubeadm init --kubernetes-version = v1.10.4
[init] Использование версии Kubernetes: v1.10.4
[init] Использование режимов авторизации: [Node RBAC]
[предполетная] Проведение предполетных проверок.
[ПРЕДУПРЕЖДЕНИЕ HTTPProxyCIDR]: подключение к «10.96.0.0/12» использует прокси «https: // * * * * ». Это может привести к неправильной настройке кластера. Убедитесь, что диапазоны IP-адресов Pod и Services указаны правильно как исключения в конфигурации прокси
[сертификаты] Сгенерированный сертификат CA и ключ.
[сертификаты] Сгенерированы сертификат и ключ apiserver.
[сертификаты] сертификат обслуживания apiserver подписан для имен DNS [kubem1kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] и IP-адреса [10.96.0.1 10.169.150.123]
[сертификаты] Сгенерированы сертификат и ключ apiserver-kubelet-client.
[сертификаты] Сгенерирован ключ SA и открытый ключ.
[сертификаты] Сгенерированные сертификат и ключ внешнего прокси-сервера.
[сертификаты] Сгенерированные сертификат и ключ внешнего прокси-клиента.
[сертификаты] Созданы сертификат и ключ etcd / ca.
[сертификаты] Сгенерированы сертификат и ключ etcd / server.
[сертификаты] Сертификат обслуживания etcd / server подписан для имен DNS [localhost] и IP-адресов [127.0.0.1]
[сертификаты] Сгенерированные etcd / peer сертификат и ключ.
[сертификаты] Сертификат обслуживания etcd / peer подписан для имен DNS [kubem1. * * ** ] и IP-адреса [10.169.150.123]
[сертификаты] Сгенерированные etcd / healthcheck-client сертификат и ключ.
[сертификаты] Сгенерированы сертификат и ключ apiserver-etcd-client.
[сертификаты] Действующие сертификаты и ключи теперь находятся в "/ etc / kubernetes / pki"
[kubeconfig] Записал файл KubeConfig на диск: "/etc/kubernetes/admin.conf"
[kubeconfig] Записал файл KubeConfig на диск: "/etc/kubernetes/kubelet.conf"
[kubeconfig] Записал файл KubeConfig на диск: "/etc/kubernetes/controller-manager.conf"
[kubeconfig] Записал файл KubeConfig на диск: "/etc/kubernetes/scheduler.conf"
[controlplane] Написал манифест Static Pod для компонента kube-apiserver в "/etc/kubernetes/manifests/kube-apiserver.yaml"
[controlplane] Написал манифест статического модуля для компонента kube-controller-manager в "/etc/kubernetes/manifests/kube-controller-manager.yaml"
[controlplane] Написал манифест статического модуля для компонента kube-scheduler в "/etc/kubernetes/manifests/kube-scheduler.yaml"
[etcd] Написал манифест статического модуля для локального экземпляра etcd в "/etc/kubernetes/manifests/etcd.yaml"
[init] Ожидание, пока кубелет загрузит плоскость управления как статические модули из каталога "/ etc / kubernetes / manifest".
[init] Это может занять минуту или больше, если нужно извлечь изображения плоскости управления.

############# В журнале ошибок

22 июня 04:31:34 кубем1. * * * * kubelet [7275]: E0622 04: 31: 34.942572 7275 refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: не удалось перечислить * v1.Pod: получить https : //10.169.150.123 : 6443 / api / v1 / pods? FieldSelector = spec.nodeName% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:35 кубем1. * * * * kubelet [7275]: E0622 04: 31: 35.888104 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: Не удалось добавить в список * v1.Node: Получить https: / /10.169.150.123 : 6443 / api / v1 / nodes? FieldSelector = metadata.name% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:35 кубем1. * * * * kubelet [7275]: E0622 04: 31: 35.888256 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Не удалось добавить в список * v1.Service: Получить https: / /10.169.150.123 : 6443 / api / v1 / services? Limit = 500 & resourceVersion = 0: dial tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:35 кубем1. * * * * kubelet [7275]: E0622 04: 31: 35.943992 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось перечислить v1.Pod: Получить https: //10.169.150.123 : 6443 / api / v1 / pods? FieldSelector = spec.nodeName% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:36 кубем1. * * * * kubelet [7275]: E0622 04: 31: 36.889648 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: Не удалось добавить в список * v1.Node: Получить https: / /10.169.150.123 : 6443 / api / v1 / nodes? FieldSelector = metadata.name% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:36 кубем1. * * * * kubelet [7275]: E0622 04: 31: 36.891490 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Не удалось добавить в список * v1.Service: Получить https: / /10.169.150.123 : 6443 / api / v1 / services? Limit = 500 & resourceVersion = 0: dial tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:36 кубем1. * * * * kubelet [7275]: E0622 04: 31: 36.945185 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось перечислить v1.Pod: Получить https: //10.169.150.123 : 6443 / api / v1 / pods? FieldSelector = spec.nodeName% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:37 кубем1. * * * * kubelet [7275]: E0622 04: 31: 37.890407 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: Не удалось добавить в список * v1.Node: Получить https: / /10.169.150.123 : 6443 / api / v1 / nodes? FieldSelector = metadata.name% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:37 кубем1. * * * * kubelet [7275]: E0622 04: 31: 37.891696 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Не удалось добавить в список * v1.Service: Получить https: / /10.169.150.123 : 6443 / api / v1 / services? Limit = 500 & resourceVersion = 0: dial tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:37 кубем1. * * * * kubelet [7275]: E0622 04: 31: 37.946023 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось перечислить v1.Pod: Получить https: //10.169.150.123 : 6443 / api / v1 / pods? FieldSelector = spec.nodeName% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:38 кубем1. * * * * kubelet [7275]: E0622 04: 31: 38.121910 7275 eviction_manager.go: 247] менеджер выселения: не удалось получить сводную статистику: не удалось получить информацию об узле: узел «kubem1. * * * * » не найден
22 июня 04:31:38 кубем1. * * * * kubelet [7275]: E0622 04: 31: 38.892292 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:461: Не удалось добавить в список * v1.Node: Получить https: / /10.169.150.123 : 6443 / api / v1 / nodes? FieldSelector = metadata.name% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:38 кубем1. * * * * kubelet [7275]: E0622 04: 31: 38.894157 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/kubelet.go:452: Не удалось добавить в список * v1.Service: Получить https: / /10.169.150.123 : 6443 / api / v1 / services? Limit = 500 & resourceVersion = 0: dial tcp 10.169.150.123:6443: getsockopt: соединение отклонено
22 июня 04:31:38 кубем1. * * * * kubelet [7275]: E0622 04: 31: 38.947002 7275 Refctor.go: 205] k8s.io/kubernetes/pkg/kubelet/config/apiserver.go:47: Не удалось перечислить v1.Pod: Получить https: //10.169.150.123 : 6443 / api / v1 / pods? FieldSelector = spec.nodeName% 3Dkubem1. * * * * & limit = 500 & resourceVersion = 0: набрать tcp 10.169.150.123:6443: getsockopt: соединение отклонено

также добавлен /etc/resolve.conf

[ root @ kubem1 ~] # cat /etc/resolv.conf

Создано NetworkManager

домен <>

поиск <>

сервер имен <>

сервер имен <>

сервер имен 8.8.8.8
сервер имен 8.8.4.4

Должен ли я добавить какую-либо запись в этот файл ??

Должен ли я импортировать какой-либо сертификат?

Я НАХОДИТСЯ В БЛИЖАЙШЕЙ СРЕДЕ

Также пробовал ниже,

kubeadm сбросить
systemctl демон-перезагрузка
systemctl перезапустить docker.service
systemctl stop kubelet.service

Изображения ниже не смогли пройти через докер.

докер тянуть k8s.gcr.io/kube-apiserver-amd64:v1.10.3
docker pull k8s.gcr.io/kube-controller-manager-amd64:v1.10.3
докер тянуть k8s.gcr.io/kube-scheduler-amd64:v1.10.3
докер тянуть k8s.gcr.io/etcd-amd64:3.1.12