<p>kubeadm initが「最初のノードは登録されましたが、まだ準備ができていません」でスタックしました</p>

Ubuntu 16.04.02、GCEとローカルVMWareインストールの両方、Dockerバージョン1.12.6、カーネル4.8.0-44-generic 47〜16.04.1-UbuntuSMPでまったく同じことが起こります。

kubeletログには、jimmycuadraのレポートに表示されるエラーの前に/etc/cni/net.dが欠落しているという警告が表示されます。

Mar 29 04:43:25 instance-1 kubelet[6800]: W0329 04:43:25.763117    6800 cni.go:157] Unable to update cni config: No networks found in /etc/cni/net.d
Mar 29 04:43:25 instance-1 kubelet[6800]: E0329 04:43:25.763515    6800 kubelet.go:2067] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

Ubuntu AWSVMでも同じ問題が発生します。 Docker 1.12.5

root @ ip-10-43-0-20 ：〜＃kubeadmバージョン
kubeadmバージョン：version.Info {メジャー： "1"、マイナー： "6"、GitVersion： "v1.6.0"、GitCommit： "fff5156092b56e6bd60fff75aad4dc9de6b6ef37"、GitTreeState： "clean"、BuildDate： "2017-03-28T16：24： 30Z "、GoVersion：" go1.7.5 "

root @ ip-10-43-0-20 ：〜＃uname -a
Linux ip-10-43-0-20 4.4.0-45-generic＃66-Ubuntu SMP Wed Oct 19 14:12:37 UTC 2016 x86_64 x86_64 x86_64 GNU / Linux

root @ ip-10-43-0-20 ：〜＃kubeadm init --config cfg.yaml
[kubeadm]警告：kubeadmはベータ版です。本番クラスターには使用しないでください。
[init] Kubernetesバージョンの使用：v1.6.0
[init]認証モードの使用：RBAC
[init]警告：cloudprovider統合が機能するには、クラスター内のすべてのkubeletに対して--cloud-providerを設定する必要があります。
（/etc/systemd/system/kubelet.service.d/10-kubeadm.confはこの目的のために編集する必要があります）
[プリフライト]プリフライトチェックの実行
【プリフライト】クベレットサービス開始
[証明書]生成されたCA証明書とキー。
[証明書]生成されたAPIサーバーの証明書とキー。
[証明書]証明書を提供するAPIサーバーは、DNS名[ip-10-43-0-20 kubernetes kubernetes.default kubernetes.default.svckubernetes.default.svc.cluster.local]とIP [10.96.0.1 10.43.0.20 ]
[証明書]生成されたAPIサーバーkubeletクライアントの証明書とキー。
[証明書]生成されたサービスアカウントトークン署名鍵と公開鍵。
[証明書]生成されたフロントプロキシCA証明書とキー。
[証明書]生成されたフロントプロキシクライアントの証明書とキー。
[証明書]有効な証明書とキーが「/ etc / kubernetes / pki」に存在するようになりました
[kubeconfig] KubeConfigファイルをディスクに書き込みました： "/ etc / kubernetes / admin.conf"
[kubeconfig] KubeConfigファイルをディスクに書き込みました： "/ etc / kubernetes / kubelet.conf"
[kubeconfig] KubeConfigファイルをディスクに書き込みました：「/ etc / kubernetes /controller-manager.conf」
[kubeconfig] KubeConfigファイルをディスクに書き込みました：「/ etc / kubernetes /scheduler.conf」
[apiclient]コントロールプレーンの準備が整うのを待っているAPIクライアントを作成しました
[apiclient]すべてのコントロールプレーンコンポーネントは16.531681秒後に正常になります
[apiclient]少なくとも1つのノードが登録されて準備が整うのを待っています
[apiclient]最初のノードは登録されましたが、まだ準備ができていません
[apiclient]最初のノードは登録されましたが、まだ準備ができていません
[apiclient]最初のノードは登録されましたが、まだ準備ができていません

++同じ問題（Ubuntu 16.04.1）

ここUbuntu16.04でも同じこと

CentOS 7で、kubeletを1.5.4にダウングレードしました。 それは私にとってそれを解決しました。 1.6.0 kubeletではレディチェックの動作が異なるようです。

k8s 1.6.0にアップグレードしてから、ベアメタルx64マシンのCentOS7でも同じ問題が発生します

Ubuntu16.04でも同じ問題

Ubuntu 16.04で同じ問題が発生し、 kubeletパッケージを手動でダウングレードすると問題が解決しました。

# apt install kubelet=1.5.6-00

@ctrlaltdelそれは私にとってはうまく

これはKubeletの問題だと思います。 CNIが構成されていない場合、ノードを準備完了としてマークしないでください。 CNIを必要とするポッドのみを、準備ができていないものとしてマークする必要があります。

@jbedaこの問題がいつ解決されるか知っていますか？

@ kristiandrucker-いいえ-まだ何が起こっているのか理解しています。 最初にそれを根絶する必要があります。

@jbedaわかりました、しかし問題が解決された後、それでは何ですか？ ソースからkubeletを再構築しますか？

@kristiandruckerこれは、kubeletの問題である場合、k8sのポイントリリースでリリースする必要があります。

https://github.com/kubernetes/kubernetes/pull/43474が根本的な原因だと思い

@dcbwあなたの周り？

問題のように見えるのは、スケジュールポッドのチェックが十分にきめ細かく行われていないため、 DaemonSetがNet stNetwork：trueであるポッドは、Net workReady：falseであるノードでスケジュールする必要がありますが、ho stNetwork：falseポッドは

回避策として、DaemonSetにscheduler.alpha.kubernetes.io/critical-podアノテーションを追加すると、問題が再び発生しますか？

@janetkuo @lukaszo DSの動作をトリアージできますか？

ところで、＃sig-networkでslackに関する議論も進行中です。

同じ問題CentOS7 x64

@prapdmこれは、実行しているディストリビューションを

CentOS Linuxリリース7.3.1611（コア）

Ubuntu16.04の1つのノードで試してみました。 「まだ準備ができていません」というメッセージが表示されてハングします。 フランネルDaemonSetも手動で作成しましたが、私の場合は問題なく1つのポッドをスケジュールしました。 デーモンポッド自体がCrashLoopBackOffにエラーで入りました： E0329 22:57:03.065651 1 main.go:127] Failed to create SubnetManager: error retrieving pod spec for 'kube-system/kube-flannel-ds-z3xgn': the server does not allow access to the requested resource (get pods kube-flannel-ds-z3xgn)

Centosも試してみますが、DaemonSetがここで責任を負うとは思わないので、kubeadmはここにぶら下がっています。

これはRBAC許可エラーです。

@jimmycuadraアームプロセッサを搭載したラズベリーパイで実行していることに気づきました。

フランネルデーモンセットの場合、次のものがあります。

`` `nodeSelector：
beta.kubernetes.io/arch：amd64

but your node is labeled with: 

beta.kubernetes.io/arch=arm
`` `

したがって、DaemonSetはこのノードでポッドをランチできません。ノードセレクターを変更するだけで機能します。
rbac権限でエラーが発生することはありますが、わからないため、 @ mikedaneseが修正方法を教えてくれるかもしれません。

ああ、@ lukaszoに感謝します！ 今回はRPi固有のガイド（k8s 1.5で使用）に従わなかったため、その手順を忘れました。 デーモンセットにエラーが発生したときに発見したはずですが、結局のところ、それほど遠くはありませんでした。 ：}

ここで説明されている手順に従うと、この問題も発生します。
https://blog.hypriot.com/post/setup-kubernetes-raspberry-pi-cluster/

適切なフランネルネットワークポッドをインストールした後、なんとか機能させることができました。

@jimmycuadraは@lukaszoコメントで動作するかもしれないと思います。

メッセージ[apiclient] First node has registered, but is not ready yetがフラッディングを開始すると、kubernetes APIサーバーが実行されるため、次のことができます。

curl -sSL https://rawgit.com/coreos/flannel/master/Documentation/kube-flannel.yml | kubectl create -f -

ラズベリーパイのインストールの場合：

curl -sSL https://rawgit.com/coreos/flannel/master/Documentation/kube-flannel.yml | sed "s/amd64/arm/g" | kubectl create -f -

その後、終了します：

[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node has registered, but is not ready yet
[apiclient] First node is ready after 245.050597 seconds
[apiclient] Test deployment succeeded
[token] Using token: 4dc99e............
[apiconfig] Created RBAC rules
[addons] Created essential addon: kube-proxy
[addons] Created essential addon: kube-dns

Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run (as a regular user):

  sudo cp /etc/kubernetes/admin.conf $HOME/
  sudo chown $(id -u):$(id -g) $HOME/admin.conf
  export KUBECONFIG=$HOME/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  http://kubernetes.io/docs/admin/addons/

You can now join any number of machines by running the following on each node
as root:

  kubeadm join --token 4dc99e........... 192.168.1.200:6443

私は同じ問題を抱えていました、そして私はこの方法で修正しました：
あなたは根である必要があります

kubeadmの1.6.0では、システムファイルの環境変数$ KUBELET_NETWORK_ARGSを削除する必要があります：/etc/systemd/system/kubelet.service.d/10-kubeadm.conf

その後、悪魔を再起動します

systemctl daemon-reload

kubeadm init

これには少し時間がかかります...成功後

使用するネットワークアドオンをダウンロードします： http ：

calicoは最高のもののようですが、確かではありませんが、まだテスト中です。

@thelastworm
私はそれをやろうとしただけで、うまくいきませんでした。
Ubuntu 16.04.2 LTS、kubeadm 1.6.0
私は次の手順を実行しました。

1. /etc/systemd/system/kubelet.service.d/10-kubeadm.confを編集し、$ KUBELET_NETWORK_ARGSを削除します
2. kubeadm reset 、それを開始する前の試みをクリーンアップします
3. kubeadm init --token=<VALUE> --apiserver-advertise-address=<IP>

[編集]
@ srinat999がkubeadm init前にsystemctl daemon-reloadを実行する必要性を指摘した後、これは機能しました

@jcorralのソリューションは、安全でないAPIポートがkubeadmによって作成されなくなったため、フランネルの展開に1つの変更を加えるだけで機能しました。

curl -sSL https://rawgit.com/coreos/flannel/master/Documentation/kube-flannel.yml | \
kubectl --kubeconfig /etc/kubernetes/admin.conf create -f -

@MaximF confファイルを変更した後、 systemctl daemon-reloadを実行する必要があります。 私のために働いた。

@jcorralあなたの解決策は私のために働きます。 ありがとう。

@MaximF私は

kubeadm initは正常に完了しますが、バージョンを確認すると、次のエラーが発生します。

クライアントバージョン：version.Info {Major： "1"、Minor： "6"、GitVersion： "v1.6.0"、GitCommit： "fff5156092b56e6bd60fff75aad4dc9de6b6ef37"、GitTreeState： "clean"、BuildDate： "2017-03-28T16：36： 33Z "、GoVersion：" go1.7.5 "、コンパイラ：" gc "、プラットフォーム：" linux / amd64 "}
サーバーlocalhost：8080への接続が拒否されました-正しいホストまたはポートを指定しましたか？

@haribole
KUBECONFIG envvarを設定する必要があります

CNIに関連する回避策の後にフランネルを実行させた人はいますか？ 準備ができていない問題に合格することはできますが、Flannelを実行すると、次のようなエラーが発生します。

Failed to create SubnetManager: error retrieving pod spec for 'kube-system/kube-flannel-ds-g5cbj': the server does not allow access to the requested resource (get pods kube-flannel-ds-g5cbj)

ポッドのステータスに「CrashLoopBackOff」と表示されます

フランネルがAPIから読み取ることを許可するには、rbacロールを追加する必要があります。

フランネルがAPIから読み取ることを許可するには、rbacロールを追加する必要があります。

他の誰かがこれが何を意味するのか疑問に思っている場合は、フランネルを作成する前にkube-flannel-rbac.ymlを作成する必要があるようです。

kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml
kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

ルートの問題が解決され、関連するチケットが閉じられたので、これも閉じる必要

参考までに：Ubuntu16.04で更新されたパッケージで動作しています。

1.6.1は私のために働きます！ この修正を手伝ってくれたすべての人に感謝します！

次の手順を実行して、centos-release-7-3.1611.el7.centos.x86_64でKubernetesクラスターを正常にセットアップしました（Dockerが既にインストールされていると想定しています）。

1）（/ etc / yum.repo.d / kubernetes.repoから）baseurl = http：//yum.kubernetes.io/repos/kubernetes-el7-x86_64-unstable
=>最新のKubernetes1.6.1の不安定なリポジトリを使用するには
2）yum install -y kubelet kubeadm kubectl kubernetes-cni
3）（/ etc / systemd / system / kubelet.service.d / 10-kubeadm.conf）最後の行の最後に「--cgroup-driver = systemd」を追加します。
=>これは、Dockerがcgroup-driverにsystemdを使用し、kubeletがcgroup-driverにcgroupfsを使用するためです。
4）systemctl enable kubelet && systemctl start kubelet
5）kubeadm init --pod-network-cidr 10.244.0.0/16
=>以前に--api-advertise-addressesを追加した場合は、代わりに--apiserver-advertise-addressを使用する必要があります。
6）cp /etc/kubernetes/admin.conf $ HOME /
sudo chown $（id -u）：$（id -g）$ HOME / admin.conf
KUBECONFIG = $ HOME /admin.confをエクスポートします
=>この手順を実行しないと、kubectlgetでエラーが発生する可能性があります
=>私は1.5.2でやっていない
7）kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.yml
=> 1.6.0ではロールベースのアクセス制御が導入されているため、Flannelデーモンセットを作成する前にClusterRoleとClusterRoleBindingを追加する必要があります
8）kubectl create -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
=>フランネルデーモンセットを作成する
9）（すべてのスレーブノードで）kubeadm join --token（トークン）（ip）:( port）
=> kubeadminitの結果に示されているように

上記のすべての手順は、Kubernetes-1.6.0、特にkubeadmに関するさまざまな問題からの提案を組み合わせた結果です。

これがあなたの時間を節約することを願っています。

@ eastcirclek @ Sliimあなたは素晴らしいです

@eastcirclekこれは、いくつかのフォーラムにもクエリを実行して実行した正確な手順です。 タイムゾーンの違い、多分？ みんなありがとう、このトピックは本当に役に立ちました。

AWSにUbuntu16.04サーバーがあり、手順に従いました

1. /etc/systemd/system/kubelet.service.d/10-kubeadm.confを編集し、$ KUBELET_NETWORK_ARGSを削除します
2. kubeadmをリセットして、以前の起動試行をクリーンアップします
3. kubeadm init --token =--apiserver-advertise-address =

これは明らかに正しく機能しましたが、Calicoをネットワークプラグインとしてインストールしようとすると、次のエラーが発生します
サーバーlocalhost：8080への接続が拒否されました-正しいホストまたはポートを指定しましたか？

k8sチームはパッチに取り組んでいますか？

ありがとう

@overipそのためのパッチは必要ないと思います... kubectlを使用する場合は、適切なkubeconfigファイルを指定する必要があります。 kubeadmはそれを/etc/kubernetes/admin.conf書き込む必要があります。

@jimmycuadraそれを行うための手順を説明して

@overip kubeadm initの出力には、次の命令があります。

To start using your cluster, you need to run (as a regular user):

  sudo cp /etc/kubernetes/admin.conf $HOME/
  sudo chown $(id -u):$(id -g) $HOME/admin.conf
  export KUBECONFIG=$HOME/admin.conf

個人的には、ファイルを$HOME/.kube/configにコピーすることを好みます。これは、kubectlがデフォルトでファイルを検索する場所です。 その場合、KUBECONFIG環境変数を設定する必要はありません。

ローカルマシンからkubectlを使用することを計画している場合は、 scp （またはコンテンツをコピーして貼り付けることもできます）、自分のコンピューターの~/.kube/configに書き込むことができます。

詳細については、このGitHubの問題で「admin.conf」を検索してください。 それは数回言及されています。

@ eastcirclek-手順に従いましたが、何らかの理由でノードがフランネルを正しくインストールできません。
（注：マスターではすべてがスムーズです。）

Apr 13 22:31:11 node2 kubelet[22893]: I0413 22:31:11.666206   22893 kuberuntime_manager.go:458] Container {Name:install-cni Image:quay.io/coreos/flannel:v0.7.0-amd64 Command:[/bin/sh -c set -e -x; cp -f /etc/kube-flannel/cni-conf.json /etc/cni/net.d/10-flannel.conf; while true; do sleep 3600; done] Args:[] WorkingDir: Ports:[] EnvFrom:[] Env:[] Resources:{Limits:map[] Requests:map[]} VolumeMounts:[{Name:cni ReadOnly:false MountPath:/etc/cni/net.d SubPath:} {Name:flannel-cfg ReadOnly:false MountPath:/etc/kube-flannel/ SubPath:} {Name:flannel-token-g65nf ReadOnly:true MountPath:/var/run/secrets/kubernetes.io/serviceaccount SubPath:}] LivenessProbe:nil ReadinessProbe:nil Lifecycle:nil TerminationMessagePath:/dev/termination-log TerminationMessagePolicy:File ImagePullPolicy:IfNotPresent SecurityContext:nil Stdin:false StdinOnce:false TTY:false} is dead, but RestartPolicy says that we should restart it.
Apr 13 22:31:11 node2 kubelet[22893]: I0413 22:31:11.666280   22893 kuberuntime_manager.go:742] checking backoff for container "install-cni" in pod "kube-flannel-ds-3smf7_kube-system(2e6ad0f9-207f-11e7-8f34-0050569120ff)"
Apr 13 22:31:12 node2 kubelet[22893]: I0413 22:31:12.846325   22893 operation_generator.go:597] MountVolume.SetUp succeeded for volume "kubernetes.io/configmap/2e6ad0f9-207f-11e7-8f34-0050569120ff-flannel-cfg" (spec.Name: "flannel-cfg") pod "2e6ad0f9-207f-11e7-8f34-0050569120ff" (UID: "2e6ad0f9-207f-11e7-8f34-0050569120ff").
Apr 13 22:31:12 node2 kubelet[22893]: I0413 22:31:12.846373   22893 operation_generator.go:597] MountVolume.SetUp succeeded for volume "kubernetes.io/secret/2e6ad0f9-207f-11e7-8f34-0050569120ff-flannel-token-g65nf" (spec.Name: "flannel-token-g65nf") pod "2e6ad0f9-207f-11e7-8f34-0050569120ff" (UID: "2e6ad0f9-207f-11e7-8f34-0050569120ff").

私の回避策を共有してください。 まず、$ KUBELET_NETWORK_ARGSが必要です。それ以外の場合、CNIは有効化/構成されていません。 $ KUBELET_NETWORK_ARGSの削除と復元は複雑すぎるようです。
kubeadm initが「[apiclient]最初のノードは登録されていますが、まだ準備ができていません」と表示される場合、k8sクラスターは実際にリクエストを処理する準備ができています。 その時点で、ユーザーは次のようにhttps://kubernetes.io/docs/getting-started-guides/kubeadm/のステップ3/4に移動するだけで済みます。

To start using your cluster, you need to run (as a regular user):

  sudo cp /etc/kubernetes/admin.conf $HOME/
  sudo chown $(id -u):$(id -g) $HOME/admin.conf
  export KUBECONFIG=$HOME/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:  http://kubernetes.io/docs/admin/addons/

ユーザーがpodnetworkをインストールするときは、podnetworkポリシーのserviceaccountに十分な権限が付与されていることを確認してください。 例としてフランネルを取り上げます。 次のように、cluster-adminロールをフランネルのサービスアカウントにバインドします。 これは理想的ではない可能性があり、フランネルサービスカウントの特定の役割を定義できます。 ところで、ユーザーがダッシュボードなどの他のアドオンサービスを展開する場合は、関連するサービスアカウントに十分な権限を付与する必要もあります。

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: flannel:daemonset
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: flannel
  namespace:  kube-system

podnetworkサーバーの準備ができたら、kubeadm initはノードの準備ができていることを示し、ユーザーは指示を続行できます。

例としてフランネルを取り上げます。 次のように、cluster-adminロールをフランネルのサービスアカウントにバインドします。 これは理想的ではない可能性があり、フランネルサービスカウントの特定の役割を定義できます。

すでにhttps://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel-rbac.ymlがあり

助けてくれてありがとう。
最後に、フランネルを使用してk8s1.6.1を完全に機能させます。 すべてがAnsiblePlaybookに含まれるようになりました。
Centos / RHELでテスト済み。 Debianベース（Ubuntuなど）の準備も開始されましたが、多少の改良が必要になる場合があります。

https://github.com/ReSearchITEng/kubeadm-playbook/blob/master/README.md

PS：sjenning / kubeadm-playbookに基づいた作業- @ sjenningに感謝し

クラスターに参加するためにこれを取得します。
[検出]「 https：//10.100.2.158：6443 」から情報を要求するクラスター情報検出クライアントを作成しました
[検出]クラスター情報のリクエストに失敗しました。再試行します：[configmaps "cluster-info"は禁止されています：ユーザー " system：anonymous "は名前空間 "kube-public"でconfigmapsを取得できません]
[検出]クラスター情報のリクエストに失敗しました。再試行します：[configmaps "cluster-info"は禁止されています：ユーザー " system：anonymous "は名前空間 "kube-public"でconfigmapsを取得できません]

ノードをSelfHostingとして開始しました。