Kubernetes: nodePort가 모든 nodeIP에서 응답하지 않음

쿠버네티스 버전 :
클라이언트 버전: version.Info{주:"1", 부:"5", GitVersion:"v1.5.2", GitCommit:"08e099554f3c31f6e6f07b448ab3ed78d0520507", GitTreeState::"clean", BuildDate-0401-211 25Z", GoVersion:"go1.7.4", 컴파일러:"gc", 플랫폼:"darwin/amd64"}
서버 버전: version.Info{주:"1", 부:"5", GitVersion:"v1.5.3", GitCommit:"029c3a408176b55c30846f0faedf56aae5992e9b", GitTreeState:"clean", BuildDate:"23145T 56Z", GoVersion:"go1.7.4", 컴파일러:"gc", 플랫폼:"linux/amd64"}

마스터 및 미니언의 Docker 버전 :
$ 도커 -v
Docker 버전 1.13.1, 빌드 092cba3

환경 :

• 클라우드 제공자 또는 하드웨어 구성 :
  VM웨어
• OS (예: /etc/os-release):
  NAME="우분투"
  VERSION="16.04 LTS(제니얼 제루스)"
  아이디=우분투
  ID_LIKE=데비안
  PRETTY_NAME="우분투 16.04 LTS"
  VERSION_ID="16.04"
  홈_URL=" http://www.ubuntu.com/ "
  SUPPORT_URL=" http://help.ubuntu.com/ "
  BUG_REPORT_URL=" http://bugs.launchpad.net/ubuntu/ "
  UBUNTU_CODENAME=제니얼

• 커널 (예: uname -a ):
  Linux knode-master 4.4.0-45-generic #66-Ubuntu SMP Wed Oct 19 14:12:37 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

• 도구 설치 :
  kubeadm

• 기타 :

무슨 일이 있었는지 :
kubeadm 페이지를 사용하여 3노드 클러스터를 설치했습니다.

$ kc describe nodes | awk '/Addresses/ {print $2}' | awk -F',' '{print $3}' 
knode-0
knode-1
knode-master

설치된 운하 포드 네트워크:

kubectl create -f https://raw.githubusercontent.com/tigera/canal/master/k8sinstall/kubeadm/canal.yaml

이때 노드, 서비스, 포드는 정상이었습니다. 그래서 대시보드로 이동

kubectl create -f https://rawgit.com/kubernetes/dashboard/master/src/deploy/kubernetes-dashboard.yaml

$ kubectl get -n kube-system services
NAME                   CLUSTER-IP       EXTERNAL-IP   PORT(S)         AGE
canal-etcd             10.96.232.136    <none>        6666/TCP        5m
kube-dns               10.96.0.10       <none>        53/UDP,53/TCP   13h
kubernetes-dashboard   10.110.163.186   <nodes>       80:31699/TCP    1m

예상했던 일 :
Services doc의 nodePort 섹션 은 nodePort가 모든 nodeIP에서 보여야 함을 나타냅니다.

제 경우에는 모든 nodeIP가 대시보드의 nodePort 31699에 대한 요청에 응답하고 이를 대시보드 포드로 전달하는 것은 아닙니다.
포드를 호스팅하는 노드(또는 미니언)만 브라우저 요청에 응답하는 것으로 보입니다. 다른 노드(또는 미니언)는 응답하지 않습니다.

재현하는 방법 (가능한 한 최소한으로 그리고 정확하게):

_knode-1(미니언)에서:_

$ sudo docker ps -a | grep dashboard
79e23eff2c26        gcr.io/google_containers/kubernetes-dashboard-amd64:v1.5.1   "/dashboard --port..."   44 minutes ago      Up 43 minutes 

_클러스터 외부의 대시보드에 대한 컬 액세스:_

_knode-0:31699에 대한 연결 시간이 초과되었습니다.

$ curl -m 2 -O http://knode-0:31699/#/workload?namespace=default
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0curl: (28) Connection timed out after 2003 milliseconds

knode-1:31699에서 성공적으로 다운로드되었습니다.

$ curl -m 2 -O http://knode-1:31699/#/workload?namespace=default
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   811  100   811    0     0  18097      0 --:--:-- --:--:-- --:--:-- 18431

*iptables * :

_knode-1에서 (nodePort 31699 액세스 가능):_

$ sudo iptables-save | grep dashboard
-A KUBE-NODEPORTS -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp --dport 31699 -j KUBE-MARK-MASQ
-A KUBE-NODEPORTS -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp --dport 31699 -j KUBE-SVC-XGLOHA7QRQ3V22RZ
-A KUBE-SEP-4CN2KLL64AIMJOUC -s 192.168.92.6/32 -m comment --comment "kube-system/kubernetes-dashboard:" -j KUBE-MARK-MASQ
-A KUBE-SEP-4CN2KLL64AIMJOUC -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp -j DNAT --to-destination 192.168.92.6:9090
-A KUBE-SERVICES -d 10.110.163.186/32 -p tcp -m comment --comment "kube-system/kubernetes-dashboard: cluster IP" -m tcp --dport 80 -j KUBE-SVC-XGLOHA7QRQ3V22RZ
-A KUBE-SVC-XGLOHA7QRQ3V22RZ -m comment --comment "kube-system/kubernetes-dashboard:" -j KUBE-SEP-4CN2KLL64AIMJOUC

_knode-0에서(nodePort 31699 액세스 불가):_

$ sudo iptables-save | grep dashboard
-A KUBE-NODEPORTS -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp --dport 31699 -j KUBE-MARK-MASQ
-A KUBE-NODEPORTS -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp --dport 31699 -j KUBE-SVC-XGLOHA7QRQ3V22RZ
-A KUBE-SEP-4CN2KLL64AIMJOUC -s 192.168.92.6/32 -m comment --comment "kube-system/kubernetes-dashboard:" -j KUBE-MARK-MASQ
-A KUBE-SEP-4CN2KLL64AIMJOUC -p tcp -m comment --comment "kube-system/kubernetes-dashboard:" -m tcp -j DNAT --to-destination 192.168.92.6:9090
-A KUBE-SERVICES -d 10.110.163.186/32 -p tcp -m comment --comment "kube-system/kubernetes-dashboard: cluster IP" -m tcp --dport 80 -j KUBE-SVC-XGLOHA7QRQ3V22RZ
-A KUBE-SVC-XGLOHA7QRQ3V22RZ -m comment --comment "kube-system/kubernetes-dashboard:" -j KUBE-SEP-4CN2KLL64AIMJOUC

기타 알아야 할 사항:

RHEL 7.3에서 동일한 동작을 재현할 수 있습니다.