Kubeadm: kubeadm은 어디에서 프록시 설정을 가져 옵니까?

@erikbgithub 이 문제에 대해 감사드립니다!
내가 그런 환경에서 많이 실험하지 않았기 때문에 나는 대리 전문가가 아니라고 말해야한다.

따라서 위의 정확한 진술에 대해 실제로 언급 할 수는 없지만 kubeadm에 기여하여 프록시 뒤의 동작을 개선하고 싶다면 매우 기쁩니다.

귀하의 질문에 답하기 위해 다음은 관련 go 코드입니다.
https://github.com/kubernetes/kubernetes/blob/master/cmd/kubeadm/app/phases/controlplane/manifests.go#L432

func getProxyEnvVars() []v1.EnvVar {
    envs := []v1.EnvVar{}
    for _, env := range os.Environ() {
        pos := strings.Index(env, "=")
        if pos == -1 {
            // malformed environment variable, skip it.
            continue
        }
        name := env[:pos]
        value := env[pos+1:]
        if strings.HasSuffix(strings.ToLower(name), "_proxy") && value != "" {
            envVar := v1.EnvVar{Name: name, Value: value}
            envs = append(envs, envVar)
        }
    }
    return envs
}

https://github.com/kubernetes/kubernetes/blob/master/cmd/kubeadm/app/preflight/checks.go#L291

// HTTPProxyCheck checks if https connection to specific host is going
// to be done directly or over proxy. If proxy detected, it will return warning.
type HTTPProxyCheck struct {
    Proto string
    Host  string
    Port  int
}

func (hst HTTPProxyCheck) Check() (warnings, errors []error) {

    url := fmt.Sprintf("%s://%s:%d", hst.Proto, hst.Host, hst.Port)

    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, []error{err}
    }

    proxy, err := http.DefaultTransport.(*http.Transport).Proxy(req)
    if err != nil {
        return nil, []error{err}
    }
    if proxy != nil {
        return []error{fmt.Errorf("Connection to %q uses proxy %q. If that is not intended, adjust your proxy settings", url, proxy)}, nil
    }
    return nil, nil
}

기업 네트워크에서 사람들을 구할 수있는 근무 시간을 진지하게 표현할 수 없습니다.

더 이상 동의 할 수 없었다

cc @kad @timothysc

@luxas 감사합니다. 내가 라운드 튜 잇을 얻을 때 그것을 통해 일할 것입니다. 패치를 제공하기 전에 몇 가지 방법을 배워야하므로 다른 사람들이 당분간 이탈 할 수 있으면 감사하겠습니다. ;-)

제가 살펴볼 첫 번째 하위 질문은 os.Environ() 를 통해 실제로 얻는 것입니다.

@erikbgithub 패치 작성에 도움이 필요하면 알려 주시면 도와 드리겠습니다.

@erikbgithub 가 해당 수표의 원저자이므로 질문에 답해 드리겠습니다.
처음 몇 가지 답변 :

• kubeadm은 현재 실행중인 세션에서 환경을 가져오고 확인합니다. $ env | grep -i _proxy= | sort 을 실행하면 무엇을 가지고 있는지 확인할 수 있습니다. 예를 들어 회사 방화벽 내부에 다음과 같은 것이 있습니다.
  !shell $ env | grep -i _proxy= | sort ALL_PROXY=http://proxy-ir.example.com:911 FTP_PROXY=http://proxy-ir.example.com:911 HTTPS_PROXY=http://proxy-ir.example.com:911 HTTP_PROXY=http://proxy-ir.example.com:911 NO_PROXY=.example.com all_proxy=http://proxy-ir.example.com:911 ftp_proxy=http://proxy-ir.example.com:911 http_proxy=http://proxy-ir.example.com:911 https_proxy=http://proxy-ir.example.com:911 no_proxy=.example.com $
• 사람들이 깨닫지 못하고 밟는 일반적인 문제는 no_proxy 변수 가 네트워크 범위를 지원 NO_PROXY=10.0.0.0/8, 192.168.0.0/16 와 같은 것을 넣으면 아무 효과가 없으며 비행 전 검사에서 경고가 생성됩니다.
• 대 / 소문자 * _proxy 변수의 내용 차이는 중요하지 않습니다. 프록시 환경 변수를 처리하는 Go 코드에는 처리 순서가있는 내부 논리가 있습니다 (내가 기억 하듯이 첫 번째 대문자, 그다음 소문자이지만 중요하지 않습니다. 각 앱에서 처리하는 순서를 보장 할 수 없습니다).
• / etc / environment와 같은 파일은 배포판마다 다르며 각 바이너리에서 읽지 않습니다. 이들은 로그인 스크립트, PAM 모듈 등에 의해 프로세스 환경 변수에 읽혀지고 주입됩니다. 환경 변수는 예를 들어 SSH 세션이나 외부 관리 도구 (예 : ansible)에서 가져올 수도 있고 kubeadm과 같은 다른 바이너리를 호출 할 수도 있습니다. 따라서 특정 / etc / environment에 의존하거나 이와 유사한 것은 실행 가능하거나 논리적이지 않습니다.
• 8 포인트의 경우, 프리 플라이트 확인이 특히 그렇습니다. kubeadm이 프록시를 통해 API 서버로 이동하는 것을 감지하면 경고를 표시합니다. 처음에는이 비행 전 확인에 대해 논의했지만 해당 사례가 합법적 일 수 있다는 데 동의했기 때문에 오류가 발생하지 않고 경고 만 표시됩니다.
• 10 인 : 또한 여러 사람에게서 이러한 변수를 조작하는 것에 대한 반대였습니다. (내 초기 아이디어는 모든 * _proxy 설정을 삭제하여 직접 연결을 강제하는 것이었지만 프록시를 통해 연결하는 합법적 인 이유 일 수 있으므로 거부되었습니다).

나는 모든 클러스터 노드 IP를 NO_PROXY에 포함하고 클러스터에 참여할 때 모든 미니언에 동일한 NO_PROXY를 사용하여이 문제를 "수정"했습니다.

$ export NO_PROXY = 'ip, ip, ip, ip, .example.com'
[마스터] $ kubeadm init
[minion] $ kubeadm join --token = {token} abcd : 6443

솔직히 말해서 모든 IP 주소가 열거되는지 아니면 문제를 해결 한 .example.com인지 잘 모르겠습니다.

PR kubernetes / kubernetes # 52788이 병합되는 경우 노드의 NO_PROXY IP 범위에서 지정할 수 있습니다. 그것은 일을 많이 단순화 할 것입니다.

조금 이상해. "checks.go"코드를 살펴보면.
프록시에 값이 있으면 항상 오류 메시지를 반환합니다.

if proxy! = nil {
return [] error {fmt.Errorf ( "% q에 대한 연결은 프록시 % q를 사용합니다. 의도하지 않은 경우 프록시 설정을 조정하십시오.", url, proxy)}, nil
}
nil, nil 반환

기업에서는 반드시 세 가지 프록시 옵션이 있습니다. (http_proxy, https_proxy, no_proxy)
http_ *는 인터넷 연결을 위해 이미지를 가져 오는 필수 옵션입니다.
no_proxy 옵션이 설정되어 있으면 오류 메시지가 반환됩니다.

"pl, 내부 연결을 위해 프록시로 라우팅되지 않도록 옵션 (no_proxy) 설정"

kubeadm join이 http_proxy를 지원하는지 묻고 싶습니다.

kubeadm init가 http_proxy 및 no_proxy와 함께 작동하도록 관리하지만 kubeadm join이 다음과 같은 오류를 생성하는 것 같습니다.

kubelet.go:2105] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

remote_runtime.go:92] RunPodSandbox from runtime service failed: rpc error: code = Unknown desc = failed pulling image "gcr.io/google_containers/pause-amd64:3.0": Get https://gcr.io/v1/_ping: read tcp <my-ip>:58742->74.125.68.82:443: read: connection reset by peer

그리고 또한
/ etc / environment는 마스터에서와 같이 구성으로 채워지지 않고 비어 있습니다.

아마도 http_proxy 및 no_proxy가 kubeadm 조인에 대해 아직 지원되지 않는다고 믿게했습니다.

이 문제에 다시 한 번 부딪칩니다. 여전히 프록시를 잘못 사용하고 프록시 및 no_proxy 설정을 수정할 수없는 것 같습니다.

# 687, # 182 또는 스택 오버플로 참조 :

내 경험상 kubeadm은 / etc / environment에 정의 된 프록시를 사용합니다.

내 경험상 kubeadm은 / etc / environment에 정의 된 프록시를 사용합니다.

네-제 경우에는 / etc / environment