Kubeadm: कहाँ से kubeadm प्रॉक्सी सेटिंग्स लेता है?

को निर्मित 28 जून 2017 · 13टिप्पणियाँ · स्रोत: kubernetes/kubeadm

यह / etc / environment नहीं है, यह वर्तमान bash session नहीं है जो kubeadm में चल रहा है, यह docker या kubelet वातावरण नहीं है। मैंने इन सभी उदाहरणों में no_proxy को एक अलग मूल्य पर सेट करके सत्यापित किया। और किसी कारण से kubeadm init भी no_proxy लिए एक और मान सेट करना जारी है। पुनरारंभ करें, डेमॉन-पुनः लोड करें, सेवाओं को पुनरारंभ करने से सभी उस तथ्य को नहीं बदलते हैं।

ईमानदारी से यह वास्तव में कष्टप्रद है कि यह केवल "आईपी एड्रेस fo.oo.ba.rr लाइन को प्रिंट करने के लिए एक प्रॉक्सी सेट है" प्रिंट करता है, बजाय यह कहने के कि यह कहां से मूल्य लेता है। और यह केवल / etc / पर्यावरण से मूल्य को क्यों नहीं पढ़ता है, जो कि प्रॉक्सी सेटिंग, या वर्तमान बैश सत्र, जिसमें मैं kubeadm कॉल करता हूं, सत्य का एक सच्चा स्रोत है, जो सबसे आसान है परिवर्तन करने के लिए जगह है?

मुझे उम्मीद है कि कुछ इस तरह होगा:

kubeadm वर्तमान env चर http_proxy जाँच करता है। (या https_proxy अगर सुरक्षित संचार कॉन्फ़िगर किया गया है)
kubeadm मौजूदा env वैरिएबल HTTP_PROXY जाँच करता है और अगर यह अलग है तो चेतावनी देता है।
kubeadm http_proxy in / etc / पर्यावरण की जाँच करता है। यह अलग होने पर चेतावनी देता है।
ऊपरी मामले के लिए समान।
यदि न तो संदर्भ में न तो चर है, तो यह मानता है कि कोई प्रॉक्सी नहीं है और इसके बारे में सूचित करता है।
kubeadm मैनिफ़ेस्ट फ़ाइल्स लिखता है (मेरा मानना है कि यह डॉकटर कंटेनर बनाने से पहले किया जाता है) दिए गए प्रॉक्सी के साथ, निचले मामले में प्रक्रिया पर्यावरण सेटिंग को प्राथमिकता देता है, फिर ऊपरी मामला, फिर निचले मामले / आदि / पर्यावरण, फिर ऊपरी मामले / आदि। /वातावरण।
कुबेदम फली शुरू करता है।
kubeadm जाँचता है कि क्या नियंत्रक-प्रबंधक एपीआई सर्वर से बात कर सकता है। यदि यह "निषिद्ध" या "टाइमआउट" हो जाता है, तो यह मानता है कि प्रॉक्सी सेटिंग्स गलत हैं और इरोज़ , एक kubeadm reset आंतरिक रूप से कॉल करते हैं।
ऐसी कोई घटना नहीं है जहाँ यह बिना किसी आउटपुट के हमेशा इंतजार करे। अगर सर्वर और नियंत्रक-प्रबंधक के लॉग में लगातार त्रुटियां हैं, तो कम से कम यथोचित रूप से अच्छी तरह से पता लगा सकते हैं, साथ ही साथ> = 10 मिनट के लिए कोई नया लॉग भी हैं। और फिर यह एक त्रुटि संदेश के साथ त्रुटि कर सकता है।
kubeadm आंतरिक रूप से पूर्व pends सब पतों को विज्ञापित no_proxy सेटिंग्स (अंत जोड़ने इसके बारे में कटौती प्राप्त कर सकते हैं)। <- इसके अलावा, यदि संभव हो तो होस्टनाम का उपयोग करना बहुत बेहतर होगा, क्योंकि no_proxy वास्तव में नामों के लिए है, न कि आईपी।

मैं गंभीरता से व्यक्त नहीं कर सकता कि यह कितने घंटे काम कर रहा है जो लोगों को उद्यम नेटवर्क में बचाएगा।

help wanted prioritbacklog

स्रोत

erikbgithub

👍6

सबसे उपयोगी टिप्पणी

मैं NO_PROXY में अपने सभी क्लस्टर नोड IPs को शामिल करके और क्लस्टर में शामिल होने पर सभी minions पर समान NO_PROXY का उपयोग करके इस समस्या को "ठीक" कर रहा हूं।

$ निर्यात NO_PROXY = 'ip, ip, ip, ip, .example.com'
[मास्टर] $ kubeadm init
[minion] $ kubeadm join --token = {token} abcd: 6443

ईमानदार होने के लिए, मुझे यकीन नहीं है कि यह सभी आईपी पते enumerated या .example.com है जो समस्या को ठीक कर रहे हैं।

ErikOShaughnessy 23 अग॰ 2017

👍7

सभी 13 टिप्पणियाँ

@erikbgithub इस मुद्दे के लिए बहुत बहुत धन्यवाद!
सामने मुझे कहना होगा कि मैं कोई प्रॉक्सी विशेषज्ञ नहीं हूं क्योंकि मैंने ऐसे वातावरण में बहुत प्रयोग नहीं किए हैं।

इसलिए मैं वास्तव में ऊपर दिए गए सटीक कथनों पर टिप्पणी नहीं कर सकता, लेकिन मुझे बहुत खुशी होगी अगर आप एक छद्म के पीछे के व्यवहार को बेहतर बनाने के लिए kubeadm में योगदान करना चाहते हैं।

अपने प्रश्न का उत्तर देने के लिए, यहां प्रासंगिक गो कोड है:
https://github.com/kubernetes/kubernetes/blob/master/cmd/kubeadm/app/phases/controlplane/manifests.go#L432

func getProxyEnvVars() []v1.EnvVar {
    envs := []v1.EnvVar{}
    for _, env := range os.Environ() {
        pos := strings.Index(env, "=")
        if pos == -1 {
            // malformed environment variable, skip it.
            continue
        }
        name := env[:pos]
        value := env[pos+1:]
        if strings.HasSuffix(strings.ToLower(name), "_proxy") && value != "" {
            envVar := v1.EnvVar{Name: name, Value: value}
            envs = append(envs, envVar)
        }
    }
    return envs
}

https://github.com/kubernetes/kubernetes/blob/master/cmd/kubeadm/app/preflight/checks.go#L291

// HTTPProxyCheck checks if https connection to specific host is going
// to be done directly or over proxy. If proxy detected, it will return warning.
type HTTPProxyCheck struct {
    Proto string
    Host  string
    Port  int
}

func (hst HTTPProxyCheck) Check() (warnings, errors []error) {

    url := fmt.Sprintf("%s://%s:%d", hst.Proto, hst.Host, hst.Port)

    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, []error{err}
    }

    proxy, err := http.DefaultTransport.(*http.Transport).Proxy(req)
    if err != nil {
        return nil, []error{err}
    }
    if proxy != nil {
        return []error{fmt.Errorf("Connection to %q uses proxy %q. If that is not intended, adjust your proxy settings", url, proxy)}, nil
    }
    return nil, nil
}

मैं गंभीरता से व्यक्त नहीं कर सकता कि यह कितने घंटे काम कर रहा है जो लोगों को उद्यम नेटवर्क में बचाएगा।

अधिक सहमत नहीं हो सका

luxas 5 जुल॰ 2017

👍1

सीसी @kad @timothysc

luxas 5 जुल॰ 2017

@ लक्सस थैंक्स मैं उसके माध्यम से काम करूँगा जब मुझे एक गोल

पहला उप-प्रश्न मैं देखूंगा कि वास्तव में os.Environ() माध्यम से क्या मिलता है।

erikbgithub 5 जुल॰ 2017

👍1

@erikbgithub मुझे बताएं कि क्या आपको पैच बनाने में कुछ मदद चाहिए और मैं मदद करूंगा

luxas 5 जुल॰ 2017

उस जाँच के मूल लेखक के रूप में @erikbgithub , मुझे किसी भी प्रश्न का उत्तर देने में खुशी होगी।
पहले कुछ जवाब:

kubeadm आपके वर्तमान में चल रहे सत्र से पर्यावरण प्राप्त करता है और जांचता है। आप देख सकते हैं कि आपके पास $ env | grep -i _proxy= | sort निष्पादित होने पर आपके पास क्या है। जैसे हमारी कंपनी फ़ायरवॉल के अंदर मेरे पास कुछ इस तरह है:
!shell $ env | grep -i _proxy= | sort ALL_PROXY=http://proxy-ir.example.com:911 FTP_PROXY=http://proxy-ir.example.com:911 HTTPS_PROXY=http://proxy-ir.example.com:911 HTTP_PROXY=http://proxy-ir.example.com:911 NO_PROXY=.example.com all_proxy=http://proxy-ir.example.com:911 ftp_proxy=http://proxy-ir.example.com:911 http_proxy=http://proxy-ir.example.com:911 https_proxy=http://proxy-ir.example.com:911 no_proxy=.example.com $
सामान्य समस्या यह है कि लोग इसे महसूस किए बिना आगे बढ़ रहे हैं, कि no_proxy चर नेटवर्क श्रेणियों का समर्थन नहीं करता है। इसलिए NO_PROXY=10.0.0.0/8, 192.168.0.0/16 तरह कुछ डालने से कोई प्रभाव नहीं पड़ेगा और अभी भी प्री-फ़्लाइट चेक में चेतावनी का उत्पादन करेगा।
ऊपरी / निचले भाग के बीच की सामग्री का अंतर गो कोड जो प्रॉक्सी एनवायरनमेंट वेरिएबल्स को हैंडल करता है, उसके आंतरिक तर्क होते हैं, जिसमें वह इसे प्रोसेस करता है (जैसा कि मुझे याद है, पहले अपर केस, फिर लोअर केस, लेकिन इससे कोई फर्क नहीं पड़ता, आप इस बात की गारंटी नहीं दे सकते हैं कि कौन सा ऐप उन्हें प्रोसेस करता है)
/ etc / पर्यावरण जैसी फाइलें विशिष्ट-विशिष्ट हैं और प्रत्येक व्यक्तिगत बाइनरी द्वारा नहीं पढ़ी जाती हैं। उन्हें लॉगिन स्क्रिप्ट्स, PAM मॉड्यूल आदि द्वारा प्रोसेस पर्यावरण चर में पढ़ा और इंजेक्ट किया जाता है। पर्यावरण चर भी उदाहरण के लिए, SSH सत्रों से या बाहरी प्रबंधन उपकरणों (जैसे ansible) से अन्य बायनेरिज़ को बुलाकर, जैसे kubeadm से आ सकते हैं। इसलिए, विशेष / आदि / पर्यावरण पर निर्भर रहें या समान न तो संभव है और न ही तार्किक।
8 बिंदु के लिए, प्रीफ्लाइट चेक विशेष रूप से उसके बारे में है। यह चेतावनी देता है यदि कुबेदम यह पता लगाता है कि यह एपीआई सर्वर पर प्रॉक्सी जा रहा है। हालांकि शुरू में इस प्रीफ्लाइट चेक के बारे में चर्चा की गई थी, यह सहमति थी कि उन मामलों को वैध हो सकता है, इस प्रकार यह केवल चेतावनी देता है , त्रुटि उत्पन्न नहीं करता है।
10 के लिए: यह कई लोगों से उन चर को हेरफेर करने के बारे में भी आपत्ति थी। (मेरा प्रारंभिक विचार प्रत्यक्ष कनेक्शन को बाध्य करने के लिए सभी * _proxy सेटिंग्स को छोड़ने के लिए था, लेकिन इसे ठुकरा दिया गया था, क्योंकि यह प्रॉक्सी से जुड़ने के लिए वैध कारण हो सकता है)।

kad 5 जुल॰ 2017

👍3

$ निर्यात NO_PROXY = 'ip, ip, ip, ip, .example.com'
[मास्टर] $ kubeadm init
[minion] $ kubeadm join --token = {token} abcd: 6443

ErikOShaughnessy 23 अग॰ 2017

👍7

यदि PR kubernetes / kubernetes # 52788 को विलय कर दिया जाएगा, तो आपके नोड्स के लिए NO_PROXY IP श्रेणियों में निर्दिष्ट करना संभव होगा। यह चीजों को बहुत सरल करेगा।

kad 22 सित॰ 2017

👍4

थोड़ा सा मातम। अगर मैं "checks.go" कोड देखता हूं।
यदि प्रॉक्सी में मान हैं तो यह हमेशा त्रुटि संदेश देता है।

यदि प्रॉक्सी! nil {
वापस करें
}
वापसी नील, नील

उद्यम में ... आवश्यक रूप से तीन प्रॉक्सी विकल्प हैं। (http_proxy, https_proxy, no_proxy)
इंटरनेट से कनेक्शन के लिए छवियों को खींचने के लिए http_ * अनिवार्य विकल्प है।
अगर no_proxy विकल्प सेट है ... तो उसे त्रुटि संदेश वापस करना चाहिए।

"pl, सेट विकल्प (no_proxy) को आंतरिक कनेक्शन के लिए प्रॉक्सी में रूट नहीं किया जाना चाहिए"

ted-jung 5 दिस॰ 2017

मैं पूछना चाहता हूँ कि क्या kubeadm join http_proxy का समर्थन करता है?

मैं http_proxy और no_proxy के साथ काम करने के लिए kubeadm init प्राप्त करने का प्रबंधन करता हूं, लेकिन ऐसा लगता है कि kubeadm उत्पादन त्रुटियों जैसे

kubelet.go:2105] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

remote_runtime.go:92] RunPodSandbox from runtime service failed: rpc error: code = Unknown desc = failed pulling image "gcr.io/google_containers/pause-amd64:3.0": Get https://gcr.io/v1/_ping: read tcp <my-ip>:58742->74.125.68.82:443: read: connection reset by peer

और भी
/ etc / वातावरण गुरु की तरह विन्यास से भरे होने के बजाय खाली है।

जो मुझे विश्वास है कि शायद http_proxy और no_proxy अभी तक kubeadm join के लिए समर्थित नहीं है।

rmxhaha 9 जन॰ 2018

👍3

इस समस्या में एक बार फिर से चल रहा है। यह अभी भी प्रॉक्सी का गलत तरीके से उपयोग करता है और मुझे लगता है कि यह प्रॉक्सी और no_proxy सेटिंग्स को संशोधित करने में असमर्थ है।