क्या आप इसे दिखाने के लिए एक कम टेस्टकेस रखना चाहेंगे? शायद कंटेनर में एक छोटी सी डॉकरीफाइल और एक बाश लिपि जो कंटेनरों को शुरू / बंद / ... करने का काम करती है?

कंटेनर dockerhub kinvey / blrunner # v0.3.8 में है

निम्नलिखित विकल्पों के साथ दूरस्थ एपीआई का उपयोग करना:

सृजन करना
चित्र: 'किनवे / ब्लरनर # v0.3.8'
अटैचडआउट: गलत
AttachStderr: गलत
एक्सपोज्डपोर्ट्स: {'7000 / tcp': {}}
ट्टी: झूठा
HostConfig:
PublishAllPorts: सच है
कैपड्रॉप: [
"डाउनलोड करें"
"DAC_OVERRIDE"
"फाउनर"
"किल"
"सेटगिड"
"SETPCAP"
"NET_BIND_SERVICE"
"NET_RAW"
"SYS_CHROOT"
"एमकेएनओडी"
"SETFCAP"
"AUDIT_WRITE"
]
LogConfig:
प्रकार: "कोई नहीं"
विन्यास: {}

शुरू

कंटेनर

हटाना
बल: सच

हम्म, क्या आप अत्यधिक संसाधन उपयोग देख रहे हैं?
तथ्य यह है कि ssh भी काम नहीं कर रहा है मुझे संदेह है।
ओवरले के साथ बहुत अच्छी तरह से इनोड इश्यू हो सकता है, या बहुत सी खुली एफडी आदि।

विशेष रूप से अत्यधिक संसाधन उपयोग के संबंध में नहीं ... लेकिन शुरुआती लक्षण पूरी तरह से लटक रहे हैं, जबकि अन्य प्रक्रियाएं खुशी के साथ होती हैं ...

नोट करने के लिए महत्वपूर्ण, हमारे पास केवल 8 कंटेनर हैं जो किसी भी एक समय पर किसी एक उदाहरण पर चल रहे हैं।

कुछ आँकड़े कैप्चर किए गए हैं जहाँ docker अब प्रतिक्रियाशील नहीं है:

lsof | wc -l

1025 दिखाता है।

हालाँकि, एक त्रुटि कई बार दिखाई देती है:
lsof: चेतावनी: स्टेट (फ़ाइल) ओवरले फ़ाइल सिस्टम / var / lib / docker / overlay / aba7820e8cb01e62f7ceb53b0d04bc1281295c31515185e9383ebc19c30325d0 / मर्ज नहीं किया जा सकता
आउटपुट जानकारी अधूरी हो सकती है।

शीर्ष का नमूना उत्पादन:

शीर्ष - 00:16:53 12:22, 2 उपयोगकर्ता, लोड औसत: 2.01, 2.05, 2.05
कार्य: 123 कुल, 1 दौड़, 121 सो, 0 बंद, 1 ज़ोंबी
% Cpu (s): 0.3 us, 0.0 sy, 0.0 ni, 99.7 id, 0.0 वा, 0.0 hi, 0.0 si, 0.0 सेंट
KiB मेम: 3853940 कुल, 2592920 का उपयोग, 1261020 मुफ्त, 172660 बफ़र्स
KiB स्वैप: 0 कुल, 0 का उपयोग, 0 निःशुल्क। 1115644 संचित मेम

24971 किनवे 20 0 992008 71892 10796 एस 1.3 1.9 9: 11.93 नोड
902 रूट 20 0 1365860 62800 12108 S 0.3 1.6 30: 06.10 डॉकटर
29901 ubuntu 20 0 27988 6720 2676 एस 0.3 0.2 3: 58.17 tmux
1 रूट 20 0 33612 4152 2716 एस 0.0 0.1 14: 22.00 init
2 रूट 20 0 0 0 0 S 0.0 0.0 0: 00.03 kthreadd
3 रूट 20 0 0 0 0 S 0.0 0.0 0: 04.40 ksoftirqd / 0
5 रूट 0 -20 0 0 एस 0 0.0 0.0 0: 00.00 कीवर्कर / 0: 0 एच
7 रूट 20 0 0 0 0 S 0.0 0.0 2: 21.81 rcu_sched
8 रूट 20 0 0 0 0 S 0.0 0.0 0: 01.91 rcu_bh

@mjsalinger आप जिस सेटअप का उपयोग कर रहे हैं वह असमर्थित है। असमर्थता का कारण यह है कि आप एक कस्टम कर्नेल के साथ Ubuntu 14.04 का उपयोग कर रहे हैं।

वह 3.18.0-031800 कर्नेल कहाँ से आता है? क्या आपने देखा कि यह कर्नेल बिल्ड पुराना है? आपके द्वारा उपयोग किया जा रहा कर्नेल पिछले वर्ष दिसंबर में बनाया गया है।

मुझे क्षमा करें, लेकिन यहां डिबग करने के लिए कुछ भी नहीं है। यह समस्या वास्तव में ओवरले से संबंधित या कुछ अन्य पहले से तय कर्नेल बग से संबंधित एक कर्नेल बग हो सकती है, जो कर्नेल 3.18 के नवीनतम संस्करण में अब कोई समस्या नहीं है।

मैं इस मुद्दे को बंद करने जा रहा हूं। कृपया 3.18 या नए कर्नेल के साथ फिर से प्रयास करें और जांचें कि क्या आप समस्या में चल रहे हैं। कृपया ध्यान रखें कि ओवरले के खिलाफ कई मुद्दे खुले हैं और आपको नवीनतम कर्नेल संस्करण और नवीनतम डॉकर संस्करण में अपडेट करने के बाद भी ओवरले के साथ समस्याओं का अनुभव होगा।

@unclejack @ cpuguy83 @ LK4D4 कृपया इस मुद्दे को फिर से खोलें। यह कॉन्फ़िगरेशन के लिए सलाह थी जो हम उपयोग कर रहे हैं विशेष रूप से डॉक टीम और प्रयोग द्वारा दी गई थी। हमने नई कर्नेल की कोशिश की है (3.19 +) और उनके पास किसी प्रकार का कर्नेल पैनिक बग है जिसे हम चला रहे थे - इसलिए सलाह थी कि 3.18 प्री-दिसंबर के साथ जाना चाहिए क्योंकि उसके बाद शुरू किया गया एक ज्ञात कर्नेल बग था जिसके कारण कर्नेल घबराहट जो हम में चल रहे थे, जो कि मेरी जानकारी में है, अभी तक तय नहीं किया गया है।

जहां तक ​​ओवरलेएफएस, एयूएफएस के साथ _numerous_ प्रदर्शन की समस्याओं का अनुभव करने के बाद मुझे भी डॉक के लिए आदर्श FS के रूप में प्रस्तुत किया गया था। यदि यह एक समर्थित कॉन्फ़िगरेशन नहीं है, तो क्या कोई मुझे एक प्रदर्शन, स्थिर कॉन्फ़िगरेशन खोजने में मदद कर सकता है जो इस उपयोग के मामले में काम करेगा? हम इसे कई महीनों तक स्थिर रखने पर जोर दे रहे हैं।

@mjsalinger क्या आप उस वॉल्यूम के लिए df -i /var/lib/docker करना चाहिए)।

फिर से खोलने के लिए धन्यवाद। यदि उत्तर एक अलग कर्नेल है, तो यह ठीक है, मैं बस एक स्थिर परिदृश्य प्राप्त करना चाहता हूं।

df -i / ver / lib / docker

फाइलसिस्टम आईनोड आईएफआरई आईयूएस% पर चढ़ा हुआ
/ देव / xvda1 1638400 643893 994507 40% /

ओवरले में अभी भी समस्याओं का एक गुच्छा है: https://github.com/docker/docker/issues?q=is%3Aopen+is%3Aissue+label%3A%2Fsystem%2Foverlay

मैं उत्पादन में ओवरले का उपयोग नहीं करूंगा। दूसरों ने इस मुद्दे पर टिप्पणी की है कि वे उत्पादन में एएफएफएस का उपयोग कर रहे हैं और यह उनके लिए स्थिर है।

कर्नेल 3.18 उबंटू 14.04 पर असमर्थित है। Canonical उस के लिए समर्थन प्रदान नहीं करता है।

उत्पादन में AUFS बिल्कुल भी प्रदर्शन नहीं करता है और हमारे लिए कुछ भी _ _ _ स्थिर रहा है - मैं नियमित रूप से I / O अड़चन, फ्रीज, आदि में चला जाएगा।

देख:

11228, # 12758, # 12962

ओवरले पर स्विच करने से उपरोक्त सभी समस्याएँ हल हो गईं - हमारे पास केवल यह एक समस्या शेष है।

यह भी:

http://developerblog.redhat.com/2014/09/30/overview-storage-scalability-docker/
http://qconlondon.com/system/files/pretation-slides/Docker%20Clustering.pdf

ऐसा लगता है कि ओवरले को समुदाय द्वारा सामान्य रूप से पसंद के चालक के रूप में प्रस्तुत किया जा रहा है। यदि यह अभी तक स्थिर नहीं है, तो ठीक है, लेकिन न तो एयूएफएस है और मुझे डॉकर के साथ प्रदर्शन और स्थिरता प्राप्त करने के लिए _some_ तरीका होना चाहिए। मैं सभी नई चीजों की कोशिश कर रहा हूं, लेकिन हमारे पिछले कॉन्फ़िगरेशन (उबंटू 12.04 पर एयूएफएस और उबंटू 14.04 पर एयूएफएस) में हमें स्थिरता या प्रदर्शन नहीं मिला। कम से कम ओवरले के साथ हमें अच्छा प्रदर्शन और बेहतर स्थिरता मिलती है - लेकिन हमें बस इस एक समस्या को हल करने की आवश्यकता है।

मुझे एएफएफएस (12.04, 14.04, और 15.04) के तहत इन चल रहे डिफ़ॉल्ट उबंटू उदाहरणों के समान लक्षण भी अनुभव हुए।

10355 # 13940

वर्तमान कर्नेल और OverlayFS पर स्विच करने के बाद ये दोनों मुद्दे गायब हो गए।

@mjsalinger मैं उबंटू को 14.04 नवीनतम कर्नेल 3.13 पैकेज के साथ उपयोग करने की सलाह

@unclejack ने कोशिश की और भारी, उच्च मात्रा उपयोग (बहुत सारे कंटेनर बनाने / नष्ट करने) के साथ ऊपर दिए गए मुद्दों में भाग लिया और AUFS अविश्वसनीय रूप से गैर-निष्पादित था। तो वह विकल्प नहीं है।

@mjsalinger क्या आप

हाँ, upstart का उपयोग कर।

/etc/init/docker.conf

description "Docker daemon"

start on (local-filesystems and net-device-up IFACE!=lo)
stop on runlevel [!2345]
limit nofile 524288 1048576
limit nproc 524288 1048576

respawn

pre-start script
        # see also https://github.com/tianon/cgroupfs-mount/blob/master/cgroupfs-mount
        if grep -v '^#' /etc/fstab | grep -q cgroup \
                || [ ! -e /proc/cgroups ] \
                || [ ! -d /sys/fs/cgroup ]; then
                exit 0
        fi
        if ! mountpoint -q /sys/fs/cgroup; then
                mount -t tmpfs -o uid=0,gid=0,mode=0755 cgroup /sys/fs/cgroup
        fi
        (
                cd /sys/fs/cgroup
                for sys in $(awk '!/^#/ { if ($4 == 1) print $1 }' /proc/cgroups); do
                        mkdir -p $sys
                        if ! mountpoint -q $sys; then
                                if ! mount -n -t cgroup -o $sys cgroup $sys; then
                                        rmdir $sys || true
                                fi
                        fi
                done
        )
end script

script
        # modify these in /etc/default/$UPSTART_JOB (/etc/default/docker)
        DOCKER=/usr/bin/$UPSTART_JOB
        DOCKER_OPTS=
        if [ -f /etc/default/$UPSTART_JOB ]; then
                . /etc/default/$UPSTART_JOB
        fi
        exec "$DOCKER" -d $DOCKER_OPTS
end script

# Don't emit "started" event until docker.sock is ready.
# See https://github.com/docker/docker/issues/6647
post-start script
        DOCKER_OPTS=
        if [ -f /etc/default/$UPSTART_JOB ]; then
                . /etc/default/$UPSTART_JOB
        fi
        if ! printf "%s" "$DOCKER_OPTS" | grep -qE -e '-H|--host'; then
                while ! [ -e /var/run/docker.sock ]; do
                        initctl status $UPSTART_JOB | grep -qE "(stop|respawn)/" && exit 1
                        echo "Waiting for /var/run/docker.sock"
                        sleep 0.1
                done
                echo "/var/run/docker.sock is up"
        fi
end script

उदाहरण के लिए, कुछ उदाहरणों पर किसी भी डॉकर कमांड को चलाने पर हम भी अब नीचे देख रहे हैं ...

sudo docker ps

FATA [0000] http: ///var/run/docker.sock/v1.18/containers/json? सभी = 1: डायल unix /var/run/docker.sock: संसाधन उपलब्ध नहीं है क्या आप TLS- सक्षम से कनेक्ट करने का प्रयास कर रहे हैं
टीएलएस के बिना डेमॉन?

@mjsalinger यह सिर्फ भद्दा त्रुटि संदेश है। ज्यादातर मामलों में इसका मतलब है कि डेमन दुर्घटनाग्रस्त हो गया।

@mjsalinger इस दौरान डोकर डेमन लॉग्स का क्या कहना है? /var/log/upstart/docker.log स्थान होना चाहिए।

जमे हुए, कोई नई प्रविष्टियाँ नहीं आ रही हैं। यहाँ लॉग में अंतिम प्रविष्टियाँ हैं:

INFO[46655] -job log(create, 48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46655] -job create() = OK (0)
INFO[46655] POST /containers/48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a/start
INFO[46655] +job start(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a)
INFO[46655] +job allocate_interface(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a)
INFO[46655] -job allocate_interface(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a) = OK (0)
INFO[46655] +job allocate_port(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a)
INFO[46655] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[46655] +job create()
INFO[46655] DELETE /containers/4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187?force=true
INFO[46655] +job rm(4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187)
INFO[46656] -job allocate_port(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a) = OK (0)
INFO[46656] +job log(start, 48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(start, 48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] +job log(create, 7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(create, 7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job create() = OK (0)
INFO[46656] +job log(die, 4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(die, 4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] +job release_interface(4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187)
INFO[46656] POST /containers/7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f/start
INFO[46656] +job start(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f)
INFO[46656] +job allocate_interface(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f)
INFO[46656] -job allocate_interface(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f) = OK (0)
INFO[46656] +job allocate_port(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f)
INFO[46656] -job release_interface(4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187) = OK (0)
INFO[46656] DELETE /containers/cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b?force=true
INFO[46656] +job rm(cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b)
INFO[46656] +job log(destroy, 4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(destroy, 4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job rm(4d447093f522f1d74f482b2f76c91adfd38b5ad264202b1c8262f05a0edaf187) = OK (0)
INFO[46656] +job log(die, cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(die, cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] +job release_interface(cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b)
INFO[46656] DELETE /containers/1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20?force=true
INFO[46656] +job rm(1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20)
INFO[46656] -job allocate_port(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f) = OK (0)
INFO[46656] +job log(start, 7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(start, 7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job start(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a) = OK (0)
INFO[46656] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[46656] +job create()
INFO[46656] +job log(create, 1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(create, 1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job create() = OK (0)
INFO[46656] +job log(die, 1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(die, 1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] +job release_interface(1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20)
INFO[46656] GET /containers/48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a/json
INFO[46656] +job container_inspect(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a)
INFO[46656] -job container_inspect(48abb699bb6b8aefe042c010d06268d5e13515d616c5ca61f3a4930a325de26a) = OK (0)
INFO[46656] POST /containers/1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830/start
INFO[46656] +job start(1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830)
INFO[46656] +job allocate_interface(1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830)
INFO[46656] -job allocate_interface(1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830) = OK (0)
INFO[46656] +job allocate_port(1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830)
INFO[46656] -job release_interface(cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b) = OK (0)
INFO[46656] -job start(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f) = OK (0)
INFO[46656] GET /containers/7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f/json
INFO[46656] +job container_inspect(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f)
INFO[46656] -job release_interface(1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20) = OK (0)
INFO[46656] -job container_inspect(7ef9e347b762b4fb34a85508e5d259a609392decf9ffc8488730dbe8e731c84f) = OK (0)
INFO[46656] +job log(destroy, cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(destroy, cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job rm(cb03fc14e5eab2acf01d1d42dec2fc1990cccca69149de2dc97873f87474db9b) = OK (0)
INFO[46656] +job log(destroy, 1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(destroy, 1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20, kinvey/blrunner:v0.3.8) = OK (0)
INFO[46656] -job rm(1e8ddec281bd9b5bfe239d0e955874f83d51ffec95c499f88c158639f7445d20) = OK (0)
INFO[46656] DELETE /containers/4cfeb48701f194cfd40f71d7883d82906d54a538084fa7be6680345e4651aa60?force=true
INFO[46656] +job rm(4cfeb48701f194cfd40f71d7883d82906d54a538084fa7be6680345e4651aa60)
INFO[46656] -job allocate_port(1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830) = OK (0)
INFO[46656] +job log(start, 1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830, kinvey/blrunner:v0.3.8)
INFO[46656] -job log(start, 1ae5798d7aeec4857944b40a27f1a69789323bbe8edb8d67a250150241484830, kinvey/blrunner:v0.3.8) = OK (0)

@ cpuguy83 क्या लॉग बिल्कुल मददगार था?

@mjsalinger मुझे लगता है कि कहीं न कहीं एक गतिरोध है क्योंकि एक मुद्दे को इंगित करने के अलावा और कुछ नहीं है।

@ cpuguy83 यह समझ में आता है कि लक्षण दिए जाएंगे। क्या ऐसा कुछ है जो मैं इस मुद्दे को आगे बढ़ाने में मदद कर सकता हूं और यह कहां से आता है?

शायद हम यह देखने के लिए एक स्ट्रेस पा सकते हैं कि यह वास्तव में एक ताला पर लटका हुआ है।

ठीक। यह देखने के लिए काम करेंगे कि क्या हमें मिल सकता है। हम पहले 1.7 कोशिश करना चाहते थे - ऐसा किया लेकिन कोई सुधार नहीं देखा।

प्रभावित मेजबान में से एक @ cpuguy83 :

root@<host>:~# strace -q -y -v -p 899
futex(0x134f1b8, FUTEX_WAIT, 0, NULL^C <detached ...>

@ cpuguy83 कोई विचार?

1.7 में निम्नलिखित को देखकर कंटेनरों को नहीं मारा गया / शुरू नहीं किया गया। यह समस्या के लिए एक पूर्वसूचक प्रतीत होता है (नोट 1.6 में इन त्रुटियों को नहीं देखा था, लेकिन मृत कंटेनरों की एक मात्रा को बनाने के लिए शुरू देखा था, भले ही एक कमांड को मारने / हटाने के लिए जारी किया गया था)

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container 09c12c9f72d461342447e822857566923d5532280f9ce25659d1ef3e54794484: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container 5e29407bb3154d6f5778676905d112a44596a23fd4a1b047336c3efaca6ada18: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container be22e8b24b70e24e5269b860055423236e4a2fca08969862c3ae3541c4ba4966: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container c067d14b67be8fb81922b87b66c0025ae5ae1ebed3d35dcb4052155afc4cafb4: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container 7f21c4fd8b6620eba81475351e8417b245f86b6014fd7125ba0e37c6684e3e42: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container b31531492ab7e767158601c438031c8e9ef0b50b9e84b0b274d733ed4fbe03a0: Link not found

Error spawning container: Error: HTTP code is 500 which indicates error: server error - Cannot start container 477dc3c691a12f74ea3f07af0af732082094418f6825f7c3d320bda0495504a1: iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 32822 -j DNAT --to-destination 172.17.0.44:7000 ! -i docker0: iptables: No chain/target/match by that name.
 (exit status 1)

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container 6965eec076db173f4e3b9a05f06e1c87c02cfe849821bea4008ac7bd0f1e083a: Link not found

Error spawning container: Error: HTTP code is 404 which indicates error: no such container - Cannot start container 7c721dd2b8d31b51427762ac1d0fe86ffbb6e1d7462314fdac3afe1f46863ff1: Link not found

Error spawning container: Error: HTTP code is 500 which indicates error: server error - Cannot start container c908d059631e66883ee1a7302c16ad16df3298ebfec06bba95232d5f204c9c75: iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 32837 -j DNAT --to-destination 172.17.0.47:7000 ! -i docker0: iptables: No chain/target/match by that name.
 (exit status 1)

Error spawning container: Error: HTTP code is 500 which indicates error: server error - Cannot start container c3e11ffb82fe08b8a029ce0a94e678ad46e3d2f3d76bed7350544c6c48789369: iptables failed: iptables --wait -t nat -A DOCKER -p tcp -d 0/0 --dport 32847 -j DNAT --to-destination 172.17.0.48:7000 ! -i docker0: iptables: No chain/target/match by that name.
 (exit status 1)

हाल की घटना से docker.log की पूंछ:

INFO[44089] DELETE /containers/4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25?force=true
INFO[44089] +job rm(4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25)
INFO[44089] DELETE /containers/a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96?force=true
INFO[44089] +job rm(a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96)
INFO[44089] +job log(die, 4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25, kinvey/blrunner:v0.3.8)
INFO[44089] -job log(die, 4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44089] +job release_interface(4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25)
INFO[44089] -job release_interface(4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25) = OK (0)
INFO[44089] +job log(die, a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96, kinvey/blrunner:v0.3.8)
INFO[44089] -job log(die, a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44089] +job release_interface(a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96)
INFO[44089] -job release_interface(a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96) = OK (0)
INFO[44092] +job log(destroy, 285274ee9c5b3bfa9fcea4d93b75e7e51949752b8d0eb101a31ea4f9aec5dad6, kinvey/blrunner:v0.3.8)
INFO[44092] -job log(destroy, 285274ee9c5b3bfa9fcea4d93b75e7e51949752b8d0eb101a31ea4f9aec5dad6, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44092] -job rm(285274ee9c5b3bfa9fcea4d93b75e7e51949752b8d0eb101a31ea4f9aec5dad6) = OK (0)
INFO[44092] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[44092] +job create()
INFO[44097] +job log(destroy, 4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25, kinvey/blrunner:v0.3.8)
INFO[44097] -job log(destroy, 4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44097] -job rm(4e455d01da8453688dd27cad41fea158757311c0c89f27619a728f272591ef25) = OK (0)
INFO[44097] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[44097] +job create()
INFO[44098] +job log(destroy, c80a39f060f200f1aff8ae52538779542437745e4184ed02793f8873adcb9cd4, kinvey/blrunner:v0.3.8)
INFO[44098] -job log(destroy, c80a39f060f200f1aff8ae52538779542437745e4184ed02793f8873adcb9cd4, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44098] -job rm(c80a39f060f200f1aff8ae52538779542437745e4184ed02793f8873adcb9cd4) = OK (0)
INFO[44098] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[44098] +job create()
INFO[44098] +job log(create, 3b9a4635c068989ddb1983aa12460083e874d50fd42c743033ed3a08000eb7e9, kinvey/blrunner:v0.3.8)
INFO[44098] -job log(create, 3b9a4635c068989ddb1983aa12460083e874d50fd42c743033ed3a08000eb7e9, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44098] -job create() = OK (0)
INFO[44098] POST /containers/3b9a4635c068989ddb1983aa12460083e874d50fd42c743033ed3a08000eb7e9/start
INFO[44098] +job start(3b9a4635c068989ddb1983aa12460083e874d50fd42c743033ed3a08000eb7e9)
INFO[44102] +job log(destroy, a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96, kinvey/blrunner:v0.3.8)
INFO[44102] -job log(destroy, a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96, kinvey/blrunner:v0.3.8) = OK (0)
INFO[44102] -job rm(a608bc1014317b083ac2f32a4c6c85dda65445420775e21d6406ca9146723c96) = OK (0)
INFO[44102] POST /containers/create?Image=kinvey%2Fblrunner%3Av0.3.8&AttachStdout=false&AttachStderr=false&ExposedPorts=&Tty=false&HostConfig=
INFO[44102] +job create()

@ cpuguy83 @ LK4D4 कोई विचार / अपडेट?

कोई विचार नहीं है, क्या सोचना है। यह सॉफ्टवेयर गतिरोध नहीं है, क्योंकि यहां तक ​​कि टास्क की जानकारी भी लटकी हुई है। क्या यह मेमोरी लीक हो सकती है?

PID USER PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND
रूट 20 0 1314832 89688 11568 एस 0.3 2.3 65: 47.56 डॉकटर

यह वही है जो डॉकर प्रक्रिया का उपयोग करता हुआ दिखता है; मेरे लिए स्मृति रिसाव की तरह बहुत ज्यादा नहीं दिखता है ...

मैं उस पर टिप्पणी करूंगा कि "हमें भी" कहना है। हम अपने परीक्षण अवसंरचना के लिए डॉकर का उपयोग कर रहे हैं, और हम उसी परिस्थितियों / परिदृश्यों से टकरा रहे हैं। अगर यह लोड के तहत लॉक हो जाता है तो यह डोकर का उपयोग करने की हमारी क्षमता को प्रभावित करने वाला है।

यदि आपको जानकारी के रूप में आपकी आवश्यकता होगी तो आप मुझे समस्या निवारण परिणामों में योगदान देने में प्रसन्न होंगे।

मैं सिर्फ एक CentOS7 होस्ट पर एक ही मुद्दे में भाग गया।

$ docker version
Client version: 1.6.2
Client API version: 1.18
Go version (client): go1.4.2
Git commit (client): ba1f6c3/1.6.2
OS/Arch (client): linux/amd64
Server version: 1.6.2
Server API version: 1.18
Go version (server): go1.4.2
Git commit (server): ba1f6c3/1.6.2
OS/Arch (server): linux/amd64

$ docker info
Containers: 7
Images: 672
Storage Driver: devicemapper
 Pool Name: docker-253:2-67171716-pool
 Pool Blocksize: 65.54 kB
 Backing Filesystem: xfs
 Data file: /dev/mapper/vg01-docker--data
 Metadata file: /dev/mapper/vg01-docker--metadata
 Data Space Used: 54.16 GB
 Data Space Total: 59.06 GB
 Data Space Available: 4.894 GB
 Metadata Space Used: 53.88 MB
 Metadata Space Total: 5.369 GB
 Metadata Space Available: 5.315 GB
 Udev Sync Supported: true
 Library Version: 1.02.93-RHEL7 (2015-01-28)
Execution Driver: native-0.2
Kernel Version: 3.10.0-229.7.2.el7.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 8
Total Memory: 31.25 GiB

यह हमारे CI सिस्टम पर ख़ुशी देता है। मैंने समानांतर नौकरियों की संख्या में बदलाव किया और फिर समानांतर में 4 नौकरियों की शुरुआत की। इसलिए 4-6 कंटेनर चल रहे थे। लोड लगभग 10 था (8 कोर में से कुछ अभी भी निष्क्रिय होने के साथ)।

जबकि सभी कंटेनर ठीक चल रहे थे, डॉकटर स्वयं फंस गया था। docker images अभी भी छवियां दिखाएंगे, लेकिन सभी docker ps या docker info जैसे सभी बहरा आदेश ठप हो गए हैं।

मेरी धारा ऊपर वाले के समान थी:

strace -p 1194
Process 1194 attached
futex(0x11d2838, FUTEX_WAIT, 0, NULL

थोड़ी देर बाद सभी कंटेनरों को उनकी नौकरियों (संकलन, परीक्षण ..) के साथ किया गया, लेकिन न तो "वापस" आएगा। ऐसा लग रहा है जैसे वे डॉकटर के लिए खुद इंतजार कर रहे थे।

जब मैंने आखिरकार dockerd को मार दिया, तो कंटेनरों ने इस तरह एक संदेश को समाप्त कर दिया:

time="2015-08-05T15:59:32+02:00" level=fatal msg="Post http:///var/run/docker.sock/v1.18/containers/9117731bd16a451b89fd938f569c39761b5f8d6df505256e172738e0593ba125/wait: EOF. Are you trying to connect to a TLS-enabled daemon without TLS?" 

हम अपने CI वातावरण में Centos 7 पर @filex जैसी ही चीज़ देख रहे हैं

Containers: 1
Images: 19
Storage Driver: devicemapper
 Pool Name: docker--vg-docker--pool
 Pool Blocksize: 524.3 kB
 Backing Filesystem: xfs
 Data file:
 Metadata file:
 Data Space Used: 2.611 GB
 Data Space Total: 32.17 GB
 Data Space Available: 29.56 GB
 Metadata Space Used: 507.9 kB
 Metadata Space Total: 54.53 MB
 Metadata Space Available: 54.02 MB
 Udev Sync Supported: true
 Deferred Removal Enabled: true
 Library Version: 1.02.93-RHEL7 (2015-01-28)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 3.10.0-229.11.1.el7.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 2
Total Memory: 7.389 GiB
Name: ip-10-1-2-234
ID: 5YVL:O32X:4NNA:ICSJ:RSYS:CNCI:6QVC:C5YR:XGR4:NQTW:PUSE:YFTA

Client version: 1.7.1
Client API version: 1.19
Package Version (client): docker-1.7.1-108.el7.centos.x86_64
Go version (client): go1.4.2
Git commit (client): 3043001/1.7.1
OS/Arch (client): linux/amd64
Server version: 1.7.1
Server API version: 1.19
Package Version (server): docker-1.7.1-108.el7.centos.x86_64
Go version (server): go1.4.2
Git commit (server): 3043001/1.7.1
OS/Arch (server): linux/amd64

यहाँ भी: docker ps, rm, stop, run, info और शायद अधिक पर प्रतिक्रिया नहीं दे रहा था। बाद में कुछ रिबूट, सब कुछ वापस सामान्य हो गया था।

 docker जानकारी
 कंटेनर: 25
 चित्र: 1739
 स्टोरेज ड्राइवर: devicemapper
 पूल का नाम: docker-9: 2-62521632-पूल
 पूल अवरोधक: 65.54 kB
 बैकिंग फाइलसिस्टम: एक्सटॉफ़
 डेटा फ़ाइल: / dev / loop0
 मेटाडेटा फ़ाइल: / dev / loop1
 डेटा स्पेस प्रयुक्त: 96.01 जीबी
 डेटा स्पेस कुल: 107.4 जीबी
 डेटा स्पेस उपलब्ध: 11.36 जीबी
 मेटाडाटा स्पेस प्रयुक्त: 110.5 एमबी
 मेटाडाटा स्पेस कुल: 2.147 जीबी
 मेटाडाटा स्पेस उपलब्ध: 2.037 जीबी
 उदय सिंक समर्थित: सच
 आस्थगित निष्कासन सक्षम: असत्य
 डेटा लूप फ़ाइल: / var / lib / docker / devicemapper / devicemapper / data
 मेटाडेटा लूप फ़ाइल: / var / lib / docker / devicemapper / devicemapper / मेटाडेटा
 लाइब्रेरी संस्करण: 1.02.93-RHEL7 (2015-01-28)
 निष्पादन चालक: देशी-0.2
 लॉगिंग ड्राइवर: json-file
 कर्नेल संस्करण: 3.10.0-229.11.1.el7.x86_64
 ऑपरेटिंग सिस्टम: CentOS Linux 7 (कोर)
 सीपीयू: 8
 कुल मेमोरी: 31.2 GiB
 नाम: CentOS-70-64- न्यूनतम
 ID: EM3I: PELO: SBH6: JRVL: AM6C: UM7W: XJWJ: FI5N: JO77: 7PMF: S57A: PLAT

 docker संस्करण
 क्लाइंट संस्करण: 1.7.1
 क्लाइंट एपीआई संस्करण: 1.19
 पैकेज संस्करण (ग्राहक): docker-1.7.1-108.el7.centos.x86_64
 गो संस्करण (ग्राहक): go1.4.2
 Git प्रतिबद्ध (ग्राहक): 3043001 / 1.7.1
 OS / Arch (क्लाइंट): linux / amd64
 सर्वर संस्करण: 1.7.1
 सर्वर एपीआई संस्करण: 1.19
 पैकेज संस्करण (सर्वर): docker-1.7.1-108.el7.centos.x86_64
 गो संस्करण (सर्वर): go1.4.2
 Git प्रतिबद्ध (सर्वर): 3043001 / 1.7.1
 OS / Arch (सर्वर): linux / amd64

मैं 1.6.2 और 1.8.2 पर हूं और मेरा डॉकटर सेटअप भी लोड के तहत पिघल रहा है। ऐसा लग रहा है कि डॉक जॉब कतार धीरे-धीरे उस बिंदु तक भर रही है जहां किसी भी नए कॉल में मिनट लगते हैं। फाइलसिस्टम को ट्यून करना और छोटी संख्या में कंटेनर रखना चीजों को थोड़ा बेहतर बनाता है। मैं अभी भी कुछ पैटर्नों की खोज कर रहा हूं।

$ docker version
Client:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   44b3b67
 Built:        Mon Sep 14 23:56:40 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   44b3b67
 Built:        Mon Sep 14 23:56:40 UTC 2015
 OS/Arch:      linux/amd64

मुझे भी। मुझे यकीन है कि इस धागे को पाकर मैं खुश हूं, मैं पिछले दो हफ्तों से अपना दिमाग खो रहा था कि यह देखने की कोशिश कर रहा हूं कि समस्या क्या हो सकती है।
मुझे लगता है कि इसके कंटेनरों की मात्रा को एक साथ शुरू किया जा रहा है, यह एक गतिरोध के क्लासिक मामले जैसा दिखता है।

मेरे मामले में, यह केवल कंटेनरों से भरा एक हाथ था जिसे एक साथ शुरू किया जा रहा था (शायद 3-5)। लेकिन उन सभी को STDIN (docker run) के माध्यम से एक बड़ी इनपुट स्ट्रीम प्राप्त होती है, जिसने डेमॉन पर अतिरिक्त तनाव डाला हो सकता है।

@filex का एक समान उपयोग मामला है। हालाँकि हम 1.8.2 पर प्रवास करने से पहले इन फ्रीज का सामना नहीं करते थे

आज मैं इस तरह की समस्याओं को पूरा करता हूं - docker ps फ्रोजन, docker 100% cpu खाते हैं।
और अब मैं देख रहा हूं कि मेरे डेटाडॉग-एजेंट ने लूप में डॉकटर से इस विकल्प के साथ कंटेनर के बारे में पूछा:

collect_container_size: true

इसलिए मेरे पास बहुत कठिन ऑपरेशन के साथ अनंत लूप है (मेरे पास 10k से अधिक कंटेनर हैं)। के बाद मैं datadog docker एकीकरण बंद कर दिया, सिस्टम runnig ठीक है - docker ps ने काम किया, docker 0% cpu खाते हैं।

मैं कैडवाइज़र के साथ प्रयोग कर रहा हूं और यह डॉकटर को भी पिघला रहा है .. मृतकों की संख्या कम करने की कोशिश करें, बाहर निकलने वाले कंटेनर और देखें कि क्या लोड कम करता है।

क्या आप कृपया अपने निष्कर्षों पर अधिक विस्तार कर सकते हैं?

Thu पर, 1 अक्टूबर, 2015, 00:23 अलेक्जेंडर वैगिन सूचनाएं @github.com ने लिखा:

आज मैं इस तरह की समस्याओं को पूरा करता हूं - docker ps फ्रोजन, docker 100% cpu खाते हैं।
और अब मैं देख रहा हूं कि मेरे डेटाडॉग-एजेंट ने डॉकटर से इसके बारे में पूछा
इस विकल्प के साथ कंटेनर:

collect_container_size: सच

इसलिए मेरे पास बहुत कठिन ऑपरेशन के साथ अनंत लूप है (मेरे पास 10k से अधिक है
कंटेनर)। मैं datadog docker एकीकरण बंद करने के बाद, सिस्टम रननिग ok -
docker ps ने काम किया, docker 0% cpu खाते हैं।

-
इस ईमेल का उत्तर सीधे दें या इसे GitHub पर देखें
https://github.com/docker/docker/issues/13885#issuecomment -144546581।

@ मेरे
मैंने पाया कि कोई व्यक्ति लॉग (/var/log/upstart/docker.logs) में मेरे docker को अनुरोध भेजता है। और मैंने पाया कि यह कौन था :)
आपको और क्या बताया?

:) मैं उल्लेख करता हूं, क्या वह एजेंट कर्ता का एक हिस्सा है और मैं इसका आकार बदल सकता हूं
जाँच भी, या यह बाहरी एजेंट है?

Thu पर, 1 अक्टूबर 2015, 14:03 अलेक्जेंडर वैगिन सूचनाएं @github.com ने लिखा:

@ohade https://github.com/ohade मेरा काम करने वाला बिना किसी फ्रीज के काम करता है
24/7। हर बार इसमें 60-80 कंटेनर शुरू होते हैं। मेरे पास लगभग 1500 नए हैं
एक दिन में कंटेनर। इसलिए जब मैंने देखा कि इस भार के साथ यह जमा हुआ है और
केवल docker (सिस्टम के पास बहुत सारी मुफ्त मेमोरी, io, cpu) है, मुझे लगता है कि
यह एक आम समस्या नहीं है।
मैंने पाया कि कोई व्यक्ति लॉग में मेरे docker को अनुरोध भेजता है
(/var/log/upstart/docker.logs)। और मैंने पाया कि यह कौन था :)
आपको और क्या बताया?

-
इस ईमेल का उत्तर सीधे दें या इसे GitHub पर देखें
https://github.com/docker/docker/issues/13885#issuecomment -144697619

@ohade नहीं, यह

मैं इस मुद्दे के रूप में अच्छी तरह से कर रहा हूँ जब से मैं करने के लिए अद्यतन किया गया 1.8.2

इस पर कोई प्रगति? हमारे परीक्षण बुनियादी ढांचे में, मैं बड़ी संख्या में या कम जीवित कंटेनरों को पाल रहा हूं और मैं दिन में एक से अधिक बार इस मुद्दे में भाग रहा हूं।

docker version
Client:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   0a8c2e3
 Built:        Thu Sep 10 19:12:52 UTC 2015
 OS/Arch:      linux/amd64
Server:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   0a8c2e3
 Built:        Thu Sep 10 19:12:52 UTC 2015
 OS/Arch:      linux/amd64

लिनक्स संस्करण:

$ uname -a
Linux grpc-interop1 3.16.0-0.bpo.4-amd64 #1 SMP Debian 3.16.7-ckt11-1+deb8u3~bpo70+1 (2015-08-08) x86_64 GNU/Linux

हम 1.8.3 पर चले गए:

# docker version 
Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 06:06:01 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 06:06:01 UTC 2015
 OS/Arch:      linux/amd64

लेकिन फिर भी यह दुर्घटनाग्रस्त रहा, पहले कुछ दिनों में एक बार, और बाद में दिन में दस बार तक। CentOS 7 से डिवाइस-मैपर / लूपबैक के साथ उबंटू 14.04 LTS में AUFS के साथ माइग्रेट करके इसे सॉर्ट किया गया।

इस अंक को भी देखें https://github.com/docker/docker/issues/12606#issuecomment -149659953

मैं इस kubernetes के e2e परीक्षणों को एक लूप में चलाकर समस्या को पुन: उत्पन्न कर सकता हूं।

मैंने डेमन के ट्रेस लॉग को पकड़ा, ऐसा लगता है कि एक गतिरोध है, बहुत सारे गोरआउट semacquire पर लटके हुए हैं

goroutine 8956 [semacquire, 8 minutes]:
sync.(*Mutex).Lock(0xc208961650)
/usr/lib/go/src/sync/mutex.go:66 +0xd3
github.com/docker/docker/daemon.func·028(0xc20861c1e0, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/list.go:84 +0xfc
github.com/docker/docker/daemon.(*Daemon).Containers(0xc2080a50a0, 0xc209ec4820, 0x0, 0x0, 0x0, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/list.go:187 +0x917
github.com/docker/docker/api/server.(*Server).getContainersJSON(0xc208032540, 0xc3f700, 0x4, 0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0, 0xc20a09fa10, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/api/server/server.go:562 +0x3ba
github.com/docker/docker/api/server.*Server.(github.com/docker/docker/api/server.getContainersJSON)·fm(0xc3f700, 0x4, 0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0, 0xc20a09fa10, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/api/server/server.go:1526 +0x7b
github.com/docker/docker/api/server.func·008(0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/api/server/server.go:1501 +0xacd
net/http.HandlerFunc.ServeHTTP(0xc208033380, 0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0)
/usr/lib/go/src/net/http/server.go:1265 +0x41
github.com/gorilla/mux.(*Router).ServeHTTP(0xc2080b1090, 0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/vendor/src/github.com/gorilla/mux/mux.go:98 +0x297
net/http.serverHandler.ServeHTTP(0xc20804f080, 0x7f214584f110, 0xc20a306d20, 0xc209d4a9c0)
/usr/lib/go/src/net/http/server.go:1703 +0x19a
net/http.(*conn).serve(0xc208743680)
/usr/lib/go/src/net/http/server.go:1204 +0xb57
created by net/http.(*Server).Serve
/usr/lib/go/src/net/http/server.go:1751 +0x35e

पूर्ण ट्रेस यहाँ:
https://gist.github.com/yifan-gu/ac0cbc2a59a7b8c3fe2d

नवीनतम संस्करण पर परीक्षण करने का प्रयास करेंगे

एक और रन की कोशिश की, अभी भी 1.7.1 के साथ, लेकिन इस बार कुछ और दिलचस्प पाया गया:

goroutine 114 [syscall, 50 minutes]:
syscall.Syscall6(0x3d, 0x514, 0xc2084e74fc, 0x0, 0xc208499950, 0x0, 0x0, 0x44199c, 0x441e22, 0xb28140)
/usr/lib/go/src/syscall/asm_linux_amd64.s:46 +0x5
syscall.wait4(0x514, 0xc2084e74fc, 0x0, 0xc208499950, 0x90, 0x0, 0x0)
/usr/lib/go/src/syscall/zsyscall_linux_amd64.go:124 +0x79
syscall.Wait4(0x514, 0xc2084e7544, 0x0, 0xc208499950, 0x41a768, 0x0, 0x0)
/usr/lib/go/src/syscall/syscall_linux.go:224 +0x60
os.(*Process).wait(0xc2083e2b20, 0xc20848a860, 0x0, 0x0)
/usr/lib/go/src/os/exec_unix.go:22 +0x103
os.(*Process).Wait(0xc2083e2b20, 0xc2084e7608, 0x0, 0x0)
/usr/lib/go/src/os/doc.go:45 +0x3a
os/exec.(*Cmd).Wait(0xc2083c9a40, 0x0, 0x0)
/usr/lib/go/src/os/exec/exec.go:364 +0x23c
github.com/docker/libcontainer.(*initProcess).wait(0xc20822cf30, 0x1b6, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/vendor/src/github.com/docker/libcontainer/process_linux.go:194 +0x3d
github.com/docker/libcontainer.Process.Wait(0xc208374a30, 0x1, 0x1, 0xc20839b000, 0x47, 0x80, 0x127e348, 0x0, 0x127e348, 0x0, ...)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/vendor/src/github.com/docker/libcontainer/process.go:60 +0x11d
github.com/docker/libcontainer.Process.Wait·fm(0xc2084e7ac8, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/execdriver/native/driver.go:164 +0x58
github.com/docker/docker/daemon/execdriver/native.(*driver).Run(0xc20813c230, 0xc20832a900, 0xc20822cc00, 0xc208374900, 0x0, 0x41a900, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/execdriver/native/driver.go:170 +0xa0a
github.com/docker/docker/daemon.(*Daemon).Run(0xc2080a5880, 0xc2080a21e0, 0xc20822cc00, 0xc208374900, 0x0, 0xc2084b6000, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/daemon.go:1068 +0x95
github.com/docker/docker/daemon.(*containerMonitor).Start(0xc20853d180, 0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/monitor.go:138 +0x457
github.com/docker/docker/daemon.*containerMonitor.Start·fm(0x0, 0x0)
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/daemon/container.go:732 +0x39
github.com/docker/docker/pkg/promise.func·001()
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/pkg/promise/promise.go:8 +0x2f
created by github.com/docker/docker/pkg/promise.Go
/build/amd64-usr/var/tmp/portage/app-emulation/docker-1.7.1-r4/work/docker-1.7.1/.gopath/src/github.com/docker/docker/pkg/promise/promise.go:9 +0xfb

मैंने ऐसे गोरक्षकों के एक झुंड को यहाँ लटके हुए देखा। यदि Container.Start() लटकता है, तो इससे कंटेनर लॉक रिलीज़ नहीं होगा, और सभी docker ps लटकाएंगे। (ऐसा लगता है कि यह v.1.9.0-rc1 के लिए भी सही है)

हालांकि मुझे यकीन नहीं है कि Container.Start() हैंग क्यों होता है, और क्या यह docker ps लटकने का एकमात्र कारण है।

https://github.com/docker/docker/blob/v1.9.0-rc1/daemon/container.go#L243
https://github.com/docker/docker/blob/v1.9.0-rc1/daemon/container.go#L304
https://github.com/docker/docker/blob/v1.9.0-rc1/daemon/list.go#L113

मुझे लगता है कि हमें इस तरह के syscalls से पहले एक म्यूटेक्स नहीं रखने की कोशिश करनी चाहिए ...

मेरे लिए यह एक प्रमुख मुद्दा है, क्या डॉकर से कोई इस पर गौर कर रहा है?

ping @ LK4D4 @tiborvass ^ ^ https://github.com/docker/docker/issues/13885#issuecomment -149767470

हमारे पास इसी तरह का मुद्दा है। डॉकटर 1.8.2 के तहत, मुझे संदेह है कि डेमन में जाने वाले नियमित या अन्य लीक हैं।

जब तेज निर्माण / विलोपन तनाव के तहत किया जाता है, तो docker ps हमेशा के लिए खत्म हो जाएगा, और अंततः docker डेमन हार जाएगा।

मैं 1.8.2 के साथ इसी तरह के मुद्दे रख रहा हूं। मैंने 1.9 आरसी 2 की कोशिश की और इसी तरह के मुद्दे थे, बहुत सारे हैंग हो गए और डॉकटर डेमन को फिर से शुरू किया, जिसने कभी-कभी चीजों को ठीक किया और अधिक बार नहीं किया।

मुझे यह जानने के लिए उत्सुक होना चाहिए कि जब कोई चीज लटकती है, तो उसे मारने से पहले कितनी देर तक लटका रहता है?
क्या यह कभी वापस लौटता है यदि आप इसे बाहर इंतजार करते हैं?

हालांकि मेरे पास समय नहीं था, मैं कहूंगा कि यह कम से कम बीस मिनट से अधिक था। मैंने डॉकटर-कंपोज़ किल बनाम स्टॉप का उपयोग करना शुरू कर दिया है और यह बेहतर लगता है, लेकिन समय बताएगा। मुझे लॉग से कुछ भी स्पष्ट नहीं दिखता है।

हम इसे सेंटोस 7.1, डॉकटर 1.8.2 पर भी देखते हैं। मेरे पेट मुझे बताता है कि यह एक datamapper / loopback समस्या है।

हमारी सूची में अगला यह प्रयास करना है: https://github.com/projectatomic/docker-storage-setup (h / t @ibuildthecloud )

यह भी अनुभव करना और यह भारी भार के अधीन नहीं है।

सेंटोस 7

डॉकर संस्करण

Client:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   0a8c2e3
 Built:        Thu Sep 10 19:08:45 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.2
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   0a8c2e3
 Built:        Thu Sep 10 19:08:45 UTC 2015
 OS/Arch:      linux/amd64

डॉकटर जानकारी

Containers: 4
Images: 40
Storage Driver: devicemapper
 Pool Name: docker-202:1-25190844-pool
 Pool Blocksize: 65.54 kB
 Backing Filesystem: xfs
 Data file: /dev/loop0
 Metadata file: /dev/loop1
 Data Space Used: 2.914 GB
 Data Space Total: 107.4 GB
 Data Space Available: 81.05 GB
 Metadata Space Used: 4.03 MB
 Metadata Space Total: 2.147 GB
 Metadata Space Available: 2.143 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: false
 Data loop file: /var/lib/docker/devicemapper/devicemapper/data
 Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
 Library Version: 1.02.93-RHEL7 (2015-01-28)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 3.10.0-123.8.1.el7.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 4
Total Memory: 6.898 GiB
Name: ip-10-50-185-203
ID: EOMR:4G7Y:7H6O:QOXE:WW4Z:3R2G:HLI4:ZMXY:GKF3:YKSK:TIHC:MHZF
[centos@ip-10-50-185-203 ~]$ uname -a
Linux ip-10-50-185-203 3.10.0-123.8.1.el7.x86_64 #1 SMP Mon Sep 22 19:06:58 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

docker की छवियाँ काम करती हैं लेकिन docker ps लटकी हुई हैं।

स्ट्रेस आउटपुट की अंतिम कुछ पंक्तियाँ:

clock_gettime(CLOCK_MONOTONIC, {2393432, 541406232}) = 0
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
socket(PF_LOCAL, SOCK_DGRAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3
setsockopt(3, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
connect(3, {sa_family=AF_LOCAL, sun_path="/run/systemd/journal/socket"}, 30) = 0
epoll_create1(EPOLL_CLOEXEC)            = 4
epoll_ctl(4, EPOLL_CTL_ADD, 3, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=2856433208, u64=139812631852600}}) = 0
getsockname(3, {sa_family=AF_LOCAL, NULL}, [2]) = 0
getpeername(3, {sa_family=AF_LOCAL, sun_path="/run/systemd/journal/socket"}, [30]) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 542834304}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 542897330}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543010460}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543090332}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543157219}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543208557}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543306537}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543364486}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 108316907}) = 0
mmap(0xc208100000, 1048576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xc208100000
mmap(0xc207fe0000, 65536, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0xc207fe0000
clock_gettime(CLOCK_MONOTONIC, {2393432, 543814528}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543864338}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 543956865}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 544018495}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 544402150}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 544559595}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 544607443}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 109474379}) = 0
epoll_wait(4, {{EPOLLOUT, {u32=2856433208, u64=139812631852600}}}, 128, 0) = 1
clock_gettime(CLOCK_MONOTONIC, {2393432, 544968692}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545036728}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545095771}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545147947}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545199057}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545251039}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545308858}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 545756723}) = 0
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_REALTIME, {1446718224, 112187655}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 112265169}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 112345304}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 547677486}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 547743669}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 547801800}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 547864215}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 547934364}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 548042167}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 548133574}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 548209405}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 113124453}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 548493023}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 548566472}) = 0
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
futex(0xc208020ed8, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {2393432, 549410983}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 549531015}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 549644468}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 549713961}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 549800266}) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 549864335}) = 0
ioctl(0, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
ioctl(1, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
stat("/root/.docker/config.json", 0xc208052900) = -1 ENOENT (No such file or directory)
stat("/root/.dockercfg", 0xc208052990)  = -1 ENOENT (No such file or directory)
clock_gettime(CLOCK_REALTIME, {1446718224, 115099477}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 115153125}) = 0
socket(PF_LOCAL, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 5
setsockopt(5, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
connect(5, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, 23) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 550603891}) = 0
clock_gettime(CLOCK_REALTIME, {1446718224, 115517051}) = 0
epoll_ctl(4, EPOLL_CTL_ADD, 5, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=2856433016, u64=139812631852408}}) = 0
getsockname(5, {sa_family=AF_LOCAL, NULL}, [2]) = 0
getpeername(5, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, [23]) = 0
clock_gettime(CLOCK_MONOTONIC, {2393432, 550961223}) = 0
read(5, 0xc208131000, 4096)             = -1 EAGAIN (Resource temporarily unavailable)
clock_gettime(CLOCK_MONOTONIC, {2393432, 551138398}) = 0
write(5, "GET /v1.20/containers/json HTTP/"..., 108) = 108
epoll_wait(4, {{EPOLLOUT, {u32=2856433016, u64=139812631852408}}}, 128, 0) = 1
epoll_wait(4, 

@chbatey क्या आप अपनी टिप्पणी संपादित कर सकते हैं, और docker version का आउटपुट जोड़ सकते हैं?

मेरे और मेरे लिए, मेरे चेहरे को लाल रंग दो। मैंने डेमॉन को डिबग में दौड़ाया और एक साझा मात्रा की खोज की जो कि सीआईएफ माउंट हैंगिंग थी। एक बार मैंने इस बात का ध्यान रखा, चीजें अब मेरे लिए ठीक काम कर रही हैं।

@pspierce कोई समस्या नहीं है, वापस रिपोर्ट करने के लिए धन्यवाद!

मुझे यह सुनने के लिए दिलचस्पी है कि क्या यह अभी भी 1.9 पर किसी के लिए एक मुद्दा है

हम इसे 1.8.2 सेंटोस 7.1 के साथ काफी बार देख रहे हैं, लेकिन केवल हमारे उच्च मंथन मेजबान (~ 2,100 कंटेनर / घंटा) पर। यह हमारे पहचाने गए कॉन्फ़िगर को प्रभावित नहीं करता है, लेकिन कम मात्रा (~ 300 कंटेनर / घंटा) होस्ट करता है, इसलिए यह समवर्ती संचालन के बहुत सारे प्रकार के गतिरोध को ट्रिगर करता है? हम इसे ~ / 6 घंटे के उच्च-मंथन गतिविधि को देखते हैं, और अब तक जो एकमात्र समाधान हमने पाया है वह है नियमित चलना (~ / 3 hrs) डेमॉन पुनः आरंभ करता है कि nuke '/ var / lib / docker / कंटेनरों', और ' / var / lib / docker / संस्करणों 'जबकि हमारे चित्रों को उछालने के बिना होस्ट को "ताज़ा" लाने के लिए डेमन के डाउन, जिसके बाद docker ps और एपीआई-संचालित कंटेनर-स्टार्ट कॉल फिर से तेज़ हो जाते हैं।

हम 1.9 को इस आने वाले सप्ताह में आज़माएँगे और देखेंगे कि क्या यह बिल्कुल भी मदद करता है (उँगलियाँ पार हो गई हैं!); fwiw, हमने 1.6.2 पर इस क्रमिक जवाबदेही की कमी (और अंतिम गतिरोध) का सामना नहीं किया।

यहाँ विवरण फिर से है: हमारे वर्तमान सेटअप:

PRODUCTION [[email protected] ~]$ docker -D info
Containers: 8
Images: 41
Storage Driver: overlay
 Backing Filesystem: xfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.3.0-1.el7.elrepo.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 4
Total Memory: 7.796 GiB
Name: cc-docker01.prod.iad01.treehouse
ID: AB4S:SO4Z:AEOS:MC3H:XPRV:SIH4:VE2N:ELYX:TA5S:QQWP:WDAP:DUKE
Username: xxxxxxxxxxxxxx
Registry: https://index.docker.io/v1/
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled

PRODUCTION [[email protected] ~]$ docker -D version
Client:
 Version:      1.8.2
 API version:  1.20
 Package Version: docker-1.8.2-7.el7.centos.x86_64
 Go version:   go1.4.2
 Git commit:   bb472f0/1.8.2
 Built:        
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.2
 API version:  1.20
 Package Version: 
 Go version:   go1.4.2
 Git commit:   bb472f0/1.8.2
 Built:        
 OS/Arch:      linux/amd64

Ubuntu 14.04 पर भी इसे देखकर, केवल 8 कंटेनर चल रहे हैं लेकिन उच्च डिस्क और सीपीयू लोड हो रहा है। कंटेनरों को पुनः आरंभ किया जाता है क्योंकि वे पूर्ण होते हैं इसलिए हमेशा 8 चल रहे होते हैं। डेमोन कुछ सौ से लेकर कुछ हज़ार तक संचयी कंटेनर चलाता है। जब मैं लूपबैक पर चल रहा था तो मैंने डेमॉन हैंग नहीं देखा था, लेकिन पिछले कुछ दिनों में दो बार थनपूल का उपयोग करके ऐसा हुआ है। यह 64 जीबी रैम के साथ 40 कोर वर्कस्टेशन पर है।

डॉकर संस्करण:
~ $ docker संस्करण
ग्राहक:
संस्करण: 1.9.1
एपीआई संस्करण: 1.21
जाओ संस्करण: go1.4.2
Git कमिट: a34a1d5
निर्मित: शुक्र नवंबर 20 13:12:04 यूटीसी 2015
OS / Arch: linux / amd64

सर्वर:
संस्करण: 1.9.1
एपीआई संस्करण: 1.21
जाओ संस्करण: go1.4.2
Git कमिट: a34a1d5
निर्मित: शुक्र नवंबर 20 13:12:04 यूटीसी 2015
OS / Arch: linux / amd64

--- डॉकर छवि काम करती है लेकिन डॉक पीएस हैंग करता है। docker की जानकारी भी हैंग करती है। यहाँ docker ps के लिए स्ट्रेस का अंत है:
सॉकेट (PF_LOCAL, SOCK_STREAM | SOCK_CLOEXEC | SOCK_NONBLOCK, 0 = 3)
setsockopt (3, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
कनेक्ट (3, {sa_family = AF_LOCAL, sun_path = "/ var / run / docker.sock"}, 23) = 0
epoll_create1 (EPOLL_CLOEXEC) = 4
epoll_ctl (4, EPOLL_CTL_ADD, 3, {EPOLLIN | EPOLLOUT | EPOLLRDHUP | EPOLLET, {u32 = 3565442144, uul = 140517715498080}}) = 0 =
getsockname (3, {sa_family = AF_LOCAL, NULL}, [2]) = 0
गेटपेरनेम (3, {sa_family = AF_LOCAL, sun_path = "/ var / run / docker.sock"}, [23]) = 0
पढ़ें (3, 0xc208506000, 4096) = -1 ईगन (संसाधन अस्थायी रूप से अनुपलब्ध)
लिखना (3, "GET /v1.21/containers/json HTTP /" ..., 108) = 108
epoll_wait (4, {{EPOLLOUT, {u32 = 3565442144, u64 = 140517715498080}}}}, 128, 0) = 1
epoll_wait (4,

हमारे पास 1.7.1 के तहत यह था, और इसके चारों ओर बहुत प्रभावी ढंग से काम किया (हमने इसे 1.7.1 के तहत हर कुछ घंटों में देखा, लेकिन कभी भी 1+ महीने के बाद के समाधान के लिए नहीं):

udevadm control --timeout=300

हम RHEL7.1 चला रहे हैं। हमने बिना किसी अन्य बदलाव के डॉकटर 1.8.2 में अपग्रेड किया और हमारे ऐप ने इसे कुछ ही घंटों में लॉक कर दिया। स्ट्रेस:

``
]
[pid 4200] fstat (36, {st_mode = S_IFREG | 0644, st_size = 0, ...}) = 0
[pid 4239] <... फिर से शुरू करें>) = 0 (टाइमआउट)
[पीआईडी ​​4200] पढ़ा (36, [pid 4239] चयन करें (0, NULL, NULL, NULL, {0, 20}) [pid 4200] <... फिर से शुरू करें> "FREEZINGn", 512) = 9
[pid 4200] पढ़ा (36, "", 1527) = 0
[पीआईडी ​​४२००] करीब (३६) = ०
[pid 4200] futex (0x1778e78, FUTEX_WAKE, 1 [pid 4239] <... फिर से शुरू करें>) = 0 (टाइमआउट)
[pid 5252] <... futex फिर से शुरू>) = 0
[pid 4200] <... futex फिर से शुरू>) = 1
[pid 5252] futex (0xc2085daed8, FUTEX_WAIT, 0, NULL [pid 4239] चयन करें (0, NULL, NULL, NULL, {0, 20}) [pid 4200] futex (0xc2085daed8, FUTEX_WAKE, 1 [pid 5252] <... futex resumed>) = -1 EAGAIN (अस्थायी रूप से अनुपलब्ध संसाधन)
[pid 4200] <... फ़ुटेक्स पुनः आरंभ>) = 0
[pid 5252] epoll_wait (4, [pid 4200] फ़ुटेक्स (0x1778e78, FUTEX_WAIT, 0, {0, 95867}} [pid 5252] <... epoll_wait फिर से शुरू> {}, 128, 0) = 0
[pid 5252] futex (0xc2085daed8, FUTEX_WAIT, 0, NULL [pid 4239] <... फिर से शुरू करें>) = 0 (टाइमआउट)

हम एक ही मुद्दे का सामना कर रहे हैं https://github.com/giantswarm/giantswarm/issues/289

अद्यतन: ऐसा लगता है कि मेरी परिकल्पना के बारे में docker run / docker rm अनसुना था। मैंने केवल कई docker run s करने की कोशिश की और जो व्यवहार को गति देने के लिए पर्याप्त था। मैंने एक डीएम थिनपूल में स्विच करने की भी कोशिश की, लेकिन इससे भी मदद नहीं मिली। मेरा समाधान केवल यह सुनिश्चित करना था कि कई कंटेनरों को "समान" समय पर शुरू नहीं किया जाता है, अर्थात मैं कम से कम ~ 10-30 सेकंड के अंतराल के बीच जोड़ देता हूं। अब डेमॉन बिना किसी समस्या के 2 सप्ताह से अधिक समय से चल रहा है। अपडेट का अंत।

बस एक और पुष्टि जोड़ने के लिए, हम इसे 1.9.0 में देख रहे हैं। हम एक बार में बहुत अधिक, अधिकतम 8 कंटेनर (1 प्रति कोर) नहीं पैदा कर रहे हैं, और प्रति घंटे ~ 40 से अधिक नहीं। मूल रिपोर्ट के साथ एक सामान्य बात यह है कि हम docker run और docker rm -f कुछ अंतःक्रियात्मक आह्वान करते हुए भी समाप्त होते हैं। मेरी आंत की भावना यह है कि यह कई समवर्ती कंटेनर बनाता है और हटाता है जो गतिरोध को रोकता है।

$ docker version
Client:
 Version:      1.9.0
 API version:  1.21
 Go version:   go1.4.2
 Git commit:   76d6bc9
 Built:        Tue Nov  3 18:00:05 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.9.0
 API version:  1.21
 Go version:   go1.4.2
 Git commit:   76d6bc9
 Built:        Tue Nov  3 18:00:05 UTC 2015
 OS/Arch:      linux/amd64

$ docker -D info
Containers: 10
Images: 119
Server Version: 1.9.0
Storage Driver: devicemapper
 Pool Name: docker-253:1-2114818-pool
 Pool Blocksize: 65.54 kB
 Base Device Size: 107.4 GB
 Backing Filesystem: xfs
 Data file: /dev/loop0
 Metadata file: /dev/loop1
 Data Space Used: 7.234 GB
 Data Space Total: 107.4 GB
 Data Space Available: 42.64 GB
 Metadata Space Used: 10.82 MB
 Metadata Space Total: 2.147 GB
 Metadata Space Available: 2.137 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: false
 Deferred Deletion Enabled: false
 Deferred Deleted Device Count: 0
 Data loop file: /var/lib/docker/devicemapper/devicemapper/data
 Metadata loop file: /var/lib/docker/devicemapper/devicemapper/metadata
 Library Version: 1.02.93-RHEL7 (2015-01-28)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 3.10.0-229.20.1.el7.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 8
Total Memory: 15.51 GiB

@mjsalinger हमें भी आपके साथ वही समस्या है, उसी सेटअप के साथ, क्या आपने समस्या का समाधान किया है?

एक ही मुद्दा यहाँ

~ # docker info
Containers: 118
Images: 2239
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.2-coreos-r1
Operating System: CoreOS 835.8.0
CPUs: 16
Total Memory: 29.44 GiB
Username: util-user
Registry: https://index.docker.io/v1/
Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   cedd534-dirty
 Built:        Tue Dec  1 02:00:58 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   cedd534-dirty
 Built:        Tue Dec  1 02:00:58 UTC 2015
 OS/Arch:      linux/amd64

हमारे लॉग जैसे चीजों से भरे हुए हैं:

time="2016-01-08T21:38:34.735146159Z" level=error msg="Failed to compute size of container rootfs e4565ff148266389cbf70af9f22f9c62aa255bacaec0925a72eab5d0dca9da5f: Error getting container e4565ff148266389cbf70af9f22f9c62aa255bacaec0925a72eab5d0dca9da5f from driver overlay: stat /var/lib/docker/overlay/e4565ff148266389cbf70af9f22f9c62aa255bacaec0925a72eab5d0dca9da5f: no such file or directory"

तथा

time="2016-01-08T21:42:34.846701169Z" level=error msg="Handler for GET /containers/json returned error: write unix @: broken pipe"
time="2016-01-08T21:42:34.846717812Z" level=error msg="HTTP Error" err="write unix @: broken pipe" statusCode=500

लेकिन मुझे यकीन नहीं है कि अगर किसी को भी फांसी के मुद्दे से कोई लेना देना है।

SIGUSR1 को एक डेमन को भेजकर सभी डॉकटर गोरोइटिन स्टैक्स को डंप करना सहायक हो सकता है।

@whosthatknocking को भी नहीं पता था कि मैं ऐसा कर सकता था, अच्छा।

time="2016-01-08T22:20:16.181468178Z" level=info msg="=== BEGIN goroutine stack dump ===
goroutine 11 [running]:
github.com/docker/docker/pkg/signal.DumpStacks()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/signal/trap.go:60 +0x7a
github.com/docker/docker/daemon.func·025()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/debugtrap_unix.go:18 +0x6d
created by github.com/docker/docker/daemon.setupDumpStackTrap
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/debugtrap_unix.go:20 +0x18e

goroutine 1 [chan receive, 33262 minutes]:
main.(*DaemonCli).CmdDaemon(0xc20807d1a0, 0xc20800a020, 0x1, 0x1, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/docker/daemon.go:289 +0x1781
reflect.callMethod(0xc208142060, 0xc20842fce0)
    /usr/lib/go/src/reflect/value.go:605 +0x179
reflect.methodValueCall(0xc20800a020, 0x1, 0x1, 0x1, 0xc208142060, 0x0, 0x0, 0xc208142060, 0x0, 0x452ecf, ...)
    /usr/lib/go/src/reflect/asm_amd64.s:29 +0x36
github.com/docker/docker/cli.(*Cli).Run(0xc20810df80, 0xc20800a010, 0x2, 0x2, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/cli/cli.go:89 +0x38e
main.main()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/docker/docker.go:69 +0x428

goroutine 5 [syscall]:
os/signal.loop()
    /usr/lib/go/src/os/signal/signal_unix.go:21 +0x1f
created by os/signal.init·1
    /usr/lib/go/src/os/signal/signal_unix.go:27 +0x35

goroutine 17 [syscall, 33262 minutes, locked to thread]:
runtime.goexit()
    /usr/lib/go/src/runtime/asm_amd64.s:2232 +0x1

goroutine 13 [IO wait, 33262 minutes]:
net.(*pollDesc).Wait(0xc2081eb100, 0x72, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:84 +0x47
net.(*pollDesc).WaitRead(0xc2081eb1
00, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:89 +0x43
net.(*netFD).readMsg(0xc2081eb0a0, 0xc2081bd9a0, 0x10, 0x10, 0xc208440020, 0x1000, 0x1000, 0xffffffffffffffff, 0x0, 0x0, ...)
    /usr/lib/go/src/net/fd_unix.go:296 +0x54e
net.(*UnixConn).ReadMsgUnix(0xc2080384b8, 0xc2081bd9a0, 0x10, 0x10, 0xc208440020, 0x1000, 0x1000, 0x51, 0xc2081bd6d4, 0x4, ...)
    /usr/lib/go/src/net/unixsock_posix.go:147 +0x167
github.com/godbus/dbus.(*oobReader).Read(0xc208440000, 0xc2081bd9a0, 0x10, 0x10, 0xc208440000, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/transport_unix.go:21 +0xc5
io.ReadAtLeast(0x7f9ad52e9310, 0xc208440000, 0xc2081bd9a0, 0x10, 0x10, 0x10, 0x0, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:298 +0xf1
io.ReadFull(0x7f9ad52e9310, 0xc208440000, 0xc2081bd9a0, 0x10, 0x10, 0x51, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:316 +0x6d
github.com/godbus/dbus.(*unixTransport).ReadMessage(0xc2081df900, 0xc208115170, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/transport_unix.go:85 +0x1bf
github.com/godbus/dbus.(*Conn).inWorker(0xc208418480)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/conn.go:248 +0x58
created by github.com/godbus/dbus.(*Conn).Auth
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/auth.go:118 +0xe84

goroutine 10 [chan receive, 33262 minutes]:
github.com/docker/docker/api/server.(*Server).ServeApi(0xc208037800, 0xc20807d3d0, 0x1, 0x1, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/api/server/server.go:111 +0x74f
main.func·007()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/docker/daemon.go:239 +0x5b
created by main.(*DaemonCli).CmdDaemon
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-
1.8.3/work/docker-1.8.3/docker/daemon.go:245 +0xce9

goroutine 14 [chan receive, 33262 minutes]:
github.com/godbus/dbus.(*Conn).outWorker(0xc208418480)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/conn.go:370 +0x58
created by github.com/godbus/dbus.(*Conn).Auth
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/auth.go:119 +0xea1

goroutine 15 [chan receive, 33262 minutes]:
github.com/docker/libnetwork/iptables.signalHandler()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/docker/libnetwork/iptables/firewalld.go:92 +0x57
created by github.com/docker/libnetwork/iptables.FirewalldInit
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/docker/libnetwork/iptables/firewalld.go:48 +0x185

goroutine 50 [chan receive, 33262 minutes]:
database/sql.(*DB).connectionOpener(0xc2081aa0a0)
    /usr/lib/go/src/database/sql/sql.go:589 +0x4c
created by database/sql.Open
    /usr/lib/go/src/database/sql/sql.go:452 +0x31c

goroutine 51 [IO wait]:
net.(*pollDesc).Wait(0xc2081dcd10, 0x72, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:84 +0x47
net.(*pollDesc).WaitRead(0xc2081dcd10, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:89 +0x43
net.(*netFD).readMsg(0xc2081dccb0, 0xc20b38c970, 0x10, 0x10, 0xc20bf3b220, 0x1000, 0x1000, 0xffffffffffffffff, 0x0, 0x0, ...)
    /usr/lib/go/src/net/fd_unix.go:296 +0x54e
net.(*UnixConn).ReadMsgUnix(0xc208038618, 0xc20b38c970, 0x10, 0x10, 0xc20bf3b220, 0x1000, 0x1000, 0x35, 0xc20b38c784, 0x4, ...)
    /usr/lib/go/src/net/unixsock_posix.go:147 +0x167
github.com/godbus/dbus.(*oobReader).Read(0xc20bf3b200, 0xc20b38c970, 0x10, 0x10, 0xc20bf3b200, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/transport_unix.go:21 +0xc5
io.ReadAtLeast(0x7f9ad52e9310, 0xc20bf3b200, 0x
c20b38c970, 0x10, 0x10, 0x10, 0x0, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:298 +0xf1
io.ReadFull(0x7f9ad52e9310, 0xc20bf3b200, 0xc20b38c970, 0x10, 0x10, 0x35, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:316 +0x6d
github.com/godbus/dbus.(*unixTransport).ReadMessage(0xc208176950, 0xc208471470, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/transport_unix.go:85 +0x1bf
github.com/godbus/dbus.(*Conn).inWorker(0xc2080b0fc0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/conn.go:248 +0x58
created by github.com/godbus/dbus.(*Conn).Auth
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/auth.go:118 +0xe84

goroutine 52 [chan receive]:
github.com/godbus/dbus.(*Conn).outWorker(0xc2080b0fc0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/conn.go:370 +0x58
created by github.com/godbus/dbus.(*Conn).Auth
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/godbus/dbus/auth.go:119 +0xea1

goroutine 53 [chan receive]:
github.com/coreos/go-systemd/dbus.func·001()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/coreos/go-systemd/dbus/subscription.go:70 +0x64
created by github.com/coreos/go-systemd/dbus.(*Conn).initDispatch
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/coreos/go-systemd/dbus/subscription.go:94 +0x11c

goroutine 54 [chan receive]:
github.com/docker/docker/daemon.(*statsCollector).run(0xc20844dad0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/stats_collector_unix.go:91 +0xb2
created by github.com/docker/docker/daemon.newStatsCollector
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/wo
rk/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/stats_collector_unix.go:31 +0x116

goroutine 55 [chan receive, 2 minutes]:
github.com/docker/docker/daemon.(*Daemon).execCommandGC(0xc2080908c0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/exec.go:256 +0x8c
created by github.com/docker/docker/daemon.NewDaemon
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/daemon.go:736 +0x2358

goroutine 774 [semacquire, 33261 minutes]:
sync.(*Cond).Wait(0xc208460030)
    /usr/lib/go/src/sync/cond.go:62 +0x9e
io.(*pipe).read(0xc208460000, 0xc208c0bc00, 0x400, 0x400, 0x0, 0x0, 0x0)
    /usr/lib/go/src/io/pipe.go:52 +0x303
io.(*PipeReader).Read(0xc208b52750, 0xc208c0bc00, 0x400, 0x400, 0x1f, 0x0, 0x0)
    /usr/lib/go/src/io/pipe.go:134 +0x5b
github.com/docker/docker/pkg/ioutils.(*bufReader).drain(0xc2084600c0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:116 +0x10e
created by github.com/docker/docker/pkg/ioutils.NewBufReader
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:86 +0x2f3

goroutine 784 [semacquire, 33261 minutes]:
sync.(*Cond).Wait(0xc208460570)
    /usr/lib/go/src/sync/cond.go:62 +0x9e
io.(*pipe).read(0xc208460540, 0xc208963000, 0x400, 0x400, 0x0, 0x0, 0x0)
    /usr/lib/go/src/io/pipe.go:52 +0x303
io.(*PipeReader).Read(0xc208b529d8, 0xc208963000, 0x400, 0x400, 0x1f, 0x0, 0x0)
    /usr/lib/go/src/io/pipe.go:134 +0x5b
github.com/docker/docker/pkg/ioutils.(*bufReader).drain(0xc208460600)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:116 +0x10e
created by github.com/docker/docker/pkg/ioutils.NewBufReader
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/wo
rk/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:86 +0x2f3

goroutine 757 [semacquire, 33261 minutes]:
sync.(*Cond).Wait(0xc208141cb0)
    /usr/lib/go/src/sync/cond.go:62 +0x9e
github.com/docker/docker/pkg/ioutils.(*bufReader).Read(0xc208141c80, 0xc2089f2000, 0x1000, 0x1000, 0x0, 0x7f9ad52d4080, 0xc20802a0d0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:210 +0x158
bufio.(*Reader).fill(0xc208956ae0)
    /usr/lib/go/src/bufio/bufio.go:97 +0x1ce
bufio.(*Reader).ReadSlice(0xc208956ae0, 0x41d50a, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/lib/go/src/bufio/bufio.go:295 +0x257
bufio.(*Reader).ReadBytes(0xc208956ae0, 0xc208141c0a, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/lib/go/src/bufio/bufio.go:374 +0xd2
github.com/docker/docker/daemon/logger.(*Copier).copySrc(0xc2084def40, 0xf8ac00, 0x6, 0x7f9ad003e420, 0xc208141c80)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/logger/copier.go:47 +0x96
created by github.com/docker/docker/daemon/logger.(*Copier).Run
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/logger/copier.go:38 +0x11c

goroutine 842 [chan receive, 33261 minutes]:
github.com/docker/docker/daemon.(*Container).AttachWithLogs(0xc208cc90e0, 0x0, 0x0, 0x7f9ad003e398, 0xc208471e30, 0x7f9ad003e398, 0xc208471e00, 0x100, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/container.go:934 +0x40d
github.com/docker/docker/daemon.(*Daemon).ContainerAttachWithLogs(0xc2080908c0, 0xc208cc90e0, 0xc208471dd0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/attach.go:39 +0x42c
github.com/docker/docker/api/server.(*Server).postContainersAttach(0xc208037800, 0xc208b36007, 0x4, 0x7f9ad52f2870, 0xc20
87fde00, 0xc2087d4410, 0xc208471b90, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/api/server/server.go:1169 +0x5d1
github.com/docker/docker/api/server.*Server.(github.com/docker/docker/api/server.postContainersAttach)·fm(0xc208b36007, 0x4, 0x7f9ad52f2870, 0xc2087fde00, 0xc2087d4410, 0xc208471b90, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/api/server/server.go:1671 +0x7b
github.com/docker/docker/api/server.func·008(0x7f9ad52f2870, 0xc2087fde00, 0xc2087d4410)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/api/server/server.go:1614 +0xc8f
net/http.HandlerFunc.ServeHTTP(0xc2081cc580, 0x7f9ad52f2870, 0xc2087fde00, 0xc2087d4410)
    /usr/lib/go/src/net/http/server.go:1265 +0x41
github.com/gorilla/mux.(*Router).ServeHTTP(0xc20813cd70, 0x7f9ad52f2870, 0xc2087fde00, 0xc2087d4410)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/vendor/src/github.com/gorilla/mux/mux.go:98 +0x297
net/http.serverHandler.ServeHTTP(0xc2082375c0, 0x7f9ad52f2870, 0xc2087fde00, 0xc2087d4410)
    /usr/lib/go/src/net/http/server.go:1703 +0x19a
net/http.(*conn).serve(0xc2087fdd60)
    /usr/lib/go/src/net/http/server.go:1204 +0xb57
created by net/http.(*Server).Serve
    /usr/lib/go/src/net/http/server.go:1751 +0x35e

goroutine 789 [semacquire, 33261 minutes]:
sync.(*WaitGroup).Wait(0xc20882de60)
    /usr/lib/go/src/sync/waitgroup.go:132 +0x169
github.com/docker/docker/daemon.func·017(0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/container.go:1035 +0x42
github.com/docker/docker/pkg/promise.func·001()
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/promise/promise.go:8 +0x2f
created by github.com/docker/docker/pkg
/promise.Go
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/promise/promise.go:9 +0xfb

goroutine 788 [semacquire, 33261 minutes]:
sync.(*Cond).Wait(0xc2084607b0)
    /usr/lib/go/src/sync/cond.go:62 +0x9e
github.com/docker/docker/pkg/ioutils.(*bufReader).Read(0xc208460780, 0xc208a70000, 0x8000, 0x8000, 0x0, 0x7f9ad52d4080, 0xc20802a0d0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/pkg/ioutils/readers.go:210 +0x158
io.Copy(0x7f9ad003e398, 0xc208845860, 0x7f9ad003e420, 0xc208460780, 0x0, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:362 +0x1f6
github.com/docker/docker/daemon.func·016(0xf8abc0, 0x6, 0x7f9ad003e398, 0xc208845860, 0x7f9ad003e3f0, 0xc208460780)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/container.go:1021 +0x245
created by github.com/docker/docker/daemon.attach
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.8.3/work/docker-1.8.3/.gopath/src/github.com/docker/docker/daemon/container.go:1032 +0x597

goroutine 769 [IO wait, 33261 minutes]:
net.(*pollDesc).Wait(0xc20881de20, 0x72, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:84 +0x47
net.(*pollDesc).WaitRead(0xc20881de20, 0x0, 0x0)
    /usr/lib/go/src/net/fd_poll_runtime.go:89 +0x43
net.(*netFD).Read(0xc20881ddc0, 0xc2088ac000, 0x1000, 0x1000, 0x0, 0x7f9ad52d8340, 0xc20880d758)
    /usr/lib/go/src/net/fd_unix.go:242 +0x40f
net.(*conn).Read(0xc208b52360, 0xc2088ac000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/lib/go/src/net/net.go:121 +0xdc
net/http.(*liveSwitchReader).Read(0xc208792c28, 0xc2088ac000, 0x1000, 0x1000, 0x2, 0x0, 0x0)
    /usr/lib/go/src/net/http/server.go:214 +0xab
io.(*LimitedReader).Read(0xc20889f960, 0xc2088ac000, 0x1000, 0x1000, 0x2, 0x0, 0x0)
    /usr/lib/go/src/io/io.go:408 +0xce
bufio.(*Reader).fill(0xc2082544e0)
    /usr/lib/go/src/bufio/bufio.go:97 +0x1ce
bufio.(*Reader).ReadSlice(0xc208254
4e0, 0xc20889db0a, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/lib/go/src/bufio/bufio.go:295 +0x257
bufio.(*Reader).ReadLine(0xc2082544e0, 0x0, 0x0, 0x0, 0xc208bc2700, 0x0, 0x0)
    /usr/lib/go/src/bufio/bufio.go:324 +0x62
net/textproto.(*Reader).readLineSlice(0xc208845560, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/lib/go/src/net/textproto/reader.go:55 +0x9e
net/textproto.(*Reader).ReadLine(0xc208845560, 0x0, 0x0, 0x0, 0x0)
    /u
=== END goroutine stack dump ==="

मैं सिर्फ लटका था, docker go routines संलग्न

मैं भी हैंग के बाद लॉग में बार-बार देख रहा हूं
kernel: unregister_netdevice: waiting for veth2fb10a9 to become free. Usage count = 1

@rwky संभवतः https://github.com/docker/docker/issues/5618 से संबंधित है

@thaJeztah संभवत: # 5618 केवल लो और

समान मुद्दा तब हुआ जब कुबेरनेट की नौकरियों का भारी भार निर्धारित किया गया था। docker ps कभी नहीं लौटता। वास्तव में curl --unix-socket /var/run/docker.sock http:/containers/json लटका हुआ है। मुझे इस समस्या को ठीक करने के लिए docker daemon को पुनः आरंभ करना होगा। क्या बुरा है यह डॉक डेमॉन को पुनरारंभ करने में कुछ मिनट लगते हैं!

$ docker version
Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.3
 Git commit:   cedd534-dirty
 Built:        Thu Nov 19 23:12:57 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.3
 Git commit:   cedd534-dirty
 Built:        Thu Nov 19 23:12:57 UTC 2015
 OS/Arch:      linux/amd64

$ docker info
Containers: 57
Images: 100
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.2-coreos-r2
Operating System: CoreOS 870.2.0
CPUs: 32
Total Memory: 251.9 GiB
Name: CNPVG50853311
ID: TV5P:6OHQ:QTSN:IF6K:5LPX:TSHS:DEAW:TQSF:QTOT:45NO:JH2X:DMSE
Http Proxy: http://proxy.wdf.sap.corp:8080
Https Proxy: http://proxy.wdf.sap.corp:8080
No Proxy: hyper.cd,anywhere.cd

हमारे पर्यावरण पर कुछ ऐसा ही देखकर, किसी भी डिबगिंग की सहायता करने के लिए नीचे दी गई जानकारी को हटा दिया। आँकड़े दो उच्च कल्पना शारीरिक rancheros4.2 मेजबान से हैं, जिनमें से प्रत्येक में लगभग 70 कंटेनर चल रहे हैं। हम डॉकटर के प्रदर्शन को देखते हैं, मैं ट्रिगर को ट्रैक करने में कामयाब नहीं हुआ, लेकिन डॉक डेमॉन के पुनः आरंभ से समस्या का समाधान होता है।

डॉकर संस्करण

Client:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.4.3
 Git commit:   994543b
 Built:        Mon Nov 23 06:08:57 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.4.3
 Git commit:   994543b
 Built:        Mon Nov 23 06:08:57 UTC 2015
 OS/Arch:      linux/amd64

docker जानकारी

Containers: 35
Images: 1958
Server Version: 1.9.1
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.3-rancher
Operating System: RancherOS (containerized)
CPUs: 64
Total Memory: 251.9 GiB
Name: PTL-BCA-07
ID: Q5WF:7MOB:37YR:NRZR:P2FE:DVWV:W7XY:Z6OL:TAVC:4KCM:IUFU:LO4C

स्टैक ट्रेस:
debug2.txt

+1 हमारे लिए भी, निश्चित रूप से अधिक लोड के तहत इसे अक्सर देखते हुए, सेंटो 6 पर चल रहा है

डॉकर संस्करण

Client version: 1.7.1
Client API version: 1.19
Go version (client): go1.4.2
Git commit (client): 786b29d
OS/Arch (client): linux/amd64
Server version: 1.7.1
Server API version: 1.19
Go version (server): go1.4.2
Git commit (server): 786b29d
OS/Arch (server): linux/amd64

डॉकर जानकारी

Containers: 1
Images: 55
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 3.18.23-74.el6.x86_64
Operating System: <unknown>
CPUs: 40
Total Memory: 157.4 GiB
Name: lively-frost
ID: SXAC:IJ45:UY45:FIXS:7MWD:MZAE:XSE5:HV3Z:DU4Z:CYK6:LXPB:A65F

अगर यह हल हो जाता है, तो भी @ssalinas , यह आपकी स्थिति में मदद नहीं करेगा, यह देखते हुए कि आप एक वितरण पर चल रहे हैं जो अब हम (सेंटोस 6) का समर्थन नहीं करते हैं, और एक कस्टम कर्नेल (2.6.x के साथ CentOS 6 जहाज)। यह समस्या डॉकटर 1.7 के लिए हल नहीं होगी, क्योंकि हम पोर्ट परिवर्तन वापस नहीं करते हैं

@theJttah , जाहिर है कि कुछ समस्या है जो भारी भार के कारण रुकावट पैदा कर रही है। क्या आप इस बात की पुष्टि कर सकते हैं कि डॉकर्स की टीम के किसी व्यक्ति ने इस मुद्दे की पहचान की है और इसे संस्करण 1.9 में हल किया गया है?

इसके अलावा, क्या कोई तरीका है अगर मैं यह पहचान सकता हूं कि क्या डॉकरों को फांसी दी जा रही है और उदाहरण नहीं बना रहे हैं? यदि हाँ तो मैं डेमॉन को फिर से चालू करने और ऑपरेशन जारी रखने के लिए कम से कम स्वचालित कर सकता हूं।

हम इस समस्या को निम्न विन्यास के साथ देखते हैं:

डॉकटर 1.8.3 और कोरोस 835.10

docker ps उच्च मंथन दर पर लटका हुआ है। आप इसे 200 या अधिक कंटेनर बनाकर 100% तक ट्रिगर कर सकते हैं (कुबेरनेट्स ऐसा करता है)।

मुझे भी
रेप्रो:

A_LOT=300 # whatever
for i in `seq 1 $A_LOT`; 
  do docker run --rm alpine sh -c "echo $i; sleep 30" & 
done
sleep 5   # give it some time to start spawning containers
docker ps # hangs

core@pph-01 ~ $ docker version
Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   cedd534-dirty
 Built:        Tue Feb  2 13:28:10 UTC 2016
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   cedd534-dirty
 Built:        Tue Feb  2 13:28:10 UTC 2016
 OS/Arch:      linux/amd64

Containers: 291
Images: 14
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.2-coreos-r2
Operating System: CoreOS 835.12.0
CPUs: 2
Total Memory: 1.958 GiB
Name: pph-01
ID: P4FX:IMCD:KF5R:MG3Y:XECP:JPKO:IRWM:3MGK:IAIW:UG5S:6KCR:IK2J
Username: pmoust
Registry: https://index.docker.io/v1/

रिकॉर्ड के लिए, मैंने उपरोक्त बैश स्क्रिप्ट को अपने लैपटॉप पर समस्या को पुन: पेश करने की कोशिश की, लेकिन कुछ भी बुरा नहीं हुआ, सब ठीक था। मैं Ubuntu 15.10 चलाता हूं:

$ docker version
Client:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.4.2
 Git commit:   a34a1d5
 Built:        Fri Nov 20 13:20:08 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.4.2
 Git commit:   a34a1d5
 Built:        Fri Nov 20 13:20:08 UTC 2015
 OS/Arch:      linux/amd64

$ docker info
Containers: 1294
Images: 1231
Server Version: 1.9.1
Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 3823
 Dirperm1 Supported: true
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.0-27-generic
Operating System: Ubuntu 15.10
CPUs: 8
Total Memory: 5.809 GiB
Name: pochama
ID: 6VMD:Z57I:QDFF:TBSU:FNSH:Y433:6KDS:2AXU:CVMH:JUKU:TVQQ:7UMR
Username: tomfotherby
Registry: https://index.docker.io/v1/
WARNING: No swap limit support

हमने इस मुद्दे के कई मामलों को डॉकर 1.8.3 / सेंटोस 7. पर देखा है। हम कुबेरनेट का उपयोग कर रहे हैं जो बड़ी संख्या में कंटेनर बना सकते हैं। कभी-कभी हमारे docker डेमन अनुत्तरदायी बन जाएंगे (docker ps hang for> 30 mins) और केवल डेमॉन का पुनरारंभ समस्या को हल करता है।

हालाँकि मैं @pmoust की स्क्रिप्ट का उपयोग करके समस्या को पुन: उत्पन्न करने में असमर्थ हूं।

Containers: 117
Images: 105
Storage Driver: devicemapper
 Pool Name: docker-docker--pool
 Pool Blocksize: 524.3 kB
 Backing Filesystem: xfs
 Data file: 
 Metadata file: 
 Data Space Used: 5.559 GB
 Data Space Total: 21.45 GB
 Data Space Available: 15.89 GB
 Metadata Space Used: 7.234 MB
 Metadata Space Total: 54.53 MB
 Metadata Space Available: 47.29 MB
 Udev Sync Supported: true
 Deferred Removal Enabled: true
 Library Version: 1.02.107-RHEL7 (2015-10-14)
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 3.10.0-327.4.5.el7.x86_64
Operating System: CentOS Linux 7 (Core)
CPUs: 2
Total Memory: 3.451 GiB
Name: server
ID: MK35:YN3L:KULL:C4YU:IOWO:6OK2:FHLO:WIYE:CBVE:MZBL:KG3T:OV5T
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled

Client:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 06:06:01 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.3
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   f4bf5c7
 Built:        Mon Oct 12 06:06:01 UTC 2015
 OS/Arch:      linux/amd64

@Tomfotherby मामले में और तुम्हारा @andrewmichaelsmith स्टोरेज ड्राइवर क्रमशः aufs / devicemapper-xfs है।
स्टोरेज ड्राइवर के ओवरले होने पर मैं इसे लगातार पुन: पेश कर सकता हूं

मैं CoreOS 835.12 पर @pmoust द्वारा स्क्रिप्ट का उपयोग करके हैंग को दोहरा सकता हूं

Containers: 227
Images: 1
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: json-file
Kernel Version: 4.2.2-coreos-r2
Operating System: CoreOS 835.12.0
CPUs: 2
Total Memory: 3.864 GiB
Name: core-01
ID: WIYE:CGI3:2C32:LURO:MNHU:YQXU:NEU4:LPZG:YJM5:ZN3S:BBPF:3SXM

FWIW हमें लगता है कि हमने इसे इस डेसिम्पेपर कर्नेल बग पर पिन किया हो सकता है: https://bugzilla.redhat.com/show_bug.cgi?id=1292481

@andrewmichaelsmith उनका AWS AMI उपलब्ध है जिसमें पैच है?

@ सैंटोस yum update हमारे CentOS 7 AWS बक्से पर उस बग रिपोर्ट (कर्नेल-3.10.0-327.10.1.el7) से नए कर्नेल को खींच लिया है।

संपादित करें: हालांकि अगर आप ओवरलेफ का उपयोग कर रहे हैं तो मुझे नहीं लगता कि यह आपके लिए प्रासंगिक है?

इस मुद्दे पर +1। मैं इस मुद्दे का सामना कर रहा हूँ कोरर अल्फा पर कर्नेल 4.4.1-कोर पर डॉकर 1.10.1 के साथ
AWS पर 970.1.0। यह हमारे कुबेरनेट क्लस्टर में एक गंभीर अस्थिरता पैदा कर रहा है और मेरी टीम पूरी तरह से डॉकर्स छोड़ने पर विचार कर रही है।

क्या इस मुद्दे की कोई सक्रिय जांच है?

@gopinatht इस समस्या में लोग समस्याओं के एक समूह से प्रभावित होने लगते हैं। हमारे लिए यह डेविसमैपर में एक बग था जिसने इस मुद्दे को तय कर दिया है, न कि डॉक प्रोजेक्ट के साथ बिल्कुल भी नहीं।

@andrewmichaelsmith प्रतिक्रिया के लिए धन्यवाद। क्या इस मुद्दे की तह तक जाने के लिए कोई मार्गदर्शन है? docker ps कॉल का स्ट्रेस यह देता है:

read(5, 0xc20807d000, 4096) = -1 EAGAIN (Resource temporarily unavailable) write(5, "GET /v1.22/containers/json HTTP/"..., 109) = 109 futex(0x1fe97a0, FUTEX_WAKE, 1) = 1 futex(0x1fe9720, FUTEX_WAKE, 1) = 1 epoll_wait(4, {}, 128, 0) = 0 futex(0x1fea698, FUTEX_WAIT, 0, NULL

यह यहाँ कई अन्य रिपोर्टों के समान है। इस की तह तक जाने के लिए मैं और क्या कर सकता था?

@andrewmichaelsmith ने पैच कर्नेल के साथ प्रयास किया

यहां परिणाम https://github.com/coreos/bugs/issues/1117#issuecomment -191190839

@ शाम अपडेट के लिए धन्यवाद।

@andrewmichaelsmith @pmoust क्या आपके पास इस बात की कोई अंतर्दृष्टि है कि हम आगे की जांच के लिए आगे क्या कर सकते हैं? हमारी टीम के लिए यह करने के लिए एक निश्चित रूप से महत्वपूर्ण है कि docker आधारित kubernetes क्लस्टर के साथ आगे बढ़ें।

@gopinatht मैं

मैं यह भी स्पष्ट नहीं कर रहा हूँ कि आप किस संग्रहण ड्राइवर का उपयोग कर रहे हैं? पुनरावृत्ति करने के लिए: हमें एक ऐसा मुद्दा मिला है जिससे डीकमेपर स्टोरेज ड्राइवर का उपयोग करते समय डॉकटर पूरी तरह से लटका रहेगा। हमारे कर्नेल को कर्नेल में अपग्रेड करते हुए 3.10.0-327.10.1.el7 ने इस समस्या को हल किया। मैं वास्तव में इससे अधिक नहीं जोड़ सकता।

यदि आप अपने docker संग्रहण ड्राइवर के रूप में devicemapper का उपयोग नहीं कर रहे हैं, तो मेरे निष्कर्ष शायद आपके लिए बहुत मायने नहीं रखते।

@andrewmichaelsmith क्षमा याचना अगर मुझे लगता है कि आपको इस बारे में कुछ करने की आवश्यकता है।

मैं सिर्फ जांच की दिशा देख रहा था क्योंकि मैं स्पष्ट रूप से यहां खो गया हूं। वैसे भी आपकी मदद के लिए धन्यवाद।

हमने इसे उबंटू पर कर्नेल 3.13.0-83-generic अधिक हाल के संस्करण के साथ प्राप्त किया। हर दूसरा ऑपरेशन ठीक-ठाक लगता है - केवल मुद्दे docker ps और कुछ यादृच्छिक docker inspect

डॉकर जानकारी:

Containers: 51
 Running: 48
 Paused: 0
 Stopped: 3
Images: 92
Server Version: 1.10.3
Storage Driver: devicemapper
 Pool Name: docker-data-tpool
 Pool Blocksize: 65.54 kB
 Base Device Size: 5.369 GB
 Backing Filesystem: ext4
 Data file:
 Metadata file:
 Data Space Used: 19.14 GB
 Data Space Total: 102 GB
 Data Space Available: 82.86 GB
 Metadata Space Used: 33.28 MB
 Metadata Space Total: 5.369 GB
 Metadata Space Available: 5.335 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: false
 Deferred Deletion Enabled: false
 Deferred Deleted Device Count: 0
 Library Version: 1.02.77 (2012-10-15)
Execution Driver: native-0.2
Logging Driver: json-file
Plugins:
 Volume: local
 Network: host bridge null
Kernel Version: 3.13.0-83-generic
Operating System: Ubuntu 14.04.4 LTS
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 29.96 GiB
Name: apocalypse.servers.lair.io
ID: Q444:V3WX:RIQJ:5B3T:SYFQ:H2TR:SPVF:U6YE:XNDX:HV2Z:CS7F:DEJJ
WARNING: No swap limit support

strace पूंछ:

futex(0x20844d0, FUTEX_WAIT, 0, NULL)   = 0
futex(0xc82002ea10, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {216144, 494093555}) = 0
clock_gettime(CLOCK_MONOTONIC, {216144, 506740959}) = 0
futex(0xc82002ea10, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {216144, 506835134}) = 0
clock_gettime(CLOCK_MONOTONIC, {216144, 506958105}) = 0
futex(0x20844d0, FUTEX_WAIT, 0

इसके अलावा, कुछ समय बाद - शायद कुछ मिनटों तक - मुझे अवरुद्ध स्ट्रेस में निम्न आउटपुट मिला, जबकि यह कभी भी समाप्त नहीं हुआ:

futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0x20844d0, FUTEX_WAIT, 0, NULL

कुछ और समय के इंतजार के बाद, वही futex ब्लॉक, लेकिन इस बार भी एक 'संसाधन अस्थायी रूप से अनुपलब्ध त्रुटि' है:

futex(0x20844d0, FUTEX_WAIT, 0, NULL)   = 0
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {216624, 607690506}) = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 607853434}) = 0
futex(0x2083970, FUTEX_WAIT, 0, {0, 100000}) = -1 EAGAIN (Resource temporarily unavailable)
epoll_wait(5, {}, 128, 0)               = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 608219882}) = 0
futex(0x2083980, FUTEX_WAKE, 1)         = 1
futex(0xc820574110, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {216624, 608587202}) = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 609140069}) = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 609185048}) = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 609272020}) = 0
futex(0xc82002ea10, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_MONOTONIC, {216624, 616982914}) = 0
sched_yield()                           = 0
clock_gettime(CLOCK_MONOTONIC, {216624, 626726774}) = 0
futex(0x20844d0, FUTEX_WAIT, 0, NULL)   = 0
futex(0x2083970, FUTEX_WAKE, 1)         = 1
futex(0x20838c0, FUTEX_WAKE, 1)         = 1
sched_yield()                           = 0
futex(0x20838c0, FUTEX_WAIT, 2, NULL)   = 0
futex(0x20838c0, FUTEX_WAKE, 1)         = 0
futex(0x20844d0, FUTEX_WAIT, 0, NULL

ध्यान दें कि हर समय, एक ही futex पर स्ट्रेस अवरुद्ध होता है।

@akalipetis क्या आप प्रक्रिया में SIGUSR1 भेज सकते हैं और डेमन लॉग से पूर्ण स्टैक ट्रेस खींच सकते हैं?

मैं इसे जल्द से जल्द करूँगा क्योंकि इसका सामना फिर से @ cpuguy83 से हुआ - क्षमा करें, लेकिन मुझे इस बात की जानकारी नहीं थी ...

(अन) सौभाग्य से यह फिर से हुआ, आप नीचे दी गई संलग्न फाइल में पूर्ण स्टैकट्रेस पा सकते हैं:

stacktrace.txt

अगर आप मेरी तरफ से कुछ और चाहते हैं तो मुझे बताएं।

/ cc @ cpuguy83

बहुत सराहना की @akalipetis!

कोई समस्या नहीं @ cpuguy83 - मुझे बताएं कि क्या आप किसी अन्य डेटा को पसंद करेंगे, या यहां तक ​​कि अगर आप अन्य स्टालों से स्टैकट्रैक करना चाहते हैं।

दुर्भाग्य से, मुझे इसे पुन: पेश करने का कोई तरीका नहीं मिला, या हैंग के बीच किसी भी समान स्थिति की पहचान की।

जब से हमने 1.11.0 रनिंग रेकेक डॉकटर इमेज टेस्ट (~ 4 समानांतर मशीन पर इन परीक्षणों को चलाने वाले 10 समानांतर कंटेनर) को अपडेट किया है, कभी-कभी फ्रीज हो जाता है और टाइमआउट के साथ विफल हो जाता है। डॉकर पूरी तरह से जमा देता है और प्रतिक्रिया नहीं करता है (जैसे। docker ps )। यह डेबियन स्ट्रेच (btrfs) और (आवारा) Parallels VM Ubuntu 14.04 (बैकपोर्टेड कर्नेल 3.19.0-31-जेनेरिक, ext4) के साथ vserver पर हो रहा है।

पहले फ्रीज के बाद दोनों सर्वरों पर /var/lib/docker लिए फाइलसिस्टम को क्लियर किया गया था। इन परीक्षणों को चलाते समय फ्रीज बेतरतीब ढंग से होता है।

दोनों सर्वर से स्टैक ट्रेस संलग्न है:
docker-log.zip

docker-containerd और docker daemons से स्ट्रेस:

# strace -p 21979 -p 22536
Process 21979 attached
Process 22536 attached
[pid 22536] futex(0x219bd90, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid 21979] futex(0xf9b170, FUTEX_WAIT, 0, NULL

डॉकर जानकारी (डेबियन स्ट्रेच)

Containers: 0
 Running: 0
 Paused: 0
 Stopped: 0
Images: 1096
Server Version: 1.11.0
Storage Driver: btrfs
 Build Version: Btrfs v4.4
 Library Version: 101
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: host bridge null
Kernel Version: 4.4.0-1-amd64
Operating System: Debian GNU/Linux stretch/sid
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 11.74 GiB
Name: slave.webdevops.io
ID: WU2P:YOYC:VP2F:N6DE:BINB:B6YO:2HJO:JKZA:HTP3:SIDA:QOJZ:PJ2E
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Username: webdevopsslave
Registry: https://index.docker.io/v1/
WARNING: No memory limit support
WARNING: No swap limit support
WARNING: No kernel memory limit support
WARNING: No oom kill disable support

Docker जानकारी (Ubuntu 14.04 backported कर्नेल के साथ)

Client:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:34:23 2016
 OS/Arch:      linux/amd64

Server:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:34:23 2016
 OS/Arch:      linux/amd64
root@DEV-VM:/var/lib/docker# docker info
Containers: 11
 Running: 1
 Paused: 0
 Stopped: 10
Images: 877
Server Version: 1.11.0
Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 400
 Dirperm1 Supported: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge null host
Kernel Version: 3.19.0-31-generic
Operating System: Ubuntu 14.04.2 LTS
OSType: linux
Architecture: x86_64
CPUs: 8
Total Memory: 3.282 GiB
Name: DEV-VM
ID: KCQP:OGCT:3MLX:TAQD:2XG6:HBG2:DPOM:GJXY:NDMK:BXCK:QEIT:D6KM
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Registry: https://index.docker.io/v1/

डॉकर संस्करण (डेबियन स्ट्रेच)

Client:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:22:26 2016
 OS/Arch:      linux/amd64

Server:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:22:26 2016
 OS/Arch:      linux/amd64

डॉकर संस्करण (बैकबाउंड कर्नेल के साथ उबंटू 14.04)

Client:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:34:23 2016
 OS/Arch:      linux/amd64

Server:
 Version:      1.11.0
 API version:  1.23
 Go version:   go1.5.4
 Git commit:   4dc5990
 Built:        Wed Apr 13 18:34:23 2016
 OS/Arch:      linux/amd64

@mblaschke आप गोलंग कार्यक्रमों के लिए स्ट्रांग के लिए -f उपयोग करना चाहते हैं।

मैं Ubuntu 14.04 के लिए इस बग की पुष्टि कर सकता हूं लेकिन मुझे यकीन नहीं है कि यह बग वास्तव में 4.4 कर्नेल के साथ डेबियन खिंचाव पर समस्या है। अभी भी और अधिक informations प्राप्त करने की कोशिश कर रहा है।

डॉकर 1.10.3 के साथ डेबियन खिंचाव के लिए समस्या सिस्टमड की प्रक्रिया सीमा थी (512 थी, जिसे 8192 तक बढ़ा दिया गया था) और हमारे डॉकर कंटेनर परीक्षण अब मुद्दों के बिना चल रहे हैं। 1.11.0 अभी भी काम नहीं कर रहा है और rspec परीक्षण अभी भी जम रहे हैं लेकिन docker ps 4.4 कर्नेल के साथ डेबियन स्ट्रेच पर अभी भी उत्तरदायी है, इसलिए मुझे लगता है कि यह एक और मुद्दा है।

एक नया मुद्दा # 22124 बनाया जो कि कुछ नया हो सकता है

मुझे विश्वास है कि यह भी चल रहा है

$ uname -a
Linux ip-10-15-42-103.ec2.internal 4.4.6-coreos #2 SMP Sat Mar 26 03:25:31 UTC 2016 x86_64 Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz GenuineIntel GNU/Linux

$ docker version
Client:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.5.3
 Git commit:   9894698
 Built:
 OS/Arch:      linux/amd64

Server:
 Version:      1.9.1
 API version:  1.21
 Go version:   go1.5.3
 Git commit:   9894698
 Built:
 OS/Arch:      linux/amd64

$ docker info
Containers: 198
Images: 196
Server Version: 1.9.1
Storage Driver: overlay
 Backing Filesystem: extfs
Execution Driver: native-0.2
Logging Driver: journald
Kernel Version: 4.4.6-coreos
Operating System: CoreOS 991.2.0 (Coeur Rouge)
CPUs: 2
Total Memory: 3.862 GiB

$ sudo strace -q -y -v -f docker ps
<snip>
[pid 26889] connect(5<socket:[18806726]>, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, 23) = 0
[pid 26889] clock_gettime(CLOCK_REALTIME, {1462217998, 860739240}) = 0
[pid 26889] epoll_ctl(4<anon_inode:[eventpoll]>, EPOLL_CTL_ADD, 5<socket:[18806726]>, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=914977888, u64=140334676407392}}) = 0
[pid 26889] getsockname(5<socket:[18806726]>, {sa_family=AF_LOCAL, NULL}, [2]) = 0
[pid 26889] getpeername(5<socket:[18806726]>, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, [23]) = 0
[pid 26889] read(5<socket:[18806726]>,  <unfinished ...>
[pid 26893] <... futex resumed> )       = 1
[pid 26889] <... read resumed> 0xc820015000, 4096) = -1 EAGAIN (Resource temporarily unavailable)
[pid 26893] futex(0xc8200e9790, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid 26891] futex(0xc820026a10, FUTEX_WAIT, 0, NULL) = -1 EAGAIN (Resource temporarily unavailable)
[pid 26891] epoll_wait(4<anon_inode:[eventpoll]>, {{EPOLLOUT, {u32=914978080, u64=140334676407584}}, {EPOLLOUT, {u32=914977888, u64=140334676407392}}}, 128, 0) = 2
[pid 26891] epoll_wait(4<anon_inode:[eventpoll]>,  <unfinished ...>
[pid 26889] write(5<socket:[18806726]>, "GET /v1.21/containers/json HTTP/"..., 88 <unfinished ...>
[pid 26890] <... select resumed> )      = 0 (Timeout)
[pid 26889] <... write resumed> )       = 88
[pid 26891] <... epoll_wait resumed> {{EPOLLOUT, {u32=914977888, u64=140334676407392}}}, 128, -1) = 1
[pid 26891] epoll_wait(4<anon_inode:[eventpoll]>,  <unfinished ...>
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935071149}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861179188}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935216184}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861327424}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935376601}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861479813}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935543531}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861646718}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935709999}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861817062}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 935872149}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 861975102}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936046201}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862149543}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936215534}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862318597}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936384887}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862488231}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936547503}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862650775}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936708047}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862810981}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 936875834}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 862978790}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937049520}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 863161620}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937216897}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 863319694}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937382999}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 863485851}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937549477}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 863652283}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937722463}) = 0
[pid 26890] clock_gettime(CLOCK_REALTIME, {1462217998, 863833602}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20}) = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 937888537}) = 0
[pid 26889] futex(0xc8200e9790, FUTEX_WAKE, 1 <unfinished ...>
[pid 26890] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid 26889] <... futex resumed> )       = 1
[pid 26893] <... futex resumed> )       = 0
[pid 26890] <... clock_gettime resumed> {1462217998, 864010029}) = 0
[pid 26890] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid 26889] futex(0x1df2f50, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid 26893] futex(0xc8200e9790, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid 26890] <... select resumed> )      = 0 (Timeout)
[pid 26890] clock_gettime(CLOCK_MONOTONIC, {1194110, 938059687}) = 0
[pid 26890] futex(0x1df2400, FUTEX_WAIT, 0, {60, 0}

@mwhooker दुर्भाग्य से धारा वास्तव में बहुत मदद करने वाली नहीं है क्योंकि हमें यह देखने की आवश्यकता है कि डेमॉन पर क्या हो रहा है।

इसके लॉग में ढेर ट्रेस बाहर थूकने के लिए कृपया अटक गए डेमॉन पर SIGUSR1 का उपयोग करें।

यहाँ मेरा sigusr1 आउटपुट https://gist.github.com/mwhooker/6858c0d0c123e214ef69d0a4bff2d7cc (cc @ cpuguy83) है

यहाँ एक और डूग डेमॉन का सिग्युसर 1 डंप है

https://gist.github.com/mwhooker/e837f08370145d183e661c03a5b9d07e

strace फिर से FUTEX_WAIT में डेमन पाता है

मैं वास्तव में इस बार मेजबान से जुड़ सकता हूं, इसलिए अतिरिक्त डिबगिंग कर सकता हूं, हालांकि मैं जल्द ही डेमन को मार डालूंगा

पिंग @ cpuguy83 ^ ^

मेरा 1.11.1 (4.2.5-300.fc23), ओवरले / EXT4 पर एक ही मुद्दा है। यह तब होता है जब मैं एक सेलेरी कार्यकर्ता चलाता हूं, इसे नौकरियों के साथ लोड करता हूं और फिर stop प्रयास करता हूं।

मैं तब इसके अंदर कुछ भी निष्पादित नहीं कर सकता:
rpc error: code = 2 desc = "oci runtime error: exec failed: exit status 1"

इसलिए मुझे लगता है कि कुछ कंटेनर नष्ट हो गए हैं, लेकिन काम खत्म नहीं कर सकते। मैंने पुष्टि की है कि अजवाइन को कंटेनर के भीतर मार दिया गया है, इसलिए सुनिश्चित नहीं है कि यह क्या है।

संपादित करें:
अजवाइन को पूरी तरह से नहीं मारा गया है, डी में एक प्रक्रिया अटक गई है, इसलिए मुझे लगता है कि एक रिबूट एकमात्र विकल्प है।

कृपया https://github.com/docker/docker/issues/20401#issuecomment -231337800 देखें

मैं उच्च लोड के तहत एक ही मुद्दे पर भाग गया (उच्च दर पर कंटेनर बनाना / हटाना)

• कोरओएस 1068.8.0
• डॉकर 1.10.3
• अ-अ:

Linux coreos_k8s_28 4.6.3-coreos #2 SMP Mon Jul 18 06:10:39 UTC 2016 x86_64 Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz GenuineIntel GNU/Linux

• कुबेरनेट्स 1.2.0

यहाँ docker डिबग लॉग्स (doकर डेमॉन के लिए SIGUSR1 भेजे गए) का मेरा सार है: https://gist.github.com/ntquyen/409376bc0d8418a31023c1546245e190

के रूप में @ntquyen । समान ओएस / कर्नेल / docker संस्करण।

रेप्रो अभी भी खड़ा है https://github.com/docker/docker/issues/13885#issuecomment -181811082

मेरे मामले के लिए, यह हो सकता है क्योंकि मशीनें> 90% डिस्क स्थान पर चल रही थीं। मैंने उनके लिए अधिक डिस्क स्थान सौंपा और वे अब काफी स्थिर चल रहे हैं, यहां तक ​​कि उच्च भार के तहत भी।

@mwhooker ऐसा लगता है कि आपका डेमॉन इंटरफ़ेस हटाने के लिए नेटलिंक कॉल में लटका हुआ है।
आपके पास सेटअप के लिए कौन से डेमॉन विकल्प हैं?

ध्यान दें कि जब मैं "त्रिशंकु" कहता हूं, तो यह वास्तव में पूरे डेमॉन को फ्रीज नहीं करता है, लेकिन किसी भी एपीआई कॉल को उस कंटेनर ऑब्जेक्ट को एक्सेस करने की आवश्यकता होती है क्योंकि यह भी लटका होगा क्योंकि यह कंटेनर म्यूटेक्स के इंतजार में फंस जाएगा जो नेटलिंक कॉल में फंस गया है।

विभिन्न प्रकार की चीजों को देखते हुए हम इस प्रकार के मुद्दों को कम कर सकते हैं।

@pm क्या आप डेमन से स्टैक ट्रेस प्रदान कर सकते हैं? (एक अटक गए डेमॉन को SIGUSR1 भेजें और डेमन लॉग से ट्रेस एकत्र करें)
इसके अलावा विकल्प आप के साथ डेमन शुरू कर दिया है।

धन्यवाद!

@ मुझे लगता है कि आपके द्वारा मारा गया मुद्दा # 22732 से संबंधित है (हालांकि थोड़ा अलग रिप्रो, अभी भी छवि हटाने के आसपास केंद्रित है) जो 1.11.2 में तय किया गया है
क्या आपने केवल एक बार इस मुद्दे को मारा?

@ cpuguy83 मुझे वापस पाने के लिए धन्यवाद। यहां बताया गया है कि हम डेमॉन कैसे चलाते हैं

/usr/bin/docker daemon --icc=false --storage-driver=overlay --log-driver=journald --host=fd://

यकीन नहीं है कि यह संबंधित है, लेकिन हमने अपने लॉग में इन संदेशों का एक समूह भी देखा है

Jul 19 10:22:55 ip-10-0-37-191.ec2.internal systemd-networkd[852]: veth0adae8a: Removing non-existent address: fe80::e855:98ff:fe3f:8b2c/64 (valid forever)

(संपादित करें: ये भी)

[19409.536106] unregister_netdevice: waiting for veth2304bd1 to become free. Usage count = 1

@ संदेश नीचे संदेश शायद यहाँ --userland-proxy=false का उपयोग किए बिना इसे प्राप्त कर रहे हैं

@ cpuguy83 दिलचस्प है कि आप उल्लेख करते हैं, हम --proxy-mode=userspace साथ हाइपरक्यूब चला रहे हैं। क्या यह संभव है कि यह पैदा कर रहा है?

फ्लैग विवरण के आधार पर @mwhooker , ऐसा नहीं लगता है।
मूल रूप से --userland-proxy=false कंटेनर के पुल इंटरफ़ेस पर हेयरपिन मोड को सक्षम करता है, जो कर्नेल में कुछ स्थिति को ट्रिगर करता प्रतीत होता है जहां हम बहुत सारे कंटेनर जोड़ते / हटाते हैं (या समानांतर में एक गुच्छा बनाते हैं) यह एक बहुत बुरा फ्रीज का कारण बनता है (और त्रुटि संदेश जो आप देख रहे हैं)।

आप देख सकते हैं कि आपके ब्रिज इंटरफेस हेयरपिन मोड में हैं या नहीं।

@ cpuguy83 यह सर्वर के एक अलग सेट से

docker daemon --host=fd:// --icc=false --storage-driver=overlay --log-driver=journald --exec-opt native.cgroupdriver=systemd --bip=10.2.122.1/24 --mtu=8951 --ip-masq=true --selinux-enable

और मैं देख सकता हूं कि ये वेप इंटरफेस हेयरपिन मोड में हैं

cat /sys/devices/virtual/net/docker0/brif/veth*/hairpin_mode
1
1

मुझे आश्चर्य होता है कि यह कम से कम एक docker हैंगिंग मुद्दों का कारण है जिसे हम देख रहे हैं।

(fwiw हम फ़्लानलाइन https://github.com/kubernetes/kubernetes/issues/20391 के साथ बातचीत की वजह से क्यूब-प्रॉक्सी पर यूज़र्सस्पेस का उपयोग कर रहे हैं)

@ cpuguy83 दुर्भाग्य से, मैं नवीनतम स्थिर कोर में 1.10 का उपयोग कर रहा हूं और 1.12 से डॉक में अपग्रेड नहीं कर सकता। डिस्क स्थान बढ़ाने के बाद समस्या पूरी तरह से हल नहीं हुई थी (जैसा कि मैंने सोचा था)।

मुझे भी।

• डॉकर: 1.12
• कर्नेल: 4.4.3
• डिस्ट्रो: ubuntu

डेमॉन:

    # strace -q -y -v -p `pidof dockerd`
    futex(0x2a69be8, FUTEX_WAIT, 0, NULL
    futex(0xc820e1b508, FUTEX_WAKE, 1)      = 1
    futex(0x2a69be8, FUTEX_WAIT, 0, NULL)   = 0
    futex(0xc8224b0508, FUTEX_WAKE, 1)      = 1
    futex(0x2a69be8, FUTEX_WAIT, 0, NULL)   = 0
    futex(0x2a69be8, FUTEX_WAIT, 0, NULL

ग्राहक:

    # strace docker ps
    execve("/usr/bin/docker", ["docker", "ps"], [/* 24 vars */]) = 0
    brk(0)                                  = 0x2584000
    ...
    stat("/root/.docker/config.json", {st_mode=S_IFREG|0600, st_size=91, ...}) = 0
    openat(AT_FDCWD, "/root/.docker/config.json", O_RDONLY|O_CLOEXEC) = 3
    read(3, "{\n\t\"auths\": {\n\t\t\"https://quay.io"..., 512) = 91
    close(3)                                = 0
    ioctl(0, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
    ioctl(1, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
    futex(0xc820068108, FUTEX_WAKE, 1)      = 1
    futex(0xc820068108, FUTEX_WAKE, 1)      = 1
    socket(PF_LOCAL, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3
    setsockopt(3, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
    connect(3, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, 23) = 0
    epoll_create1(EPOLL_CLOEXEC)            = 4
    epoll_ctl(4, EPOLL_CTL_ADD, 3, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=3136698616, u64=140182279305464}}) = 0
    getsockname(3, {sa_family=AF_LOCAL, NULL}, [2]) = 0
    getpeername(3, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, [23]) = 0
    futex(0xc820032d08, FUTEX_WAKE, 1)      = 1
    read(3, 0xc820356000, 4096)             = -1 EAGAIN (Resource temporarily unavailable)
    write(3, "GET /v1.24/containers/json HTTP/"..., 95) = 95
    futex(0x132aca8, FUTEX_WAIT, 0, NULL

यहाँ अभी भी डेबियन पर हो रहा है जब rspec परीक्षण चल रहा है:

कर्नेल: 4.4.0-28-जेनेरिक
डॉकर: 1.12.2-0 ~ क्ज़ेनियल

वर्तमान वर्कअराउंड डॉकर 1.10.3-0 ~ विली पर वापस जाना है जो अंतिम स्थिर संस्करण है।

@mblaschke @Bregor क्या आप कृपया एक स्टैकट्रेस पोस्ट कर सकते हैं?

यह हमारे पर्यावरण में कुछ समय से हो रहा है: [

$ docker info
Containers: 20
 Running: 6
 Paused: 0
 Stopped: 14
Images: 57
Server Version: 1.11.1
Storage Driver: overlay
 Backing Filesystem: extfs
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins: 
 Volume: local
 Network: bridge null host
Kernel Version: 3.18.27
Operating System: Debian GNU/Linux 8 (jessie)
OSType: linux
Architecture: x86_64
CPUs: 24
Total Memory: 125.8 GiB
Name: appdocker414-sjc1
ID: ZTWC:53NH:VKUZ:5FZK:SLZN:YPI4:ICK2:W7NF:UIGD:P2NQ:RHUD:PS6Y
Docker Root Dir: /var/lib/docker
Debug mode (client): false
Debug mode (server): false
Registry: https://index.docker.io/v1/
WARNING: No swap limit support

कर्नेल: 3.18.27

स्टैकस्ट्रीम: https://gist.github.com/dmyerscough/6948218a228ff69dd6e309f8de0f0261

@dmyerscough यह https://github.com/docker/docker/issues/22732 लगता है। 1.11.2 और 1.12 में तय किया गया

हर मिनट में docker run --rm और डॉकर सेवा के साथ एक साधारण कंटेनर चलाना, जब तक यह फिर से शुरू नहीं हो जाता।

docker -D info
Containers: 6
 Running: 2
 Paused: 0
 Stopped: 4
Images: 6
Server Version: 1.11.2
Storage Driver: overlay
 Backing Filesystem: extfs
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: host bridge null
Kernel Version: 4.7.3-coreos-r2
Operating System: CoreOS 1185.3.0 (MoreOS)
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 7.8 GiB
Name: <hostname>
ID: GFHQ:Y6IV:XCQI:Y2NA:PCQN:DEII:OSPZ:LENL:OCFU:6CBI:MDFV:EMD7
Docker Root Dir: /var/lib/docker
Debug mode (client): true
Debug mode (server): false
Username: <username>
Registry: https://index.docker.io/v1/

अंतिम संदेश फांसी से पहले:

Nov 04 16:42:01 dockerd[1447]: time="2016-11-04T16:42:01Z" level=error msg="containerd: deleting container" error="wait: no child processes"

@ तरल-आकाश क्या आपके पास अधिक जानकारी है, शायद डेमन लॉग कुछ उपयोगी या स्टैकट्रेस दिखाते हैं? यह भी ध्यान दें कि हमारे पास कोरोस के लिए आधिकारिक पैकेज नहीं हैं; यह देखते हुए कि वे एक संशोधित पैकेज / विन्यास वितरित करते हैं, यह वहां रिपोर्टिंग के लायक हो सकता है।

@thaJeztah दुर्भाग्य से जर्नल लॉग पिछली प्रक्रिया के बाद से घुमाया गया है, जब मैं इसे स्ट्रेस करता हूं, तो मैं देखता हूं कि यह म्यूटेक्स लॉक पर लटका हुआ है।

$ ps -ef | grep -w 148[9] | head -1
root      1489     1  0 Nov02 ?        00:20:35 docker daemon --host=fd:// --insecure-registry=<registry_address> --selinux-enabled

sudo strace -e verbose=all -v -p 1489
Process 1489 attached
futex(0x22509c8, FUTEX_WAIT, 0, NULL

$ sudo strace docker ps
.....
clock_gettime(CLOCK_REALTIME, {1478601605, 8732879}) = 0
clock_gettime(CLOCK_REALTIME, {1478601605, 9085011}) = 0
clock_gettime(CLOCK_REALTIME, {1478601605, 9242006}) = 0
socket(PF_LOCAL, SOCK_DGRAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 3
setsockopt(3, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
connect(3, {sa_family=AF_LOCAL, sun_path="/run/systemd/journal/socket"}, 30) = 0
epoll_create1(EPOLL_CLOEXEC)            = 4
epoll_ctl(4, EPOLL_CTL_ADD, 3, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=3317119944, u64=140066495609800}}) = 0
getsockname(3, {sa_family=AF_LOCAL, NULL}, [2]) = 0
getpeername(3, {sa_family=AF_LOCAL, sun_path="/run/systemd/journal/socket"}, [30]) = 0
stat("/root/.docker/config.json", 0xc8203b6fa8) = -1 ENOENT (No such file or directory)
stat("/root/.dockercfg", 0xc8203b7078)  = -1 ENOENT (No such file or directory)
stat("/bin/docker-credential-secretservice", 0xc8203b7148) = -1 ENOENT (No such file or directory)
stat("/sbin/docker-credential-secretservice", 0xc8203b7218) = -1 ENOENT (No such file or directory)
stat("/usr/bin/docker-credential-secretservice", 0xc8203b72e8) = -1 ENOENT (No such file or directory)
stat("/usr/sbin/docker-credential-secretservice", 0xc8203b73b8) = -1 ENOENT (No such file or directory)
stat("/usr/local/bin/docker-credential-secretservice", 0xc8203b7488) = -1 ENOENT (No such file or directory)
stat("/usr/local/sbin/docker-credential-secretservice", 0xc8203b7558) = -1 ENOENT (No such file or directory)
stat("/opt/bin/docker-credential-secretservice", 0xc8203b7628) = -1 ENOENT (No such file or directory)
ioctl(0, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
ioctl(1, SNDCTL_TMR_TIMEBASE or SNDRV_TIMER_IOCTL_NEXT_DEVICE or TCGETS, {B38400 opost isig icanon echo ...}) = 0
futex(0xc8202c9108, FUTEX_WAKE, 1)      = 1
clock_gettime(CLOCK_REALTIME, {1478601605, 11810493}) = 0
clock_gettime(CLOCK_REALTIME, {1478601605, 11888495}) = 0
socket(PF_LOCAL, SOCK_STREAM|SOCK_CLOEXEC|SOCK_NONBLOCK, 0) = 5
setsockopt(5, SOL_SOCKET, SO_BROADCAST, [1], 4) = 0
connect(5, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, 23) = 0
clock_gettime(CLOCK_REALTIME, {1478601605, 12378242}) = 0
epoll_ctl(4, EPOLL_CTL_ADD, 5, {EPOLLIN|EPOLLOUT|EPOLLRDHUP|EPOLLET, {u32=3317119752, u64=140066495609608}}) = 0
getsockname(5, {sa_family=AF_LOCAL, NULL}, [2]) = 0
getpeername(5, {sa_family=AF_LOCAL, sun_path="/var/run/docker.sock"}, [23]) = 0
futex(0xc820026d08, FUTEX_WAKE, 1)      = 1
read(5, 0xc8203d6000, 4096)             = -1 EAGAIN (Resource temporarily unavailable)
write(5, "GET /v1.23/containers/json HTTP/"..., 89) = 89
futex(0xc820026d08, FUTEX_WAKE, 1)      = 1
futex(0x22509c8, FUTEX_WAIT, 0, NULL

और इसलिए हर containerd सेवा करता है:

ps -ef | grep container[d]
root      1513  1489  0 Nov02 ?        00:00:53 containerd -l /var/run/docker/libcontainerd/docker-containerd.sock --runtime runc --start-timeout 2m
root      2774  1513  0 Nov02 ?        00:00:00 containerd-shim a90d4642fd88ab38c66a733e2cef8f427533e736d14d48743d42f55dec62447f /var/run/docker/libcontainerd/a90d4642fd88ab38c66a733e2cef8f427533e736d14d48743d42f55dec62447f runc
root      3946  1513  0 Nov02 ?        00:00:00 containerd-shim c8903c4a137fbb297efc3fcf2c69d746e94431f22c7fdf1a46ff7c69d04ffb0d /var/run/docker/libcontainerd/c8903c4a137fbb297efc3fcf2c69d746e94431f22c7fdf1a46ff7c69d04ffb0d runc
root      4783  1513  0 Nov02 ?        00:03:36 containerd-shim d8c2203adfc26f7d11a62d9d90ddf97f04c458f72855ee1987ed1af911a2ab55 /var/run/docker/libcontainerd/d8c2203adfc26f7d11a62d9d90ddf97f04c458f72855ee1987ed1af911a2ab55 runc
root     16684  1513  0 Nov02 ?        00:00:00 containerd-shim 4d62424ca8cceb29c877bf129cd46341a53e191c9858b93aca3d5cbcfaaa1876 /var/run/docker/libcontainerd/4d62424ca8cceb29c877bf129cd46341a53e191c9858b93aca3d5cbcfaaa1876 runc
root     16732  1513  0 Nov02 ?        00:03:24 containerd-shim 2f8e2a858306322c10aa7823c92f22133f1c5e5f267ce61e542c1d8bd537b121 /var/run/docker/libcontainerd/2f8e2a858306322c10aa7823c92f22133f1c5e5f267ce61e542c1d8bd537b121 runc
root     20902  1513  0 Nov02 ?        00:00:05 containerd-shim 58572e7fab122d593bdb096b0dd33551c22ce50a0c51d6662bc0c7b3d3bf9248 /var/run/docker/libcontainerd/58572e7fab122d593bdb096b0dd33551c22ce50a0c51d6662bc0c7b3d3bf9248 runc

$ sudo strace -T -e verbose=all -v -p 1513
Process 1513 attached
futex(0x1028dc8, FUTEX_WAIT, 0, NULL

@ तरल-आकाश strace एक सामान्य डॉकडर पर futex(0x22509c8, FUTEX_WAIT, 0, NULL भी दिखाई देगा, जो कुछ भी सार्थक नहीं दिखाता है ... आप सभी थ्रेड को ट्रैक करने के लिए -f जोड़ेंगे। ।

मुझे लगता है कि यह इस मुद्दे से संबंधित हो सकता है। --rm साथ कंटेनर चलाते हैं और Docker उस विशेष कंटेनर पर लटका हुआ है, हालांकि कुछ नोड्स जहां docker ps लटका है, unregistered loopback device नहीं है

बस मामले में, डोकर डेमॉन के स्ट्रेस-ऑफ का एक टुकड़ा:

[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid  1766] write(23, "\2\0\0\0\0\0\0\321I1108 10:48:12.429657   "..., 217) = 217
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1766] futex(0xc822075d08, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid  1507] clock_gettime(CLOCK_MONOTONIC, {514752, 140621361}) = 0
[pid  1875] <... epoll_wait resumed> {{EPOLLIN|EPOLLOUT|EPOLLRDHUP, {u32=1298424080, u64=140528333381904}}}, 128, -1) = 1
[pid  1507] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1875] epoll_wait(6,  <unfinished ...>
[pid  1507] <... clock_gettime resumed> {1478602092, 431376727}) = 0
[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid  1514] <... read resumed> "I1108 10:48:12.431656    12 mast"..., 32768) = 1674
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1514] futex(0xc822075d08, FUTEX_WAKE, 1 <unfinished ...>
[pid  1507] clock_gettime(CLOCK_MONOTONIC,  <unfinished ...>
[pid  1766] <... futex resumed> )       = 0
[pid  1514] <... futex resumed> )       = 1
[pid  1766] select(0, NULL, NULL, NULL, {0, 100} <unfinished ...>
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] <... clock_gettime resumed> {514752, 142476308}) = 0
[pid  1514] <... clock_gettime resumed> {1478602092, 432632124}) = 0
[pid  1507] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.431656   "..., 349 <unfinished ...>
[pid  1507] <... clock_gettime resumed> {1478602092, 432677401}) = 0
[pid  1514] <... write resumed> )       = 349
[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid  1514] clock_gettime(CLOCK_REALTIME, {1478602092, 432812895}) = 0
[pid  1766] <... select resumed> )      = 0 (Timeout)
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.431763   "..., 349 <unfinished ...>
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1514] <... write resumed> )       = 349
[pid  1507] clock_gettime(CLOCK_MONOTONIC,  <unfinished ...>
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] <... clock_gettime resumed> {514752, 142831922}) = 0
[pid  1514] <... clock_gettime resumed> {1478602092, 432948135}) = 0
[pid  1507] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.431874   "..., 349 <unfinished ...>
[pid  1507] <... clock_gettime resumed> {1478602092, 432989394}) = 0
[pid  1514] <... write resumed> )       = 349
[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid  1766] read(44, "I1108 10:48:12.432255    12 mast"..., 32768) = 837
[pid  1514] clock_gettime(CLOCK_REALTIME, {1478602092, 433114452}) = 0
[pid  1766] read(44,  <unfinished ...>
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.431958   "..., 349) = 349
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] clock_gettime(CLOCK_MONOTONIC,  <unfinished ...>
[pid  1514] <... clock_gettime resumed> {1478602092, 433272783}) = 0
[pid  1507] <... clock_gettime resumed> {514752, 143176397}) = 0
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.432035   "..., 349 <unfinished ...>
[pid  1507] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1514] <... write resumed> )       = 349
[pid  1507] <... clock_gettime resumed> {1478602092, 433350170}) = 0
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid  1514] <... clock_gettime resumed> {1478602092, 433416138}) = 0
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.432126   "..., 349) = 349
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1514] <... clock_gettime resumed> {1478602092, 433605782}) = 0
[pid  1507] clock_gettime(CLOCK_MONOTONIC,  <unfinished ...>
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.432255   "..., 349 <unfinished ...>
[pid  1507] <... clock_gettime resumed> {514752, 143537029}) = 0
[pid  1514] <... write resumed> )       = 349
[pid  1507] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1514] clock_gettime(CLOCK_REALTIME, {1478602092, 433748730}) = 0
[pid  1507] <... clock_gettime resumed> {1478602092, 433752245}) = 0
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.432343   "..., 348 <unfinished ...>
[pid  1507] futex(0xc8211b2d08, FUTEX_WAKE, 1 <unfinished ...>
[pid  1514] <... write resumed> )       = 348
[pid  1507] <... futex resumed> )       = 1
[pid 10488] <... futex resumed> )       = 0
[pid 10488] write(23, "\2\0\0\0\0\0\t\317I1108 10:48:12.431656   "..., 2519 <unfinished ...>
[pid  1514] clock_gettime(CLOCK_REALTIME,  <unfinished ...>
[pid  1507] select(0, NULL, NULL, NULL, {0, 20} <unfinished ...>
[pid 10488] <... write resumed> )       = 2519
[pid 10488] futex(0xc8211b2d08, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid  1875] <... epoll_wait resumed> {{EPOLLIN|EPOLLOUT|EPOLLRDHUP, {u32=1298424080, u64=140528333381904}}}, 128, -1) = 1
[pid  1514] <... clock_gettime resumed> {1478602092, 434094221}) = 0
[pid  1514] write(45, "{\"log\":\"I1108 10:48:12.432445   "..., 349) = 349
[pid  1514] futex(0xc820209908, FUTEX_WAIT, 0, NULL <unfinished ...>
[pid  1507] <... select resumed> )      = 0 (Timeout)
[pid  1507] clock_gettime(CLOCK_MONOTONIC, {514752, 144370753}) = 0
[pid  1507] futex(0x224fe10, FUTEX_WAIT, 0, {60, 0} <unfinished ...>
[pid  1875] epoll_wait(6,  <unfinished ...>
[pid  1683] <... futex resumed> )       = -1 ETIMEDOUT (Connection timed out)
[pid  1683] clock_gettime(CLOCK_MONOTONIC, {514752, 292709791}) = 0
[pid  1683] futex(0x224fe10, FUTEX_WAKE, 1) = 1
[pid  1507] <... futex resumed> )       = 0

मैं सेंटीकोस 7 पर लूपबैक के साथ डेविक्मेपर का उपयोग कर रहा हूं।

क्या खुशी के बारे में निश्चित नहीं है, लेकिन मेरे लिए dmsetup udevcookies और dmsetup udevcomplete <cookie> काम करता है।

@thaJeztah क्या आपको समझाने में मदद कर सकता है?

मैं यहाँ पर पहले भी कई बार टिप्पणी की जा चुकी हूँ। यदि आपको कोई हैंग हो जाता है तो कृपया SIGUSR1 सिग्नल को डेमॉन प्रक्रिया में भेजें और लॉग में लिखे गए ट्रेस को कॉपी करें। स्ट्रेस आउटपुट डिबगिंग हैंग के लिए उपयोगी नहीं है, एक क्लाइंट प्रक्रिया से होने की संभावना है और आमतौर पर यह भी नहीं दिखाता है कि क्या प्रक्रिया अटक गई है या बस सो रही है।

मेरे पास USR1 डंप है क्योंकि @tonistiigi ने हैंग-अंडर-लोड के साथ पूछा।

$ docker info
Containers: 18
 Running: 15
 Paused: 0
 Stopped: 3
Images: 232
Server Version: 1.12.3
Storage Driver: devicemapper
 Pool Name: vg_ex-docker--pool
 Pool Blocksize: 65.54 kB
 Base Device Size: 107.4 GB
 Backing Filesystem: xfs
 Data file: 
 Metadata file: 
 Data Space Used: 132.8 GB
 Data Space Total: 805.3 GB
 Data Space Available: 672.5 GB
 Metadata Space Used: 98.46 MB
 Metadata Space Total: 4.001 GB
 Metadata Space Available: 3.903 GB
 Thin Pool Minimum Free Space: 80.53 GB
 Udev Sync Supported: true
 Deferred Removal Enabled: true
 Deferred Deletion Enabled: false
 Deferred Deleted Device Count: 0
 Library Version: 1.02.107-RHEL7 (2016-06-09)
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: null bridge host overlay
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Security Options: seccomp
Kernel Version: 3.10.0-327.36.2.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 56
Total Memory: 251.6 GiB
Name: server.masked.example.com
ID: Z7J7:CLEG:KZPK:TNEI:QLYL:JBTO:XNM4:NX2X:KPQC:VHPC:6SFS:G4GR
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Insecure Registries:
 127.0.0.0/8

docker.txt

प्रदान किए गए लॉग से, ऐसा लगता है कि यह dm_udev_wait पर अटक गया है

goroutine 2747 [syscall, 12 minutes, locked to thread]:
github.com/docker/docker/pkg/devicemapper._Cfunc_dm_udev_wait(0xc80d4d887c, 0xc800000000)
\t??:0 +0x41
github.com/docker/docker/pkg/devicemapper.dmUdevWaitFct(0xd4d887c, 0x44288e)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper_wrapper.go:222 +0x22
github.com/docker/docker/pkg/devicemapper.UdevWait(0xc821c7e8f8, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src
Nov 17 06:50:13 server docker: /github.com/docker/docker/pkg/devicemapper/devmapper.go:259 +0x3b
github.com/docker/docker/pkg/devicemapper.activateDevice(0xc82021a880, 0x1e, 0xc8202f0cc0, 0x57, 0x9608, 0x1900000000, 0x0, 0x0, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:771 +0x8b8
github.com/docker/docker/pkg/devicemapper.ActivateDevice(0xc82021a880, 0x1e, 0xc8202f0cc0, 0x57, 0x9608, 0x1900000000, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:732 +0x78
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).activateDeviceIfNeeded(0xc8200b6340, 0xc8208e0a40, 0xc8200b6300, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:539 +0x58d
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).MountDevice(0xc8200b6340, 0xc820a00200, 0x40, 0xc820517ab0, 0x61, 0x0, 0x0, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:2269 +0x2cd
github.com/docker/docker/daemon/graphdriver/devmapper.(*Driver).Get(0xc82047bf40, 0xc820a00200, 0x40, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
\t/root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/driver.go:185 +0x62f
github.com/docker/docker/daemon/graphdriver.(*NaiveDiffDriver).Get(0xc8201c2680, 0xc820a00200, 0x40, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
\t<autogenerated>:30 +0xa6

इसी तरह के मुद्दे # 27900 # 27543

@ AaronDMarasco-VSI क्या आपने dmsetup udevcomplete_all की कोशिश की है?

@ coolljt0725 नहीं, क्षमा करें, जब मैंने रिपोर्ट करने के लिए लॉग को डंप किया, मैंने किसी और के साथ खेलने के बिना डेमॉन को फिर से शुरू किया।

@tonistiigi , यहां पाया जा सकता है

@ तरल-आकाश से ट्रेस नेटलिंक सॉकेट पर अवरुद्ध होने लगता है

goroutine 13038 [syscall, 9838 minutes, locked to thread]:
syscall.Syscall6(0x2d, 0x16, 0xc820fc3000, 0x1000, 0x0, 0xc8219bc028, 0xc8219bc024, 0x0, 0x300000002, 0x66b5a6)
    /usr/lib/go1.6/src/syscall/asm_linux_amd64.s:44 +0x5
syscall.recvfrom(0x16, 0xc820fc3000, 0x1000, 0x1000, 0x0, 0xc8219bc028, 0xc8219bc024, 0x427289, 0x0, 0x0)
    /usr/lib/go1.6/src/syscall/zsyscall_linux_amd64.go:1712 +0x9e
syscall.Recvfrom(0x16, 0xc820fc3000, 0x1000, 0x1000, 0x0, 0x1000, 0x0, 0x0, 0x0, 0x0)
    /usr/lib/go1.6/src/syscall/syscall_unix.go:251 +0xb9
github.com/vishvananda/netlink/nl.(*NetlinkSocket).Receive(0xc820c6c5e0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/nl/nl_linux.go:341 +0xae
github.com/vishvananda/netlink/nl.(*NetlinkRequest).Execute(0xc820dded20, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/nl/nl_linux.go:228 +0x20b
github.com/vishvananda/netlink.LinkSetMasterByIndex(0
 x7f1e88c67c20, 0xc820e00630, 0x3, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:231 +0x3b0
github.com/vishvananda/netlink.LinkSetMaster(0x7f1e88c67c20, 0xc820e00630, 0xc8219bc550, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:205 +0xb7
github.com/docker/libnetwork/drivers/bridge.addToBridge(0xc820c78830, 0xb, 0x177bf88, 0x7, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/docker/libnetwork/drivers/bridge/bridge.go:782 +0x275
github.com/docker/libnetwork/drivers/bridge.(*driver).CreateEndpoint(0xc820316640, 0xc8201f6840, 0x40, 0xc821879500, 0x40, 0x7f1e88c67bd8, 0xc820f38580, 0xc821a87bf0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/docker/libnetwork/drivers/bridge/bridge.go:1004 +0x1436
github.com/docker/libnetwork.(*network).addEndpoint(0xc820f026c0, 0xc8209f2300, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/docker/libnetwork/network.go:749 +0x21b
github.com/docker/libnetwork.(*network).CreateEndpoint(0xc820f026c0, 0xc820eb1909, 0x6, 0xc8210af160, 0x4, 0x4, 0x0, 0x0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/docker/libnetwork/network.go:813 +0xaa7
github.com/docker/docker/daemon.(*Daemon).connectToNetwork(0xc82044e480, 0xc820e661c0, 0x177aea8, 0x6, 0xc820448c00, 0x0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/.gopath/src/github.com/docker/docker/daemon/container_operations.go:539 +0x39f
github.com/docker/docker/daemon.(*Daemon).allocateNetwork(0xc82044e480, 0xc820e661c0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker
 -1.11.2/.gopath/src/github.com/docker/docker/daemon/container_operations.go:401 +0x373
github.com/docker/docker/daemon.(*Daemon).initializeNetworking(0xc82044e480, 0xc820e661c0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/.gopath/src/github.com/docker/docker/daemon/container_operations.go:680 +0x459
github.com/docker/docker/daemon.(*Daemon).containerStart(0xc82044e480, 0xc820e661c0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/.gopath/src/github.com/docker/docker/daemon/start.go:125 +0x219
github.com/docker/docker/daemon.(*Daemon).ContainerStart(0xc82044e480, 0xc820ed61d7, 0x40, 0x0, 0x0, 0x0)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/.gopath/src/github.com/docker/docker/daemon/start.go:75 +0x575

cc @aboch

जैसा कि अन्य ने सुझाव दिया है कि यह संभवतः कर्नेल में कुछ बहुत खराब होने का एक दुष्प्रभाव है।
हम इस स्थिति को कम करने के प्रयास में https://github.com/docker/libnetwork/pull/1557 को जोड़ रहे हैं।

हो सकता है कि मेरे पास कुछ त्रुटि संदेशों के साथ एक और दो तीन स्टैक के निशान हैं ( जर्नलैक्ट सिसलॉग से लिया गया)।
मैं डॉक छवियों के लिए कुछ rspec / serverpec परीक्षण चला रहा हूं और इस स्थिति में docker को कोई प्रतिक्रिया नहीं मिल रही है। परीक्षण 20 मिनट से अधिक समय तक अटका रहता है (यदि विफल रहता है तो 5 बार पुन: प्रयास करेगा)।
प्रत्येक छवि परीक्षण 5 मिनट से कम समय में समाप्त हो जाता है, परीक्षण अब कम से कम 30 या 60 मिनट के लिए चल रहा है।

https://gist.github.com/mblaschke/d5d38cb34f6178e50e465c6e1f02131c

अ-अ:
लिनक्स webdevops.infogene.fr 4.4.0-47- जेनेरिक # 68-उबंटू एसएमपी बुध अक्टूबर 26 19:39:52 UTC 2016 x86_64 x86_64 x86_64 GNU / Linux

डॉक जानकारी:
कंटेनर: 5
चल रहा है: १
रुका हुआ: ०
रोका: 4
चित्र: 1208
सर्वर संस्करण: 1.12.3
भंडारण चालक: aufs
रूट डिर: / var / lib / docker / aufs
बैकिंग फाइलसिस्टम: एक्सटॉफ़
डायर: 449
Dirperm1 समर्थित: सच
लॉगिंग ड्राइवर: json-file
Cgroup Driver: cgroupfs
प्लगइन्स:
मात्रा: स्थानीय
नेटवर्क: ब्रिज होस्ट नल ओवरले
झुंड: निष्क्रिय
Runtimes: runc
डिफ़ॉल्ट रनटाइम: runc
सुरक्षा विकल्प: एपरमोर सेकंपैक
कर्नेल संस्करण: 4.4.0-47-जेनेरिक
ऑपरेटिंग सिस्टम: Ubuntu 16.04.1 LTS
ऑस्टाइप: लाइनक्स
आर्किटेक्चर: x86_64
सीपीयू: 7
कुल मेमोरी: 11.73 GiB
नाम: webdevops.infogene.fr
ID: DGNM : G3MV: ZMMV : HY6K: UPLU : CMEV: VHCA : RVY3: CRV7: FS5M: KMVQ: MQO5
डॉकर रूट डिर: / var / lib / docker
डिबग मोड (क्लाइंट): गलत
डिबग मोड (सर्वर): गलत
रजिस्ट्री: https://index.docker.io/v1/
चेतावनी: कोई स्वैप सीमा समर्थन नहीं है
असुरक्षित रजिस्ट्रियां:
127.0.0.0/8

यहाँ भी serverpec से परिणाम आउटपुट:

https://gist.github.com/mblaschke/21a521367a2a2b71301607482647a748

@mblaschke मैंने आपके निशान (https://gist.github.com/tonistiigi/0fb0abfb068a89975c072b68e6ed07ce बेहतर नज़र के लिए) पर देखा। मुझे हालांकि इसमें कुछ भी संदिग्ध नहीं मिल रहा है। सभी लंबे समय तक चलने वाले गोरोइन्ट खुले io प्रतिलिपि से होते हैं जो सामान्य है अगर वहाँ कंटेनर चल रहे हैं या निष्पादित होते हैं क्योंकि ये गोरोइन किसी भी ताले को नहीं पकड़ते हैं। निशानों से मैं उम्मीद करूँगा कि अन्य कमांड जैसे docker ps या docker exec/stop आपके मामले में अवरुद्ध न हों और आपके द्वारा देखी गई हैंग केवल यह है कि आप एक विशिष्ट कंटेनर या निष्पादन की उम्मीद कर रहे थे, लेकिन यह समाप्त नहीं हुआ ' टी यह या तो एप्लिकेशन से संबंधित हो सकता है जो किसी चीज पर लटका हुआ है या कंटेनर हमें कंटेनर (cc @mlaventure) के बारे में कोई घटना नहीं भेज रहा है।

लॉग में आपके द्वारा दी जाने वाली चेतावनी https://github.com/docker/containerd/pull/351 के साथ तय की जानी चाहिए। उन्हें केवल स्पैम का कारण बनना चाहिए और कुछ भी गंभीर नहीं होना चाहिए। क्योंकि डिबग लॉग लॉग में सक्षम नहीं है, मैं देख सकता हूं कि क्या कोई संदिग्ध कमांड डेमन को भेजे गए हैं। स्टैकट्रेस लेने से पहले मिनटों के लिए कोई सार्थक लॉग नहीं लगता है।

एक ही कोड डॉकर 1.10.3 के साथ काम करता है, लेकिन डॉकर 1.11.x के बाद नहीं। Serverpec परीक्षण टाइमआउट के साथ बेतरतीब ढंग से विफल हो रहे हैं।
मुझे लग रहा है कि यह अधिक बार हो रहा है जब हम परीक्षण मोड में तुलना में समानताएं (उदाहरण के लिए 4 कोर सीपीयू पर 2 ओडर 4 परीक्षण चला रहे हैं) चला रहे हैं लेकिन परिणाम समान है। कोई टेस्ट रन नहीं है जो सफलतापूर्वक चलता है।
डॉकर 1.11 के साथ पूरा डॉकटर डेमॉन लटका हुआ था, क्योंकि 1.12 डॉकर केवल निष्पादन विफल रहता है या टाइमआउट में चलता है।

@mblaschke मुझे ट्रेस पर भी एक नज़र थी, यह वास्तव में ऐसा लगता है कि निष्पादन केवल अपने IO के साथ खत्म नहीं कर रहा है।

आप किस निष्पादन कार्यक्रम को क्रियान्वित कर रहे हैं? क्या यह अपने स्वयं के सत्र आईडी के साथ नई प्रक्रियाओं को कांटा करता है?

हम सभी कंटेनरों में नियमित रूप से https://github.com/rancher/rancher द्वारा असाइन किए गए अपने IP-adresses को खोजने के लिए नियमित रूप से ip addr निष्पादित कर रहे हैं, जो दुर्भाग्य से docker मेटाडेटा का हिस्सा नहीं हैं अभी तक)

हम अपने उत्पादन क्लस्टर के भीतर नियमित रूप से फांसी की समस्या देख रहे हैं।
ip addr साथ अपने स्वयं के सत्र आईडी के साथ चलने वाली प्रक्रियाओं के साथ बहुत जादू नहीं होना चाहिए, है ना?

@mlaventure
हम परीक्षण के लिए serverpec / rspec का उपयोग कर रहे हैं और बहुत ही सरल परीक्षण निष्पादित कर रहे हैं (फ़ाइल जाँच, सरल आदेश जाँच, सरल अनुप्रयोग जाँच)। अधिकांश समय साधारण फ़ाइल अनुमति जाँच भी विफल हो रही हैं।

टेस्ट यहां हैं (लेकिन उन्हें निष्पादन के लिए कुछ पर्यावरण सेटिंग्स की आवश्यकता है):
https://github.com/webdevops/Dockerfile/tree/develop/tests/serverspec

आप इसे हमारे कोड आधार के साथ आज़मा सकते हैं:

1. सभी अजगर (पाइप) और रूबी मॉड्यूल लाने के लिए make requirements
2. bin/console docker:pull --threads=auto (हब से ~ 180 चित्र)
3. bin/console test:serverspec --threads=auto सभी परीक्षण लंबित मोड में चलाने के लिए या bin/console test:serverspec सीरियल मोड में

@GameScripting मैं अब भ्रमित हो रहा हूं: पसीना_स्मिल:। क्या आप उसी संदर्भ का उल्लेख कर रहे हैं जो @mblaschke से चल रहा है?

यदि नहीं, तो आप कौन से डॉक वर्जन का उपयोग कर रहे हैं?

और आपके सवाल का जवाब देने के लिए, नहीं, यह संभावना नहीं है कि आईपी एड्र ऐसा कुछ भी करेगा।

आप किस छवि का उपयोग कर रहे हैं? सटीक डॉकर्स कमांड क्या इस्तेमाल किया जा रहा है?

क्षमा करें, इसे और अधिक भ्रम बनाना मेरा उद्देश्य नहीं था।
मैं उसी संदर्भ का संदर्भ नहीं दे रहा हूं, मैं उस परीक्षण-सूट का उपयोग नहीं करता हूं जिसका उल्लेख हेवा करता है। मैं और अधिक (उम्मीद है कि उपयोगी) संदर्भ और / या हम क्या कर रहे हैं कि इस मुद्दे का कारण हो सकता है पर infos प्रदान करना चाहता था।

इस बग को हल करने पर मुख्य मुद्दा यह है कि कोई भी अभी तक फांसी को ट्रिगर करने के लिए स्थिर, प्रतिलिपि योग्य कदम के साथ आने में सक्षम नहीं था।

ऐसा लगता है कि @mblaschke को कुछ मिला, इसलिए वह बग को मज़बूती से

मैं डॉकर 1.11.2 के साथ कोरओएस स्थिर (1185.3.0) का उपयोग करता हूं।
मैं कुछ वैरिएबल की जांच करने के लिए अपने रेडिस कंटेनर को डॉकर्स एक्ज़ीक्यूट के साथ एक घड़ी चलाता हूं। कम से कम एक दिन डॉकर डेमॉन लटका हुआ है।

लेकिन मुझे एक समाधान मिला है जब तक आप एक containerd (https://github.com/docker/containerd) से ctr उपयोगिता का उपयोग करता हूं। इसका उपयोग कंटेनरों को शुरू करने और रोकने के लिए भी किया जा सकता है। मुझे लगता है कि यह 1.11.2 docker में एकीकृत है।
दुर्भाग्य से यह CoreOS पर एक और बग है जो मैंने यहां रिपोर्ट किया है: https://github.com/docker/containerd/issues/356#event -874038823 (उन्होंने इसे तब से तय किया है), इसलिए आपको नियमित रूप से साफ / tmp करने की आवश्यकता है लेकिन कम से कम उत्पादन में एक सप्ताह के लिए मेरे लिए काम कर रहा है।

अगला डॉकटर उदाहरण:

docker exec -i container_name /bin/sh 'echo "Hello"'

ctr में अनुवादित किया जा सकता है:

/usr/bin/ctr --address=/run/docker/libcontainerd/docker-containerd.sock containers exec --id=${id_of_the_running_container} --pid=any_unique_process_name -a --cwd=/ /bin/sh -c 'echo "Hello"'

इसलिए आप वर्कअराउंड के रूप में अस्थायी रूप से ctr में लिपियों का अनुवाद कर सकते हैं।

@mblaschke आपके द्वारा पोस्ट की गई कमांड मेरे लिए विफल रही, लेकिन वे https://gist.github.com/tonistiigi/86badf5a41dff3fe53bd68d8e83e4ec4 आप डीबग लॉग सक्षम कर सकते हैं। मास्टर बिल्ड डेमॉन इंटर्नल के बारे में अधिक डिबग डेटा भी संग्रहीत करता है और कंटेनरड के साथ-साथ सिगस्र 1 संकेतों का पता लगाने की अनुमति देता है। क्योंकि हम एक अटकी हुई प्रक्रिया पर भी नज़र रख रहे हैं ps aux मदद कर सकते हैं।

@tonistiigi
मैं अल्पाइन ब्लैकलिस्ट भूल गया (वर्तमान में समस्याओं का निर्माण) तो कृपया चलाएँ: bin/console test:serverspec --threads=auto --blacklist=:alpine

माफ़ करना :(

@mblaschke अभी भी docker exec <id> /usr/bin/php -i पर लटका हुआ है। यदि मैं उपयोग की जा रही छवि को ट्रेस करता हूं और इसे मैन्युअल रूप से शुरू करता हूं तो मैं देखता हूं कि इस चित्र में वास्तविक php स्थापित नहीं है:

root<strong i="8">@254424aecc57</strong>:/# php -v
HipHop VM 3.11.1 (rel)
Compiler: 3.11.1+dfsg-1ubuntu1
Repo schema: 2f678922fc70b326c82e56bedc2fc106c2faca61

और यह हिपहॉपवीएम -i समर्थन नहीं करता है, लेकिन सिर्फ ब्लॉक करता है।

@tonistiigi
मैं इस डॉक को पिछले डॉकटर संस्करणों में लंबे समय से शिकार कर रहा था और इस बग को हमारे परीक्षणों में नहीं देखा था। हमने इसे ठीक कर लिया है, धन्यवाद और खेद / ओ

मैंने बिल्ड लॉग खोजे हैं और 1.12.3 का उपयोग करते समय एक परीक्षण विफलता (यादृच्छिक मुद्दा, एचवीएम परीक्षणों में नहीं) पाया। हम डॉकर पर जोर देना जारी रखेंगे और इस मुद्दे को खोजने की कोशिश करेंगे।

@ coolljt0725 मैं docker ps एक सत्र में लटका दिया, और sudo service docker stop लटका दिया। तीसरा सत्र खोला:

$ sudo lvs
  LV          VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  docker-pool vg_ex  twi-aot--- 750.00g             63.49  7.88                            
$ sudo dmsetup udevcomplete_all
This operation will destroy all semaphores with keys that have a prefix 3405 (0xd4d).
Do you really want to continue? [y/n]: y
2 semaphores with keys prefixed by 3405 (0xd4d) destroyed. 0 skipped.

जैसे ही वह पूरा हुआ, अन्य दो सत्र अनब्लॉक हो गए। मैं डिस्क स्थान की जाँच कर रहा था क्योंकि इससे पहले एक बार समस्या हुई थी इसलिए पहली बार मैंने देखा था। 2 सेमीफोरर्स मेरे पास दो कॉल हो सकते हैं, लेकिन मेरे जेनकींस सर्वर से कई docker कॉल थे, यही कारण है कि मैं चारों ओर से घूर रहा था ...

dmsetup कॉल करने के बाद त्रिशंकु उत्पादन का एक उदाहरण, docker run ने कुछ दिन पहले शुरू किया था:

docker run -td -v /opt/Xilinx/:/opt/Xilinx/:ro -v /opt/Modelsim/:/opt/Modelsim/:ro -v /data/jenkins_workspace_modelsim/workspace/examples_hdl/APPLICATION/bias/HDL_PLATFORM/modelsim_pf/TARGET_OS/7:/build --name jenkins-examples_hdl-APPLICATION--bias--HDL_PLATFORM--modelsim_pf--TARGET_OS--7-546 jenkins/build:v3-C7 /bin/sleep 10m
docker: An error occurred trying to connect: Post http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containers/create?name=jenkins-examples_hdl-APPLICATION--bias--HDL_PLATFORM--modelsim_pf--TARGET_OS--7-546: EOF.
See 'docker run --help'.

डॉकर 1.11.2 हैंगिंग, स्टैक ट्रेस: https://gist.github.com/Calpicow/871621ba807d6eb9b18b91e8c2eb4eef

@Calpicow से ट्रेस लगता है कि devicemapper पर अटक गया है। लेकिन udev_wait मामले को नहीं देखता है। @ coolljt0725 @rhvgoyal

goroutine 488 [syscall, 10 minutes, locked to thread]:
github.com/docker/docker/pkg/devicemapper._C2func_dm_task_run(0x7fbffc010f80, 0x0, 0x0, 0x0)
    ??:0 +0x47
github.com/docker/docker/pkg/devicemapper.dmTaskRunFct(0x7fbffc010f80, 0xc800000001)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper_wrapper.go:96 +0x21
github.com/docker/docker/pkg/devicemapper.(*Task).run(0xc8200266d8, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engin
e/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:155 +0x37
github.com/docker/docker/pkg/devicemapper.SuspendDevice(0xc821b07380, 0x55, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:627 +0x99
github.com/docker/docker/pkg/devicemapper.CreateSnapDevice(0xc821013f80, 0x25, 0x1a, 0xc821b07380, 0x55, 0x17, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:759 +0x92
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).createRegisterSnapDevice(0xc8203be9c0, 0xc82184d1c0, 0x40, 0xc821a78f40, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:860 +0x557
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).AddDevice(0xc8203be9c0, 0xc82184d1c0, 0x40, 0xc8219c47c0, 0x40, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:1865 +0x81f
github.com/docker/docker/daemon/graphdriver/devmapper.(*Driver).Create(0xc8200ff770, 0xc82184d1c0, 0x40, 0xc8219c47c0, 0x40, 0x0, 0x0, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/driver.go:124 +0x5f
github.com/docker/docker/daemon/graphdriver.(*NaiveDiffDriver).Create(0xc820363940, 0xc82184d1c0, 0x40, 0xc8219c47c0, 0x40, 0x0, 0x0, 0x0, 0x0)
    <autogenerated>:24 +0xaa
github.com/docker/docker/layer.(*layerStore).Register(0xc820363980, 0x7fc02faa3898, 0xc821a6ae00, 0xc821ace370, 0x47, 0x0, 0x0, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/layer/layer_store.go:266 +0x382
github.com/docker/docker/distribution/xfer.(*LayerDownloadManager).makeDownloadFunc.func1.1(0xc8210cd740, 0xc8210cd680, 0x7fc02fb6b758, 0xc820f422d0, 0xc820ee15c0, 0xc820ee1680, 0xc8210cd6e0, 0xc820e8e0b0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/distribut
ion/xfer/download.go:316 +0xc01
created by github.com/docker/docker/distribution/xfer.(*LayerDownloadManager).makeDownloadFunc.func1
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/distribution/xfer/download.go:341 +0x191

@ कैल्पिको क्या आपके पास कुछ dmesg लॉग है? और क्या आप dmsetup status का आउटपुट दिखा सकते हैं?

मेरा docker ps लटका हुआ है, लेकिन अन्य कमांड जैसे info / restart / images ही ठीक काम करते हैं।

मेरे पास एक बड़ा SIGUSR1 डंप है नीचे के रूप में (यहां फिट नहीं है)। https://gist.github.com/ahmetalpbalkan/34bf40c02a78e319eaf5710acb15cf9a

• docker सर्वर संस्करण: 1.11.2
• संग्रहण ड्राइवर: ओवरले
• कर्नेल संस्करण: 4.7.3-coreos-r3
• ऑपरेटिंग सिस्टम: CoreOS 1185.5.0 (MoreOS)

ऐसा लगता है कि मेरे पास इन गोरोइंट्स का एक टन (जैसे 700) है:

...
goroutine 1149 [chan send, 1070 minutes]:
github.com/vishvananda/netlink.LinkSubscribe.func2(0xc821159d40, 0xc820fa4c60)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:898 +0x2de
created by github.com/vishvananda/netlink.LinkSubscribe
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:901 +0x107

goroutine 442 [chan send, 1129 minutes]:
github.com/vishvananda/netlink.LinkSubscribe.func2(0xc8211eb380, 0xc821095920)
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:898 +0x2de
created by github.com/vishvananda/netlink.LinkSubscribe
    /build/amd64-usr/var/tmp/portage/app-emulation/docker-1.11.2-r5/work/docker-1.11.2/vendor/src/github.com/vishvananda/netlink/link_linux.go:901 +0x107
...

@ahmetalpbalkan आप एक नेटलिंक सॉकेट पर लौटने के लिए इंतज़ार कर रहे अवरुद्ध दिखते हैं।
यह कर्नेल में एक बग है, लेकिन 1.12.5 को कम से कम इस नेटलिंक सॉकेट पर एक टाइमआउट होना चाहिए।
अगर मुझे अनुमान लगाना था, तो आपके पास dmesg आउटपुट में device_count = 1; waiting for <interface> to become free जैसा कुछ होगा

@ cpuguy83 हाँ, मैंने https://github.com/coreos/bugs/issues/254 देखा जो मेरे मामले के समान था, हालाँकि मैं उन "प्रतीक्षा" संदेशों को नहीं देखता जो कर्नेल में लॉग करते हैं और आपने उल्लेख किया है।

ऐसा लगता है कि 1.12.5 ने कोरोस अल्फा स्ट्रीम को अभी तक हिट नहीं किया है। क्या कोई कर्नेल / डॉक वर्जन है जिसे मैं डाउनग्रेड कर सकता हूं और यह काम कर रहा है?

@ahmetalpbalkan Yay, एक और कर्नेल बग के लिए।
यही कारण है कि हमने नेटलिंक सॉकेट पर टाइमआउट की शुरुआत की ... सभी संभावना में आप किसी भी नए कंटेनर को शुरू / बंद नहीं कर पाएंगे, लेकिन कम से कम डॉकर ब्लॉक नहीं होंगे।

पता है कि वास्तव में बग क्या है? क्या कर्नेल-बग की रिपोर्ट अपस्ट्रीम थी? या वहाँ भी एक कर्नेल संस्करण है जहाँ इस बग को ठीक किया गया है?

@GameScripting समस्या के बारे में बताया जाएगा कि यह जो भी डिस्ट्रो का उत्पादन किया गया था, और जैसा कि आप देख सकते हैं कि हमारे पास 1 से अधिक अंक हैं और साथ ही समान प्रभाव पैदा करते हैं।

यहां डॉकटर v1.12.3 के साथ एक और एक है

ढेर
घमंडी
Dmsetup

प्रासंगिक सिसलॉग:

Jan  6 01:41:19 ip-100-64-32-70 kernel: INFO: task kworker/u31:1:91 blocked for more than 120 seconds.
Jan  6 01:41:19 ip-100-64-32-70 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jan  6 01:41:19 ip-100-64-32-70 kernel: kworker/u31:1   D ffff880201fc98e0     0    91      2 0x00000000
Jan  6 01:41:19 ip-100-64-32-70 kernel: Workqueue: kdmremove do_deferred_remove [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff88020141bcf0 0000000000000046 ffff8802044ce780 ffff88020141bfd8
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff88020141bfd8 ffff88020141bfd8 ffff8802044ce780 ffff880201fc98d8
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff880201fc98dc ffff8802044ce780 00000000ffffffff ffff880201fc98e0
Jan  6 01:41:20 ip-100-64-32-70 kernel: Call Trace:
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8163b959>] schedule_preempt_disabled+0x29/0x70
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81639655>] __mutex_lock_slowpath+0xc5/0x1c0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81638abf>] mutex_lock+0x1f/0x2f
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0392e9d>] __dm_destroy+0xad/0x340 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa03947e3>] dm_destroy+0x13/0x20 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0398d6d>] dm_hash_remove_all+0x6d/0x130 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa039b50a>] dm_deferred_remove+0x1a/0x20 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0390dae>] do_deferred_remove+0xe/0x10 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8109d5fb>] process_one_work+0x17b/0x470
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8109e3cb>] worker_thread+0x11b/0x400
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8109e2b0>] ? rescuer_thread+0x400/0x400
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810a5aef>] kthread+0xcf/0xe0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810a5a20>] ? kthread_create_on_node+0x140/0x140
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81645818>] ret_from_fork+0x58/0x90
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810a5a20>] ? kthread_create_on_node+0x140/0x140
Jan  6 01:41:20 ip-100-64-32-70 kernel: INFO: task dockerd:31587 blocked for more than 120 seconds.
Jan  6 01:41:20 ip-100-64-32-70 kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jan  6 01:41:20 ip-100-64-32-70 kernel: dockerd         D 0000000000000000     0 31587      1 0x00000080
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff8800e768fab0 0000000000000086 ffff880034215c00 ffff8800e768ffd8
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff8800e768ffd8 ffff8800e768ffd8 ffff880034215c00 ffff8800e768fbf0
Jan  6 01:41:20 ip-100-64-32-70 kernel: ffff8800e768fbf8 7fffffffffffffff ffff880034215c00 0000000000000000
Jan  6 01:41:20 ip-100-64-32-70 kernel: Call Trace:
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8163a879>] schedule+0x29/0x70
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81638569>] schedule_timeout+0x209/0x2d0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8108e4cd>] ? mod_timer+0x11d/0x240
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8163ac46>] wait_for_completion+0x116/0x170
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810b8c10>] ? wake_up_state+0x20/0x20
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810ab676>] __synchronize_srcu+0x106/0x1a0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810ab190>] ? call_srcu+0x70/0x70
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81219e3f>] ? __sync_blockdev+0x1f/0x40
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff810ab72d>] synchronize_srcu+0x1d/0x20
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa039318d>] __dm_suspend+0x5d/0x220 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0394c9a>] dm_suspend+0xca/0xf0 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0399fe0>] ? table_load+0x380/0x380 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa039a174>] dev_suspend+0x194/0x250 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa0399fe0>] ? table_load+0x380/0x380 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa039aa25>] ctl_ioctl+0x255/0x500 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8112482d>] ? call_rcu_sched+0x1d/0x20
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffffa039ace3>] dm_ctl_ioctl+0x13/0x20 [dm_mod]
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff811f1e75>] do_vfs_ioctl+0x2e5/0x4c0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff8128bbee>] ? file_has_perm+0xae/0xc0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff81640d01>] ? __do_page_fault+0xb1/0x450
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff811f20f1>] SyS_ioctl+0xa1/0xc0
Jan  6 01:41:20 ip-100-64-32-70 kernel: [<ffffffff816458c9>] system_call_fastpath+0x16/0x1b

@ कैल्पिको धन्यवाद, तुम्हारा ऐसा लग रहा है जैसे

github.com/docker/docker/pkg/devicemapper._C2func_dm_task_run(0x7fd3a40231b0, 0x7fd300000000, 0x0, 0x0)
    ??:0 +0x4c
github.com/docker/docker/pkg/devicemapper.dmTaskRunFct(0x7fd3a40231b0, 0xc821a91620)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper_wrapper.go:96 +0x75
github.com/docker/docker/pkg/devicemapper.(*Task).run(0xc820345838, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:155 +0x37
github.com/docker/docker/pkg/devicemapper.SuspendDevice(0xc8219c8600, 0x5a, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:648 +0x99
github.com/docker/docker/pkg/devicemapper.CreateSnapDevice(0xc821a915f0, 0x25, 0x21, 0xc8219c8600, 0x5a, 0x1f, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/pkg/devicemapper/devmapper.go:780 +0x92
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).createRegisterSnapDevice(0xc820433040, 0xc821084080, 0x40, 0xc8210842c0, 0x140000000, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:861 +0x550
github.com/docker/docker/daemon/graphdriver/devmapper.(*DeviceSet).AddDevice(0xc820433040, 0xc821084080, 0x40, 0xc82025b5e0, 0x45, 0x0, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/deviceset.go:1887 +0xa5c
github.com/docker/docker/daemon/graphdriver/devmapper.(*Driver).Create(0xc82036af00, 0xc821084080, 0x40, 0xc82025b5e0, 0x45, 0x0, 0x0, 0x0, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/driver.go:131 +0x6f
github.com/docker/docker/daemon/graphdriver/devmapper.(*Driver).CreateReadWrite(0xc82036af00, 0xc821084080, 0x40, 0xc82025b5e0, 0x45, 0x0, 0x0, 0x0, 0x0, 0x0)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/daemon/graphdriver/devmapper/driver.go:126 +0x86
github.com/docker/docker/daemon/graphdriver.(*NaiveDiffDriver).CreateReadWrite(0xc82021c500, 0xc821084080, 0x40, 0xc82025b5e0, 0x45, 0x0, 0x0, 0x0, 0x0, 0x0)
    <autogenerated>:28 +0xbe
github.com/docker/docker/layer.(*layerStore).CreateRWLayer(0xc82021c580, 0xc82154f980, 0x40, 0xc82025b2c0, 0x47, 0x0, 0x0, 0xc820981380, 0x0, 0x0, ...)
    /root/rpmbuild/BUILD/docker-engine/.gopath/src/github.com/docker/docker/layer/layer_store.go:476 +0x5a9
github.com/docker/docker/daemon.(*Daemon).setRWLayer(0xc820432ea0, 0xc8216d12c0, 0x0, 0x0)

क्या आप सभी विवरणों के साथ एक अलग मुद्दा खोल सकते हैं?
धन्यवाद!

30003