هذا يحتاج حقًا إلى مزيد من المعلومات وخطوات الاستنساخ

dockerd[101922]: time="2018-01-04T15:54:07.406980654Z" level=debug msg="Calling POST /v1.35/containers/4c2b5e7f466c/stop"

تظهر الرسالة أعلاه فقط أنه تم إجراء المكالمة لإيقاف الحاوية ؛ هل هناك رسائل بعد ذلك؟
كيف يتم إعداد عامل ميناء؟ هل تقوم بتشغيل عامل ميناء؟
هل تحققت من أن الحاوية لا تزال قيد التشغيل؟ ماذا يظهر docker inspect للحاوية؟ هل هناك PID في المخرجات؟ وهل هذه العملية لا تزال جارية؟ ( ps auxf على المضيف)
هل يمكنك إعادة إظهار المشكلة بدون جينكينز؟ هل يمكنك تقديم خطوات دقيقة لإعادة الإنتاج؟

thaJeztah في ٥ يناير ٢٠١٨

لم يتم تسجيل المزيد من الرسائل.

في غضون ذلك ، أجريت بعض الاختبارات وبعد دخول الحاوية في هذه الحالة:

لا أستطيع إيقاف الحاوية
لا أستطيع أن أرسو إكسك لتضرب.
يمكنني بدء وإيقاف الحاويات الأخرى

للخروج من هذه الحالة ، يجب أن:

توقف عامل الخدمة
قتل عمليات الحاوية ، (إذا لم يبدأ عامل الإرساء)
بدء عامل ميناء الخدمة

أعتقد أنني قمت بإعادة إنتاج هذا خارج جينكينز ذات مرة لكنني اعتقدت أنها مشكلة أخرى.

كما هو الحال مع Jenkins ، من الأسهل إعادة إنتاج هذا ، سأنتظر المرة القادمة لفحص الحاوية.

الإعداد (قيد التشغيل في CENTOS vm):

بدء الحاويات بصور معينة باستخدام عامل الإرساء
إجراء بعض الاختبارات باستخدام التطبيقات التي بدأت في الحاويات
إيقاف الحاويات باستخدام عامل الإرساء

ويتم تنفيذ هذه الخطوات لكل اختبار ، وأنا أقوم بإجراء الاختبارات بشكل متزامن.

أنا آسف لعدم تقديم المزيد من المعلومات ، ولكن هذا ما يمكنني جمعه حتى الآن.

Timunas في ٥ يناير ٢٠١٨

لدي مشكلة مماثلة _now_ مع _ إصدار عامل ميناء مختلف _ . لا يمكنني إيقاف أي حاوية تم إنشاؤها.

ويتم تسجيل هذا لجميع الحاويات.

"" 08 يناير 16:53:10 dockerd [7012]: time = "2018-01-08T16: 53: 10.983935134Z" المستوى = تصحيح أخطاء msg = "استدعاء POST /v1.34/containers/9cdc36c44340/stop"
يناير 08 16:53:10 dockerd [7012]: time = "2018-01-08T16: 53: 10.984024605Z" level = debug msg = "إرسال إشارة إنهاء الخدمة 15 إلى الحاوية 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94"
يناير 08 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985034572Z" level = info msg = "فشل الحاوية في التوقف بعد إرسال الإشارة 15 إلى العملية ، فرض القتل"
يناير 08 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985087603Z" level = debug msg = "إرسال إشارة الإيقاف 9 إلى الحاوية 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94"
يناير 08 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986759908Z" level = debug msg = "FIXME: حصلت على واجهة برمجة تطبيقات لا يتطابق الخطأ مع أي نوع متوقع !!!: غير موجود \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / containerd / containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / containerd / containerd / content / helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta g.go: 85 \ nmain.init \ n \ t / go / src / github.com / docker / docker / cmd / dockerd / service_unsupported.go: 15 \ nruntime.main \ n \ t / usr / local / go / src / runtime / proc.go: 173 \ nruntime.goexit \ n \ t / usr / local / go / src / runtime / asm_amd64.s: 2197 "error_type =" errors.fundamental "module = apiيناير 08 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986856140Z" level = error msg = "Handler for POST /v1.34/containers/9cdc36c44340/stop إرجاع الخطأ: لا يمكن التوقف الحاوية: 9cdc36c44340: لا يمكن قتل الحاوية 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94: العملية 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392a foundيناير 08 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.987051906Z" level = debug msg = "FIXME: حصلت على API لا يتطابق الخطأ مع أي نوع متوقع !!!: غير موجود \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / containerd / containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / containerd / containerd / content / helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta


**docker-info :** 
```Containers: 6
 Running: 6
 Paused: 0
 Stopped: 0
Images: 61
Server Version: 17.11.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 992280e8e265f491f7a624ab82f3e238be086e49
runc version: 0351df1c5a66838d0c392b4ac4cf9450de844e2d
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
Kernel Version: 4.10.0-42-generic
Operating System: Ubuntu 16.04.3 LTS
OSType: linux
Architecture: x86_64
CPUs: 8
Total Memory: 31GiB
Name: Laptop-749
ID: WZVE:HR5Q:3GYH:WNS6:FJCQ:TGHD:UMU5:PPWM:7Z77:QSBV:G2SW:HI77
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 26
 Goroutines: 48
 System Time: 2018-01-08T16:58:47.457072503Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

WARNING: No swap limit support

إصدار عامل ميناء:

العميل:
الإصدار: 17.11.0-ce
إصدار API: 1.34
إصدار Go: go1.8.3
Git الالتزام: 1caf76c
بنيت: الاثنين 20 نوفمبر 18:37:39 2017
OS / Arch: لينكس / amd64

الخادم:
الإصدار: 17.11.0-ce
إصدار API: 1.34 (الحد الأدنى للإصدار 1.12)
إصدار Go: go1.8.3
Git الالتزام: 1caf76c
تاريخ البناء: الاثنين 20 تشرين الثاني (نوفمبر) 18:36:09 2017
OS / Arch: لينكس / amd64
التجريبية: خطأ



**docker inspect** : 
```[
    {
        "Id": "9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94",
        "Created": "2018-01-08T16:32:30.716158282Z",
        "Path": "/opt/entrypoint.sh",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 477,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-01-08T16:32:31.370353796Z",
            "FinishedAt": "0001-01-01T00:00:00Z",
            "Health": {
                "Status": "healthy",
                "FailingStreak": 0,
                "Log": [
                    {
                        "Start": "2018-01-08T16:40:52.760255527Z",
                        "End": "2018-01-08T16:40:52.814916997Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:12.821209911Z",
                        "End": "2018-01-08T16:41:12.872327217Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:32.879017542Z",
                        "End": "2018-01-08T16:41:32.932394782Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:52.938598813Z",
                        "End": "2018-01-08T16:41:52.993106466Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:42:12.998820005Z",
                        "End": "2018-01-08T16:42:13.056301771Z",
                        "ExitCode": 0,
                        "Output": ""
                    }
                ]
            }
        },
        "Image": "sha256:71843cc0ac81d2a365553dd5b69f6643dab212fd8b45d498c6a92614352ed75f",
        "ResolvConfPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hostname",
        "HostsPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hosts",
        "LogPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94-json.log",
        "Name": "/kegfngsmzx_component_1",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "docker-default",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/dev/null:/tmp/conf/4:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common:/tmp/conf/1:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic:/tmp/conf/0:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component:/tmp/conf/3:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component:/tmp/conf/2:rw"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "kegfngsmzx_default",
            "PortBindings": {
                "1099/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ]
            },
            "RestartPolicy": {
                "Name": "",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": null,
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": null,
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3-init/diff:/var/lib/docker/overlay2/a9c4a86986bf84eff4d3156580e986daed91c7a37d937c5e4f608cd90b78f50a/diff:/var/lib/docker/overlay2/566bb33f0a3140bdb3726e3581bc703557f729010d2fb5b76ba21ac04157e5eb/diff:/var/lib/docker/overlay2/92302187d5633c0e6f3577edf93e2f1fbc133ccfcd11c6ce4a2b0fd06eb33db4/diff:/var/lib/docker/overlay2/3ac16dcca78ec2202d9af5e2e1ca50053612b75247d685c66418516aa7a1f91e/diff:/var/lib/docker/overlay2/3c2bef86bfac98dace20fb5ad4461601d444797454a5561bb543e4478d3aed25/diff:/var/lib/docker/overlay2/82de5471b51e7a55f8d9ff61983b36e9302b2fc7f4ba3fcc6ce5bde9f426ac9b/diff:/var/lib/docker/overlay2/7103da23a70519f91ae53950b6da99797d75104815ff43a1662efc92a933dc45/diff:/var/lib/docker/overlay2/70d522784351b087ee139f429dd041e1966308365e222f9022ab33f1f6da5089/diff:/var/lib/docker/overlay2/05d68822eebc4564c7e4597ee7c3d2bece406703e2e042bdf2ec35061a178f3a/diff:/var/lib/docker/overlay2/cc4fbcefd6fc474463d00d55d708988fc68f6eca5534675992e157743cb04af7/diff:/var/lib/docker/overlay2/50a363caa96c54de6cf17bfa477e384694f0fdf15a81c27cb92b830c0a8782b1/diff:/var/lib/docker/overlay2/ee1dadb2c4a98b37896eeb4e97f0715d97485bd10ef2b70d3b279d7fb93a4b18/diff:/var/lib/docker/overlay2/a66b6a45869ab5484cc04259ee7e11d32526a1fa1c91748f71754b57a87b69d9/diff:/var/lib/docker/overlay2/58472f6337dd2f95a5bda690e630fc6ddf4f661b6e965cfa798c666cde72457a/diff:/var/lib/docker/overlay2/22657f15e2d1411269f3201e63705babaaa7a04275f6c91ca5df4dc167abd93f/diff:/var/lib/docker/overlay2/5483cd1fad2a005e68e2656c5fcee54b8844576743288c06e49f40f6a4381a63/diff:/var/lib/docker/overlay2/ba02a2666cd21a254805404d1757f8ed90e28089e4a924e15a524c1e09265d0a/diff:/var/lib/docker/overlay2/07359ba2f66ba314629b1a6df441a7b96470e5d55ec22b88a48cc7c93b34f515/diff:/var/lib/docker/overlay2/99ecef114a5db24e123e4f5d9a8a01c3a79fa6aaed1af1095669f374a689294d/diff:/var/lib/docker/overlay2/7cfa73084c807c05112368f9c60627622b807b5ad932ace14541994f95209329/diff:/var/lib/docker/overlay2/b8e4cd0ea2811b61210129cc97ef4d10489bcb61b3b1dbe64d5a7af65bc284e2/diff:/var/lib/docker/overlay2/5cb7c00c701b24ca232c773eff803b0ca26a4bb137a5960920f5f3e9c96cfe7b/diff:/var/lib/docker/overlay2/6e722e736fb0acf96c2bbd2b29cd10e79955fe4b5fd8bf862a17ffa241b68a1b/diff:/var/lib/docker/overlay2/160835aace0cb1e2f4b9360934188b99ca9a65c74ee8d100f613275024e9d811/diff:/var/lib/docker/overlay2/5c7ba1cf63c83cda117ef0eca2bfd65d9bd44669e0e80933e351620bce546354/diff:/var/lib/docker/overlay2/c58b587a8318b57dc1f39c2aa2df68fa86295280fc007650a16008d05685b356/diff",
                "MergedDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/merged",
                "UpperDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/diff",
                "WorkDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common",
                "Destination": "/tmp/conf/1",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component",
                "Destination": "/tmp/conf/2",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component",
                "Destination": "/tmp/conf/3",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/dev/null",
                "Destination": "/tmp/conf/4",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic",
                "Destination": "/tmp/conf/0",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "9cdc36c44340",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "1099/tcp": {},
                "7000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LC_ALL=en_US.UTF-8",
                "JDK_RPM=jdk-8u131-linux-x64.rpm",
                "JAVA_HOME=/usr/java/jdk1.8.0_131/",
                "COMPONENT_HOME=/opt/component"
            ],
            "Cmd": [
                "/opt/entrypoint.sh"
            ],
            "Healthcheck": {
                "Test": [
                    "CMD-SHELL",
                    "grep -q \"App Service is ready.\""
                ],
                "Interval": 20000000000,
                "Retries": 30
            },
            "ArgsEscaped": true,
            "Image": "docker.privateimage.com/private:latest",
            "Volumes": {
                "/tmp/conf/0": {},
                "/tmp/conf/1": {},
                "/tmp/conf/2": {},
                "/tmp/conf/3": {},
                "/tmp/conf/4": {}
            },
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "build-date": "20171128",
                "com.docker.compose.config-hash": "51a3c3781142fce6292e53a5a42dd804a41e5c6e81b02b2dab14647d5f3fe774",
                "com.docker.compose.container-number": "1",
                "com.docker.compose.oneoff": "False",
                "com.docker.compose.project": "kegfngsmzx",
                "com.docker.compose.service": "private-component",
                "com.docker.compose.version": "1.17.1",
                "com.super.component": "Super",
                "license": "GPLv2",
                "name": "CentOS Base Image",
                "vendor": "CentOS"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "4a6a1b4492dce570a42cb735915c76fab4c0e92dd712bf81ae323df8eec1d0a3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "1099/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32863"
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32862"
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32861"
                    }
                ]
            },
            "SandboxKey": "/var/run/docker/netns/4a6a1b4492dc",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "kegfngsmzx_default": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": [
                        "component",
                        "9cdc36c44340"
                    ],
                    "NetworkID": "19e6624e9254883228576ad289770611fd066ed7fc1c847eb0dd25899b240d07",
                    "EndpointID": "850780c0914d118382913f0ff287433e88c01a56d3e42fa95ce890c737027b76",
                    "Gateway": "172.18.0.1",
                    "IPAddress": "172.18.0.7",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:12:00:07",
                    "DriverOpts": null
                }
            }
        }
    }
]

Timunas في ٨ يناير ٢٠١٨

Timunas هل يمكنك محاولة التحديث إلى 17.12؟

thaJeztah في ٨ يناير ٢٠١٨

كان الإصدار الأصلي مع 17.12.2019

فيما يتعلق بالمشكلة الأصلية ، قمت بإعادة إنتاجها مرة أخرى ولا يمكنني فحص عامل التحميل لأنه معلق فقط لجميع الأوامر

Timunas في ٨ يناير ٢٠١٨

👍1

أحصل على نفس المشكلة ، على الرغم من عدم استخدام docker-compose. أنا أستخدم سرب عامل الميناء. نفس الشيء على الرغم من ذلك ، أحصل أحيانًا على حاويات لا يمكن لسرب عامل الإرساء ولا أنا مع عامل الإرساء CLI إيقافها. هذا يتسبب في أن ينتهي المطاف بسرب عامل الميناء بجمع المزيد من النسخ المتماثلة أكثر مما هو مرغوب فيه بحيث لا يمكنه تقليص حجمها. في بعض الأحيان ، لا يزال بإمكان هذه النسخ المتماثلة خدمة الطلبات واستقبال حركة المرور. الطريقة الوحيدة لإزالة الحاويات هي إعادة تشغيل عامل الإرساء على العقدة المتأثرة.

EliRibble في ٨ يناير ٢٠١٨

👍16

لدي نفس المشكلة مع سرب عامل الميناء. أقوم بإزالة واحدة من مجموعات الرصيف متعددة الوظائف ، ولكن تتم إزالة بعض الحاويات الموجودة في المكدس فقط ، بينما يتم تعليق بعض الحاويات. الأوامر إلى docker inspect أو docker rm على الحاويات المعلقة معلقة فقط في سطر الأوامر حتى أقوم Ctrl-c. تحتاج إلى إعادة التشغيل لإزالة الحاويات. لم تواجه المشكلة في 17.09 ، فقط بعد الترقية إلى 17.12.0-ce (حدثت المشكلة أيضًا في 17.12.0-ce-rc4).

لدي مشكلة على Azure VM: docker info

"الحاويات: 95
الجري: 83
متوقف مؤقتًا: 0
متوقف: 12
الصور: 579
إصدار الخادم: 17.12.0-ce
سائق التخزين: تراكب 2
دعم نظام الملفات: extfs
يدعم نوع d_type: صحيح
فرق التراكب الأصلي: صحيح
برنامج تشغيل التسجيل: ملف json
برنامج تشغيل Cgroup: cgroupfs
الإضافات:
الحجم: محلي
الشبكة: تراكب فارغ macvlan لمضيف الجسر
السجل: Awslogs fluentd gcplogs gelf journalald json-file logentries splunk syslog
سرب: نشط
NodeID: hy0kx44q5m9jg0lc1n5ylxkw6
هو المدير: صحيح
ClusterID: ordhsz694y98k3r4604ksc937
المدراء: 1
العقد: 1
تنسيق:
حد الاحتفاظ بسجل المهام: 2
طوف:
الفاصل الزمني للقطات: 10000
عدد اللقطات القديمة المطلوب الاحتفاظ بها: 0
علامة ضربات القلب: 1
علامة الانتخابات: 3
المرسل:
فترة ضربات القلب: 5 ثوان
تكوين CA:
مدة الصلاحية: 3 شهور
استدارة القوة: 0
مدراء القفل الآلي: خطأ
تناوب الجذر قيد التقدم: خطأ
عنوان العقدة: 10.0.0.10
عناوين المدير:
10.0.0.10:2377
أوقات التشغيل: runc
وقت التشغيل الافتراضي: runc
ثنائي أولي: docker-init
إصدار الحاوية: 89623f28b87a6004d4b785663257362d1658a729
إصدار runc: b2567b37d7b75eb4cf325b77297b140ea686ce8f
إصدار init: 949e6fa
خيارات الأمان:
أبارمور
سيكومب
الملف الشخصي: الافتراضي
إصدار النواة: 4.4.0-104-generic
نظام التشغيل: Ubuntu 16.04.3 LTS
OSType: لينكس
العمارة: x86_64
وحدات المعالجة المركزية: 8
إجمالي الذاكرة: 27.47 جيجا بايت
الاسم: build-agent-vm001
المعرّف: S7WY: RCKF: G3P7 : TI3H: MJ2F: UXZ3: C5DS: YQG3: OPF4: V4RS: 5EQ7: AWG4
Docker Root Dir: / var / lib / docker
وضع التصحيح (العميل): خطأ
وضع التصحيح (الخادم): خطأ
التسجيل: https://index.docker.io/v1/
ملصقات:
التجريبية: خطأ
السجلات غير الآمنة:
127.0.0.0 / 8
تمكين الاستعادة الحية: خطأ

تحذير: لا يوجد دعم لحد المبادلة


I also have the same issue on Docker for Mac (Edge: 17.12): `docker info`

```Containers: 110
 Running: 65
 Paused: 0
 Stopped: 45
Images: 607
Server Version: 17.12.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: active
 NodeID: qfzh0tqkchl2m42uhju7k3ml4
 Is Manager: true
 ClusterID: q14zy6epqkpx0w112wusdtd3u
 Managers: 1
 Nodes: 1
 Orchestration:
  Task History Retention Limit: 2
 Raft:
  Snapshot Interval: 10000
  Number of Old Snapshots to Retain: 0
  Heartbeat Tick: 1
  Election Tick: 3
 Dispatcher:
  Heartbeat Period: 5 seconds
 CA Configuration:
  Expiry Duration: 3 months
  Force Rotate: 0
 Autolock Managers: false
 Root Rotation In Progress: false
 Node Address: 192.168.65.3
 Manager Addresses:
  192.168.65.3:2377
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.60-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 5.817GiB
Name: linuxkit-025000000001
ID: DSXX:YVTO:DLFW:MN3X:MTJC:3EGK:MUYT:6JMN:C2NC:TQMW:BE44:3P6H
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 260
 Goroutines: 491
 System Time: 2018-01-09T00:13:09.053688513Z
 EventsListeners: 28
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3128
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

hallvar في ٩ يناير ٢٠١٨

👍6

نشهد أيضًا عدم استجابة Docker-deamon في بعض الأوامر:

حاليا لا أستطيع

docker rmi
docker system prune -f
docker exec
docker logs

يحدث هذا على محركات متعددة ، تعمل جميعها 17.12.

يبدو مرتبطًا بـ https://github.com/moby/moby/issues/35408

mborejdo في ١١ يناير ٢٠١٨

👍2

أواجه نفس الخطأ. على الرغم من أنها ليست متسقة. لا أرى نمطًا بعد ولكنه يحدث.

أقوم بتشغيل Docker لنظام التشغيل Mac الإصدار 17.12.0-ce-mac46 (21698). أنا لا أدير Docker في Docker.

تم إنشاء الحاوية بواسطة docker-compose up .

نعم أستطيع أن أرى أن الحاوية لا تزال قيد التشغيل ولكن stop أو kill فقط معلقة ولا تفعل شيئًا.

10:13:13 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS                    PORTS                                                    NAMES
f0e36d3589d3        docksal/cli:1.3-php7      "/opt/startup.sh sup…"   44 hours ago        Up 28 minutes (healthy)   22/tcp, 9000/tcp                                         sbdmaster_cli_1
b93c84c9a3a3        docksal/ssh-agent:1.0     "/run.sh ssh-agent"      44 hours ago        Up 29 minutes                                                                      docksal-ssh-agent
91ce00eb35fa        docksal/dns:1.0           "/opt/entrypoint.sh …"   44 hours ago        Up 29 minutes             192.168.64.100:53->53/udp                                docksal-dns
ae867cca0f21        docksal/vhost-proxy:1.1   "docker-entrypoint.s…"   44 hours ago        Up 29 minutes             192.168.64.100:80->80/tcp, 192.168.64.100:443->443/tcp   docksal-vhost-proxy
10:13:17 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker stop f0e36d3589d3
^C
10:16:03 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker kill f0e36d3589d3
^C
10:30:51 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER

(يمكنك أن ترى أن الدقائق مرت قبل أن أضغط على Ctrl-C)

في Terminal آخر ، حاولت بدء مشروع إنشاء عامل ميناء آخر ، وهذا ما رأيته في الإخراج في المرة الأولى:

$ docker-compose up
rm: can't remove '/.ssh/id_rsa.pub': Stale file handle
rm: can't remove '/.ssh/authorized_keys': Stale file handle
rm: can't remove '/.ssh/id_rsa2.pub': Stale file handle
rm: can't remove '/.ssh/known_hosts': Stale file handle
rm: can't remove '/.ssh/id_test': Stale file handle
rm: can't remove '/.ssh/id_test.pub': Stale file handle
rm: can't remove '/.ssh/id_rsa2': Stale file handle
rm: can't remove '/.ssh/id_dsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker': Stale file handle
rm: can't remove '/.ssh/id_sbd.pub': Stale file handle
rm: can't remove '/.ssh/id_sbd': Stale file handle
rm: can't remove '/.ssh/id_rsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker.pub': Stale file handle
rm: can't remove '/.ssh': Directory not empty
Starting services...
Creating network "demonodb_default" with the default driver
Creating demonodb_cli_1 ... done
Creating demonodb_cli_1 ... 
Creating demonodb_web_1 ... done

بدأ مشروع آخر بشكل جيد ولكن مع وجود هذه الأخطاء حول أسماء الملفات القديمة أعلاه. لم تحدث عمليات التوقف والبدء اللاحقة في مشروع آخر عن أي أخطاء وعملت بشكل جيد.

هذه الملفات موجودة على وحدة تخزين مسماة. تم تركيب وحدة التخزين على أنها ro في إنشاء عامل الإرساء ، لذا لست متأكدًا من سبب وجود رسائل "يتعذر إزالة".

تؤدي إعادة تشغيل برنامج Docker daemon إلى حل المشكلة ... مؤقتًا. لقد نسيت أن أقوم بعمل docker inspect وقمت بإعادة تشغيل البرنامج الخفي بالفعل ولكني أعتقد أن inspect سيتعطل مثل stop و kill يفعل.

تحديث: أردت ملاحظة أن الحاوية التي بها مشكلات بها فحص صحي عليها. يبدو أن هذا قد يكون الجاني.

achekulaev في ١١ يناير ٢٠١٨

👍2

لدي نفس المشكلة. يمكن إعادة إنتاجه في كل مرة باستخدام بيئات مختلفة:
Docker for Mac الإصدار 17.12.0-ce-mac46 (بدأ التعليق بعد التحديث)
أو باستخدام عامل إرساء أصليًا على Arch linux (kernel 4.14.14-1-ARCH) ، لا يمكن إعادة تشغيل خدمة عامل الإرساء باستخدام systemctl restart docker.service ، فهو معلق أيضًا. docker info

Client:
 Version:       18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:       linux/amd64
 Experimental:  false
 Orchestrator:  swarm
Server:
 Engine:
  Version:      18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:        Sun Jan 14 23:11:14 2018
  OS/Arch:      linux/amd64
  Experimental: false

عروض جريدة سي تي إل

dockerd[26382]: time="2018-01-25T12:39:22.289082720+03:00" level=error msg="stream copy error: reading from a closed fifo"

crossdot في ٢٥ يناير ٢٠١٨

نشاهد هذا أيضًا في 18.01. شنق على حاوية التفتيش.

Client:
 Version:   18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:    Sun Jan 14 23:11:14 2018
  OS/Arch:  linux/amd64
  Experimental: false

compose.cli.command.get_client: Docker version: Platform={'Name': ''}, Components=[{'Name': 'Engine', 'Version': '18.01.0-ce', 'Details': {'ApiVersion': '1.35', 'Arch': 'amd64', 'BuildTime': '2018-01-14T23:11:14.000000000+00:00', 'Experimental': 'false', 'GitCommit': '03596f51b1', 'GoVersion': 'go1.9.2', 'KernelVersion': '4.14.15-1-ARCH', 'MinAPIVersion': '1.12', 'Os': 'linux'}}], Version=18.01.0-ce, ApiVersion=1.35, MinAPIVersion=1.12, GitCommit=03596f51b1, GoVersion=go1.9.2, Os=linux, Arch=amd64, KernelVersion=4.14.15-1-ARCH, BuildTime=2018-01-14T23:11:14.000000000+00:00
compose.cli.verbose_proxy.proxy_callable: docker containers <- (all=False, filters={'label': ['com.docker.compose.project=discord']})
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.24/containers/json?limit=-1&all=0&size=0&trunc_cmd=0&filters=%7B%22label%22%3A+%5B%22com.docker.compose.project%3Ddiscord%22%5D%7D HTTP/1.1" 200 1762
compose.cli.verbose_proxy.proxy_callable: docker containers -> (list with 1 items)
compose.cli.verbose_proxy.proxy_callable: docker inspect_container <- ('59760b63049318f7b0bef2605e63d0fd8b13f4e134a7aea435db9eb1bdf2b389')

enkoder في ٢٥ يناير ٢٠١٨

لقد توقفنا عن استخدام 17.12 تمامًا وعادنا إلى 17.09 بسبب هذه المشكلة في 17.12 (macOS وعلى ما يبدو Linux أيضًا).

هذه مشكلة حرجة ومستمرة.

وللأسف لم أجد طريقة لإعادة إنشائه باستثناء استخدام عامل الإرساء كثيرًا.

rfay في ٣٠ يناير ٢٠١٨

👍6

أواجه نفس المشكلة في خوادم متعددة باستخدام الإصدار 17.12.1. كما قال rfay ، لم يحدث هذا في 17.09.2019

عند التحقق من سجل التغيير ، هناك فرق كبير بين 17.12 و 17.09 هو أنه منذ 17.11 ، يعتمد Docker على containerd. لذا ، نظرًا لأن الأدلة تشير إلى أن هذه مشكلة في وقت التشغيل ، فربما يكون من الجيد التحقيق في هذا المسار.

ay0o في ٣٠ يناير ٢٠١٨

👍5

نعم ، نفس الشيء هنا. ألتزم بـ 17.09 وأوصي الجميع باستخدام docker-compose أو سربًا للالتزام به حتى يتم حل المشكلة.

achekulaev في ٣٠ يناير ٢٠١٨

إذا كان بإمكانك الحصول على تتبع تراكمي من البرنامج الخفي الجاري ، فسيكون ذلك مفيدًا للغاية.
يمكنك الحصول على هذا بالضغط على GET /debug/pprof/goroutine?debug=2

أعتقد ، مع ذلك ، أن هذا هو الخطأ الأخير الذي تم العثور عليه في runc وهو سباق في التعامل مع الحاوية I / O ... التي كانت موجودة منذ ذلك الحين إلى الأبد ، على ما يبدو.
إذا كان الأمر كذلك ، فنحن نشك في أن هذا قد تم كشفه من خلال التغييرات في النواة ويقوم الجميع بترقية النواة مؤخرًا للحصول على بقع شبح / انصهار.

cpuguy83 في ٣٠ يناير ٢٠١٨

التصحيح runc ذات الصلة هنا، والتي يمكنك محاولة إذا كنت لا ترغب في الانتظار لاطلاق سراح عامل ميناء مصححة: https://github.com/opencontainers/runc/pull/1698

cpuguy83 في ٣٠ يناير ٢٠١٨

يارب

You can get this by hitting GET /debug/pprof/goroutine?debug=2

يرجى تقديم الأوامر. لا أفهم كيفية "النقر" على عنوان url نسبي ، وما هو متعلق به. أستخدم Docker لنظام التشغيل Mac. ماذا علي أن أضرب؟

achekulaev في ٣٠ يناير ٢٠١٨

تضمين التغريدة
بافتراض أن لديك عامل تشغيل يستمع على مقبس يونكس في /var/run/docker.sock (الافتراضي):

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

أو مقبس TCP

curl http://<ip>:<port>/debug/pprof/goroutine?debug=2

cpuguy83 في ٣٠ يناير ٢٠١٨

الملف التالي هو ناتج هذا الأمر الذي تم تشغيله في مثيل AWS Ubuntu 16.04 باستخدام Docker الإصدار 17.12.0-ce ، وبناء c97c6d6

موبي 35933.txt

ay0o في ٣٠ يناير ٢٠١٨

@ ay0o شكرا!
هل هناك شيء محجوب على النظام الآن؟
لا أرى أي توقف / قتل قيد التقدم ، يبدو وكأنه مجموعة من الحاويات قيد التشغيل ، للأسف.

cpuguy83 في ٣٠ يناير ٢٠١٨

أخذت السجلات على جهاز MacBook Pro يعمل بنظام التشغيل macOS High Sierra 10.13.3 ، وتشغيل عامل الإرساء 18.01.0-ce-mac48 ، والقناة: edge ee2282129d.

docker_output.log

AlterEgo7 في ٣٠ يناير ٢٠١٨

@ AlterEgo7 شكرا! يبدو أن عامل الإرساء محظور في مكالمة نظام للكتابة على القرص ، بل وحتى القراءة من القرص في مكان واحد على الأقل. يبدو أن هناك شيئًا خاطئًا جدًا في القرص المخصص لذلك Docker VM في docker4mac.

cpuguy83 في ٣٠ يناير ٢٠١٨

تم حظر عدد من عمليات syscalls المرتبطة بـ i / o لمدة دقيقة واحدة تقريبًا.

cpuguy83 في ٣٠ يناير ٢٠١٨

@ cpuguy83 التي قد تكون بسبب انتهاء مهلة عامل

AlterEgo7 في ٣٠ يناير ٢٠١٨

أواجه هذه المشكلة أيضًا بشكل متكرر جدًا. في 17.12 يبدو أنه يظهر في الغالب على حاويات ذات أحجام مثبتة. في حالتنا هذه الأحجام هي أسهم nfs على المضيف.

mborejdo في ٣٠ يناير ٢٠١٨

@ cpuguy83mborejdo إذا كان يحدث فرقا، ~ 10 حاويات تعمل على استخدامي آلة كميات عامل ميناء المزامنة انسجام تام.

AlterEgo7 في ٣٠ يناير ٢٠١٨

إنه يساعد. ربما تعطلت أداة Docker-sync بعد 17.12؟
هذا من شأنه أن يفسر بالتأكيد عمليات الكتابة المحظورة لأن nfs ليست صديقة جدًا للخلفيات غير المتصلة.

cpuguy83 في ٣٠ يناير ٢٠١٨

نفس الشيء عند تشغيل نفس مجموعة الحاويات بدون أي وحدات تخزين أو تشغيل أي حاويات مزامنة عامل التحميل. يتم إرفاق سجل pprof.

docker_output_no_volumes.log

AlterEgo7 في ٣٠ يناير ٢٠١٨

@ cpuguy83 ، أرى أيضًا هذه المشكلة في Docker 17.12 باستخدام سرب - لدي مجموعة 3 عقدة ، مع 6 مجموعات عمال التحميل وحوالي 30 خدمة. عامل الميناء سرب جمهورية مقدونيا لعمل كل كومة وينظف حوالي 90٪ من الحاويات، ولكن حتى بعد 5 دقائق، docker ps -a لا تزال تظهر في حوالي 10 حاوية في دولة خرجت - يمكنني من قبل إذا كان ذلك كانت القضية الوحيدة لأنني وأضاف خطوة في النهاية لاستدعاء docker system prune -f على كل عقدة. لسوء الحظ ، حوالي 25 ٪ من الوقت ، بقيت مع الحاويات التي لا تزال تعمل بعد أمر المكدس rm (لقد انتظرت أكثر من 10 دقائق في بعض الحالات) ، لذلك لن يعمل تقليم نظام عامل الإرساء - وعندما أرى هذا ، كما وصف آخرون ، تتعطل معظم أوامر عامل الميناء في تلك العقدة. لا بد لي من تنفيذ kill -15 على PID المخالف لاستعادة السيطرة

كما اقترحت ، حاولت https://github.com/opencontainers/runc/pull/1698 ، لكن لم يحالفني الحظ. قبل أن نقول أن https://github.com/opencontainers/runc/pull/1698 لم يعمل ، هل يمكنك التحقق من أنني قمت بتصحيحه بشكل صحيح؟ أقوم يدويًا ببناء docker-ce / engine (الفرع 17.12) بتات بتحديث runc للالتزام: 9f9c96235cc97674e935002fc3d78361b696a69e ثم الكتابة فوق / usr / bin / runc مع الثنائي المبني حديثًا. لقد فعلت هذا في كل عقدة في الكتلة ، وأعدت تشغيل عامل الإرساء وتشغيل docker info | grep runc وانظر:

Default Runtime: runc
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

هل يجب أن أحاول استبدال جميع ثنائيات عامل الإرساء؟

لقد أرفقت أيضًا stacktrace الخاص بي ( curl --unix-socket /var/run/docker.sock http://localhost/debug/pprof/goroutine?debug=2 ).
goroutine_debug.log

foleymic في ٣٠ يناير ٢٠١٨

foleymic يبدو أن المشكلة التي تراها تشبه مشكلة runc.
استبدال dockerd ليس هو المطلوب بل هو استبدال docker-runc ثنائي.

لاحظ أنه لأغراض الاختبار ، يمكنك تثبيت runc المصحح في موقع مخصص وإخبار عامل التشغيل باستخدامه كوقت تشغيل افتراضي (أو على أساس كل حاوية).
للقيام بذلك ، ما عليك سوى إنشاء runc باستخدام الالتزام أعلاه ، ووضعه في مكان ما مثل /usr/local/bin/patched-runc ثم ابدأ عامل الإرساء بـ --add-runtime myrunc=/usr/local/bin/patched-runc --default-runtime=myrunc (يمكن أيضًا وضعها في /etc/docker/daemon.json ).

cpuguy83 في ٣٠ يناير ٢٠١٨

@ cpuguy83 - شكرا على الرد السريع. لقد قمت فقط باستبدال runc ، ولكن عن طريق بناء محرك Docker-ce الكامل من فرع 17.12 ثم غيرت RUNC_COMMIT إلى b2567b37d7b75eb4cf325b77297b140ea686ce8f في ثنائيات تلتزم و vendor.conf. على أي حال ، أعتقد أن ما تصفه يبدو أفضل بكثير ، لذا اسمحوا لي أن أحاول فقط بناء runc واستبداله وتكرار الاختبار. شكرا لك مرة أخرى!

foleymic في ٣٠ يناير ٢٠١٨

تضمين التغريدة ربما يكون ناتج docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines حكيمًا أيضًا.

cpuguy83 في ٣٠ يناير ٢٠١٨

@ AlterEgo7 تتبع المكدس الخاص بك هو الخطأ ... مثير للاهتمام ...
هناك مجموعة من goroutines (الخيوط الخضراء) الموجودة في حالة "التشغيل" ... مما يعني أنهم ينتظرون مؤشر ترابط نظام تشغيل حقيقي لتشغيلهم بالفعل.

هل يمكنك الحصول على قائمة العمليات من المضيف؟ docker run --pid=host busybox ps aux يجب أن يفعل.

cpuguy83 في ٣٠ يناير ٢٠١٨

@ cpuguy83 - 9f9c96235cc97674e935002fc3d78361b696a69e ) docker-containerd-debug.sock goroutines

أقدر مساعدتك ، يُرجى إعلامي إذا كان هناك أي شيء آخر تريد مني القيام به أو تجربته.

docker-containerd-debug.log

cat /etc/docker/daemon.json
{
    "default-runtime":"patchedrunc",
    "runtimes": {
        "patchedrunc": {
             "path": "/usr/local/bin/patched-runc"
        }
    },
    ....

معلومات عامل الميناء

docker info | grep runc
Runtimes: patchedrunc runc
Default Runtime: patchedrunc
WARNING: bridge-nf-call-ip6tables is disabled
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

foleymic في ٣٠ يناير ٢٠١٨

يواجه العديد من الأشخاص في فريق التطوير الخاص بي أوامر عامل ميناء معلقة مع MacOS 10.13 و Docker لنظام التشغيل Mac 17.12. لقد حدث لي ذلك عند محاولة إيقاف / قتل الحاويات ، ولكن أيضًا في أوامر أخرى ، مثل docker inspect

مرفق ناتج curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2
docker-debug.log

أخذته أثناء انتظار docker-compose ps الذي تم تعليقه لمدة> 30 ثانية. من المثير للاهتمام أن docker ps عملت بشكل جيد خلال هذا التعليق ، لكن docker inspect على أي من الحاويات التي أعيدت بـ docker ps توقف تمامًا مثل docker-compose ps فعل.

لا نستخدم docker-sync ، لكننا نستخدم وحدات التخزين عبر نظام ملفات OSXFS من Docker لنظام التشغيل Mac.
يُرجى إعلامي إذا كان هناك أي شيء آخر يمكنني فعله للمساعدة في التحقيق.

itaylor في ٣١ يناير ٢٠١٨

@ cpuguy83 آسف ، فهمت أنك أردت فقط السجل بشكل مستقل عما إذا كان قد فشل في الوقت الحالي أم لا.

التركيب الذي أستخدمه حاليًا يحتوي على 36 حاوية. حاولت إعادة إظهار المشكلة ببساطة عن طريق تشغيل عامل الإرساء وإنشاء عامل الإرساء وإنشاء عامل الإرساء. كانت المرة الأولى رائعة ولكن المرة الثانية ، بقيت 3 حاويات "مرفوعة" ، وبقيت جميع الحاويات الأخرى في "خروج". هذا هو إخراج السجل:

docker_debug.txt

هذا هو الخطأ الذي تم الإبلاغ عنه بواسطة Docker-compose down:

ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information. If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value (current value: 60).

شيء واحد لاحظته هو أنه يبدو أنه مجرد حاوية واحدة تسد الحاوية الأخرى. على وجه الخصوص ، في هذه الحالة ، كانت الحاويات الثلاثة التي لم يتم إيقافها هي postgres ، وما إلى ذلك ، ومساعدًا لتكوين الخ. ومع ذلك ، يبدو أن postgres يحظر الآخرين. على سبيل المثال ، يمكنني تشغيل docker inspect etcd وهو يعمل ، لكن فشل docker inspect postgres مع انتهاء المهلة.

لاحظ أن هذا مجرد مثال على هذه الحالة المحددة. أنا لا أقول أن postgres هو المسؤول دائمًا عن اللوم. ربما في المرة القادمة التي يحدث فيها ذلك سيكون redis أو rabbitmq.

أيضًا ، يحدث ذلك باستخدام سرب أيضًا.

ay0o في ٣١ يناير ٢٠١٨

👍1

أنا أيضا لدي نفس المشكلة.
في الشركة التي أعمل بها ، لدينا Docker Host مع العديد من الحاويات التي تشغل بيئات جافا للتطوير ، ومن وقت لآخر ، لا يمكنني إزالة الصور أو الحاويات ، ولا يمكنني فحص الصور أو الحاويات ، من بين عمليات أخرى.

أحصل على العديد من الرسائل في Journalctl مثل:
Jan 31 11:31:51 DOCKER-DEV dockerd[1882]: time="2018-01-31T11:31:51.598987401Z" level=warning msg="unknown container" container=540456eed4104723a0d4e9d4628d436ec381f978738f83dda16f22430cc60094 module=libcontainerd namespace=plugins.moby

أنا أدير 17.12 CE في Ubuntu 16.04.3 LTS.

أشكرك جزيل الشكر لوقتك و مساعدتك.

luisnabais في ٣١ يناير ٢٠١٨

luisnabais تتم Unknown container هنا: https://github.com/moby/moby/issues/35891

sorenhansendk في ٣١ يناير ٢٠١٨

sorenhansendk شكرًا لك ، لقد علمت بالفعل بذلك ، أنا أتابع كلا

luisnabais في ٣١ يناير ٢٠١٨

تحديث - لقد قمت بإعداد مجموعة 3 عقدة جديدة (نفس قالب VM) وقمت بتثبيت RC 1 يدويًا من docker-18.02.0-ce (https://download.docker.com/linux/static/test/x86_64/docker -18.02.0-ce-rc1.tgz) ولم تتمكن من إعادة إنشاء المشكلة. بالإضافة إلى ذلك ، بفضل # 35891 ، لم أعد أرى رسالة Unknown container في سجلاتي ، كما تتم إزالة جميع وحدات التخزين غير المحددة. سأقوم ببعض الاختبارات الإضافية لمحاولة عزل أي ملفات ثنائية لديها الإصلاح .

foleymic في ٣١ يناير ٢٠١٨

👍1

بالنسبة لي على الأقل ، المشكلة متقطعة.

richardjq في ٣١ يناير ٢٠١٨

على أي إصدارrichardjq؟
إنه موجود على جميع إصدارات Docker ، لأن المشكلة قيد التشغيل https://github.com/opencontainers/runc/pull/1698

sorenhansendk في ٣١ يناير ٢٠١٨

12.17.0-هذا

richardjq في ٣١ يناير ٢٠١٨

لدي أيضًا نفس المشكلة مع التعليق بعد التحديث إلى أحدث Docker (Mac OS). إليك إخراج التصحيح الخاص بي إذا كان يساعد: https://gist.github.com/carlisia/780b008dd5ac0339522f8fbddd97d066

carlisia في ١ فبراير ٢٠١٨

شكرا للجميع ، مفيد جدا.

carlisia هل هذه الحافة أم مستقرة؟ (أو ربما سيكون الإصدار الموجود على الشاشة أفضل ، فقط لأن الإصدار جنون).

cpuguy83 في ١ فبراير ٢٠١٨

@ cpuguy83 مستقر. لقد قمت للتو بتشغيل خيار التحديث من واجهة المستخدم.

carlisia في ١ فبراير ٢٠١٨

لست متأكدًا مما إذا كان هذا مفيدًا أم لا ، لكنني لاحظت شيئًا غريبًا اعتقدت أنني سأضيفه إلى هذه المحادثة. حدثت المشكلة مرة أخرى (مع عامل إرساء المخزون 17.12.0-ce) ولذا نظرت في سجلات البرنامج الخفي على العقدة حيث تمت إزالة المكدس / الخدمة ، لكن الحاوية ظلت في حالة healthy . docker ps معرّف الحاوية هذا على أنه 8c5381ca6248 ، قمت بعمل هذا المعرّف في سجلات البرنامج الخفي وأرى أنه بدأ بـ pid=94570 ، لكن بعد أن استدعت stack rm الأمر ، أرى خطأ في السجل يتكرر 3 مرات - Ignoring Exit Event, no such exec command found لمعرف الحاوية ، لكن كل من رسائل السجل الثلاثة هذه لها معرّفات PID مختلفة ولا يساوي أي منها pid=94570 . لقد أكدت أيضًا أن pid 94570 هو PID الصحيح (تم تشغيل ps ax | grep 8c5381ca6248 ).

أي فكرة لماذا السرب سيكون لديه خطأ PID؟

هذا مقتطف من سجلات البرنامج الخفي:

$ journalctl | grep 8c538
Feb 01 12:03:12 xxx dockerd[38879]: time="2018-02-01T12:03:12-05:00" level=info msg="shim docker-containerd-shim started" address="/containerd-shim/moby/8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0/shim.sock" debug=false module="containerd/tasks" pid=94570
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.823039243-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.879628386-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.143264783-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.285288560-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:14 xxx dockerd[38879]: time="2018-02-01T12:04:14.685324737-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:24 xxx dockerd[38879]: time="2018-02-01T12:04:24.310513628-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:34 xxx dockerd[38879]: time="2018-02-01T12:04:34.520599061-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:44 xxx dockerd[38879]: time="2018-02-01T12:04:44.332650759-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:54 xxx dockerd[38879]: time="2018-02-01T12:04:54.666961688-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:04 xxx dockerd[38879]: time="2018-02-01T12:05:04.348300333-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:05:14 xxx dockerd[38879]: time="2018-02-01T12:05:14.633386506-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813814668-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813896784-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=9669e0bea74dbd90d56f61c3b8070fc043f6254d5b5b089d1562fdbfb154aa2b exec-pid=106625
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845301695-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845372559-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=b637507387bcce7dcf3f270d48eaf75d4d5deccd00506d0ed656c78833ad8cda exec-pid=104564
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.877888876-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952730879-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952805518-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=2e5df9c74b29ca12fa9df0e14f095cf8524629564245107c4d8f0fb9d82adf9e exec-pid=103807

foleymic في ١ فبراير ٢٠١٨

آسف لمواصلة تطوير هذا الموضوع ، لكني كنت أجرب. مهما كانت المشكلة ، يبدو أنه تم إصلاحها في برنامج Docker daemon ( 18.01.0-ce و 18.02.0-ce-rc1 . بعد تثبيت أحدث إصدار من القناة التجريبية وعدم القدرة على إعادة إنتاج المشكلة ، بدأت في التجربة. بالعودة إلى القناة الثابتة ، 17.12.0 ، قمت فقط باستبدال dockerd من الثنائيات الموزعة في الحافة وقنوات الاختبار ، 18.01 ، 18.02-rc1 و 18.02-rc2 ، إجراء اختبارات متعددة مع كل إصدار.

فشل 17.12.0-ce
فشل رصيف الميناء 18.01.0-ce
dockerd 18.02.0-ce-rc1 النجاح

فقط لأكون واضحًا ، عندما أقول فشل ، أتحدث عن المشكلة حيث تظل الحاويات ، التي تم إنشاؤها بواسطة docker stack deploy ، في حالة Up بعد تنفيذ docker stack rm . لا تزال هناك مشكلة ، حتى في 18.02.0-ce-rc2 حيث يقوم docker stack rm بإيقاف الحاويات ، ولكن لا يتم إزالتها (تظل الحاويات في حالة الخروج ) - ليست مثالية ، ولكن يمكنني التعايش مع هذا من خلال التشغيل تقليم بعد أن يكتمل الأمر docker stack rm في كل كومة (لاحظ أنني أنتظر 30 ثانية قبل إصدار الخوخ لإعطاء السرب بعض الوقت لإنهاء التنظيف قبل أن أتولى المهمة)

حسنًا ، الخبر السار ، يبدو أنه تم إصلاحه في الإصدار التالي ، لكنني لا أريد حقًا طرح RC على فريقي. سأقوم بمسح الالتزامات بين 18.01 و 18.02-rc1 لمعرفة ما إذا كان بإمكاني العثور على الإصلاح. @ cpuguy83 و haJeztah ، أي أفكار تتبادر إلى الذهن. هل هناك أي شيء تريد مني أن أجربه أو أسجل لتقديمه؟ إذا كان بإمكانك مساعدتي في العثور على التزام محتمل ، يمكنني اختباره في مفترقتي.

كلمة تحذير واحدة ، فإن إجراء هذه الاختبارات يستغرق وقتًا ولا يمكن تكرار المشكلة باستمرار ، لذلك على الرغم من أنني لم أرها تحدث مع 18.02 (RC 1 أو 2) ، لا يمكنني أن أكون متأكدًا بنسبة 100٪ أنها لن تظهر في مرحلة ما - سأستمر في الاختبار باستخدام RC1 وأحدث هذا الموضوع إذا رأيت أي حدوث لهذه المشكلة ، ولكن مع 17.12 - 18.01 ، رأيت هذه المشكلة تحدث حوالي 50 ٪ من الوقت ، لذلك أنا واثق تمامًا من أنه تم إصلاحه في 18.02.

foleymic في ١ فبراير ٢٠١٨

أتفق معكfoleymic! لقد قمت بترقية بيئات الاختبار الخاصة بي إلى أحدث إصدار من Docker (المرشح للإصدار) وأرى أيضًا نتائج جيدة جدًا مع الخطأ المتعلق بإيقاف / قتل الحاويات. أعتقد أن الإصدار المحدث من runc قد حل المشكلة 👍

sorenhansendk في ٢ فبراير ٢٠١٨

شكرا على التقرير. أعتقد أن هذا تم إصلاحه تمامًا باستخدام مجموعة من الحاوية 1.0.1 و runc المصحح.

cpuguy83 في ٢ فبراير ٢٠١٨

sorenhansendk - سعيد لأنك ترى نتائج إيجابية أيضًا. اعتقد @ cpuguy83 أيضًا أن هذا runc الذي تم إجراؤه فيما يتعلق بالشبح / الانهيار ، لكن هذا بالتأكيد لم يكن الحل بالنسبة لي. أعمل حاليًا مع كل شيء ، بما في ذلك runc على 17.12.0 ولدي فقط dockerd على 18.02.0-rc1
على العكس من ذلك ، إذا قمت بالترقية فقط runc سأرى المشكلة (حاولت إنشاء runc يدويًا باستخدام https://github.com/opencontainers/runc/pull/1698 بالإضافة إلى أخذ الإصدار من الاختبار وتوزيعات الحافة).

foleymic في ٢ فبراير ٢٠١٨

@ cpuguy83 - أنا 17.12.0

معلومات عامل الميناء:

...
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729 (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f (expected: 9f9c96235cc97674e935002fc3d78361b696a69e)
...

foleymic في ٢ فبراير ٢٠١٨

نعم ، 18.02 يأتي مع الحاوية الأحدث د.
نحن نعمل على إصدار تصحيح جديد لـ 17.12.

cpuguy83 في ٢ فبراير ٢٠١٨

حتى يشمل dockerd containerd؟ اعتقدت أنه كان ثنائي منفصل - عامل إرساء حاوية. على أي حال ، سعيد لسماع أنك تعمل على تصحيح 17.12 - هذه أخبار رائعة. شكرا مرة أخرى على مساعدتك في هذا.

foleymic في ٢ فبراير ٢٠١٨

أوه ، لذلك قمت بترقية ثنائي dockerd فقط حرفيًا. آه ، حسنًا. سأضطر إلى التحقق مرة أخرى من التصحيحات التي يمكن تضمينها هنا والتأكد من وصولها إلى الإصدار 17.12.

cpuguy83 في ٢ فبراير ٢٠١٨

:) - أنا حاليا أدير franken-docker! كل شيء 17.12.0 ، باستثناء dockerd ، وهو 18.02-rc1

foleymic في ٢ فبراير ٢٠١٨

لمعلوماتك ، أعتقد أن الإصلاح يكمن في PR # 35748

foleymic في ٢ فبراير ٢٠١٨

ما زلت قادرًا على إعادة إظهار المشكلة مع الإصدار 18.02.0-ce-rc2-mac51 (22446)

linuxkit-025000000001:/# /usr/bin/containerd --version
containerd github.com/containerd/containerd v1.0.1 9b55aab90508bd389d7654c4baf173a981477d55

docker info

containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e

ximarx في ٥ فبراير ٢٠١٨

ximarx شكرا على التقرير! هل يمكنك الحصول على مكدس مكدس من عامل الإرساء والحاويات؟
مع عامل ميناء يمكنك القيام به

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

بالنسبة للحاويات على نظام التشغيل mac ، الأمر أصعب قليلاً ...

 docker run -it --rm -v /:/host alpine /host/usr/local/bin/docker-containerd-ctr pprof --debug-socket /host/run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 في ٥ فبراير ٢٠١٨

ximarx - عندما تقول أن المشكلة لا تزال قائمة ، هل تتحدث عن المكان الذي تبقى فيه الحاويات ، ولكن في حالة الخروج ، أم لا تزال تراها في حالة التشغيل؟ لقد لاحظت فقط أنه مع 18.02 ، ما زلت أرى الحاويات باقية ، لكن لا يوجد أي منها في حالة التشغيل حتى أتمكن من التعامل مع تشغيل الخوخ بعد docker stack rm. ليس مثاليًا ، ولكن على الأقل يمكنني الوصول إلى حالة نظيفة بعد إسقاط كل شيء - قبل أخذ 18.02 ، اضطررت إلى قتل العمليات يدويًا لإزالة تلك الحاويات التي كانت لا تزال قيد التشغيل ، ولكنها لم تعد مرتبطة بالمكدس.

راجع للشغل ، قمت بدمج PR # 35748 في 12.17 في مفترقتي وبنيت - لم أر المشكلة منذ تطبيق هذا الإصدار.

foleymic في ٥ فبراير ٢٠١٨

هل يمكنك الحصول على مكدس مكدس من عامل الإرساء والحاويات؟

@ cpuguy83 : لسوء الحظ ، قمت بإعادة تشغيل عامل

عندما تقول أن المشكلة لا تزال قائمة ، هل تتحدث عن تلك التي تظل فيها الحاويات ، ولكن في حالة الخروج ، أم لا تزال تراها في حالة التشغيل؟

تظل حاوية foleymic في حالة التشغيل ، لكن أمر فحص عامل docker-compose ps و docker stop )

ximarx في ٥ فبراير ٢٠١٨

ximarx - شكرًا لتأكيد ذلك ، كنت أرى نفس السلوك بالضبط في مجموعات سرب متعددة ، ولكن منذ ترقيتها إلى الإصدار المصحح ، لم نر المشكلة. الفرق الوحيد الذي أراه هو أننا نعمل على RHEL مقابل أنت على Mac.

foleymic في ٧ فبراير ٢٠١٨

هل تم حل هذه المشكلة بالفعل؟
إذا كان الأمر كذلك في أي إصدار سيتم إصداره؟

stmaute في ٩ فبراير ٢٠١٨

أعتقد أنه تم الهبوط برقم 18.02 ، لكنني في انتظار تأكيدها

Timunas في ٩ فبراير ٢٠١٨

إصدار القناة "المستقرة" 17.12.0 لا يزال به هذا الخطأ ؛ إذا تم إصلاحه ، فهل يمكن إعادة نقل العلاقات العامة إلى إصدار تصحيح 17.12.1؟ القناة المستقرة غير مستقرة إلى حد كبير ، إذا اضطر الأشخاص إلى العودة إلى 17.09 أو اللجوء إلى إصدار الحافة.

instantlinux في ١٢ فبراير ٢٠١٨

👍15

+1 لإصدار تصحيح 17.12.1

stmaute في ١٢ فبراير ٢٠١٨

👍4

يجري العمل عليه. شكر!

cpuguy83 في ١٢ فبراير ٢٠١٨

❤10 👍2

آسف لتسخين هذا الموضوع - يبدو أن الإصلاح قادم ؛) - لكن لدي سؤال سريع:
نشهد نفس المشكلة بالضبط على docker-ce-17.12 منذ أن أضفنا HEALTHCHECKs إلى Dockerfiles الخاصة بنا. تتوقف الحاويات بدون HEALTCHECK المحددة في Dockerfiles الخاصة بها على ما يرام.
هل يمكن أن يكون هذا مرتبطًا بأحداث الصحة أم أن هذه مجرد مصادفة؟

في صحتك
فيل

PhilPhonic في ١٦ فبراير ٢٠١٨

👍8

PhilPhonic نعم ، يمكن تشغيلها بواسطة healthchecks

thaJeztah في ١٦ فبراير ٢٠١٨

👍1

هل https://github.com/moby/moby/pull/36097 (المضاف إلى إصدار الأمس) يصلح هذه المشكلة؟

ay0o في ٢٨ فبراير ٢٠١٨

👍1

لقد جئت من الإصدار رقم 34213 ، لست متأكدًا تمامًا من أن المشكلة هي نفسها ، لكن تم توجيهي هنا.

بالنسبة لنا ، لا تزال حاوية عامل الإرساء عالقة بعد هذه الإصلاحات ولا تنتهي من تنفيذها أبدًا ، ولكن في هذه المناسبة تمكنت من إيقافها دون إعادة تشغيل برنامج عامل الإرساء.

نسخة عامل ميناء

Client:
 Version:   17.12.1-ce
 API version:   1.35
 Go version:    go1.9.4
 Git commit:    7390fc6
 Built: Tue Feb 27 22:17:56 2018
 OS/Arch:   linux/amd64

Server:
 Engine:
  Version:  17.12.1-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   7390fc6
  Built:    Tue Feb 27 22:16:28 2018
  OS/Arch:  linux/amd64
  Experimental: false

معلومات عامل الميناء

Containers: 1
 Running: 1
 Paused: 0
 Stopped: 0
Images: 1
Server Version: 17.12.1-ce
Storage Driver: overlay2
 Backing Filesystem: tmpfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
Kernel Version: 4.4.0-64-generic
Operating System: Ubuntu 14.04 LTS
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 19.8GiB
Name: vm64-3
ID: OHED:ZYGD:4ZNG:QWGC:7VQ5:2KVU:YXP3:CKCR:AMV5:FVFF:PMJ6:ICXM
Docker Root Dir: /tmp/ramdisk/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 27
 Goroutines: 47
 System Time: 2018-03-01T07:57:09.565797691Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

فحص عامل التحميل قبل الإصدار (الحاوية العالقة)

[
    {
        "Id": "34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a",
        "Created": "2018-02-28T19:22:54.823764324Z",
        "Path": "bash",
        "Args": [
            "-c",
            "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 6495,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-02-28T19:22:55.675976607Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:fa0591be5fc0613715fb2605264ff61967811262bdbc93d262faca23df1bf2fe",
        "ResolvConfPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/resolv.conf",
        "HostnamePath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hostname",
        "HostsPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hosts",
        "LogPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a-json.log",
        "Name": "/prerelease",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "unconfined",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts:/release_scripts",
                "/tmp/prerelease_out:/tmp/prerelease_out",
                "/home/hudson/pbuilder_ccache:/tmp/pbuilder_ccache",
                "/tmp/.X11-unix:/tmp/.X11-unix:rw",
                "/home/hudson/exchange:/home/user/exchange"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "host",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": true,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": [
                "label=disable"
            ],
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [
                {
                    "PathOnHost": "/dev/snd",
                    "PathInContainer": "/dev/snd",
                    "CgroupPermissions": "rwm"
                }
            ],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": [
                {
                    "Name": "nofile",
                    "Hard": 10240,
                    "Soft": 10240
                }
            ],
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4-init/diff:/tmp/ramdisk/docker/overlay2/b4f54a4bcf9693f50de7c5789597a12479edfd42d9b8fa2f449f9c6a3f09e580/diff:/tmp/ramdisk/docker/overlay2/ec49f1ad95aaa5088113b71e7894db1ce0229123457e8e63f76cde8d5501cc73/diff:/tmp/ramdisk/docker/overlay2/3bb76c8cef3b6466f1f57167c326a8b065e5f0133424f16b1c0be2510ec60574/diff:/tmp/ramdisk/docker/overlay2/77e87eeac5f5325031e0ababfe19e094c1a443593e4f849f5d79f3f15ef4a573/diff:/tmp/ramdisk/docker/overlay2/1ad76d631a387704468b365fddcc772596361c64e3085cd9efc50f514211024c/diff:/tmp/ramdisk/docker/overlay2/14ee3b713fb1cb48a8baa1c18c39bb85ebbd4acf23df18f146d1b2ddf2106772/diff:/tmp/ramdisk/docker/overlay2/0636682f487ae65c4123e0d281991fde9eeb207745556ead1aa605588df66053/diff:/tmp/ramdisk/docker/overlay2/635fe79b7fa395eb1171b4cb8a5b053643c152699e2e36711d219de92f32d44f/diff:/tmp/ramdisk/docker/overlay2/f5f559bda6b48218a145b81d505dc6bb7dd1dbd144c00eb8200884c20c541a16/diff:/tmp/ramdisk/docker/overlay2/fd6c90c91221f4395ee5d1fa6e6ce165d98cdb5e38edd00d4ef5aaf7bda9bdec/diff:/tmp/ramdisk/docker/overlay2/4198097e8c9bcdcc596434d269f39a2014049b9f62bbd9e259c6d0653371db6e/diff:/tmp/ramdisk/docker/overlay2/d9665613172c8ceb3cd6bfa5709bb05a38f5886322e9ba6f3b59604755670125/diff:/tmp/ramdisk/docker/overlay2/c3eec0a6317354680ed46e1883089fb345a91aada6d1bebc1585869e7497cfa2/diff:/tmp/ramdisk/docker/overlay2/f82163d218a43b50885139dfad1c5dedcd4d381fd76af4a38e0480d48e2ab32b/diff:/tmp/ramdisk/docker/overlay2/c72be8cddf53887e1c8c55207153d2b59e26e3327b60764d1dbe632d6db7b4ff/diff",
                "MergedDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/merged",
                "UpperDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/diff",
                "WorkDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts",
                "Destination": "/release_scripts",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/prerelease_out",
                "Destination": "/tmp/prerelease_out",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/pbuilder_ccache",
                "Destination": "/tmp/pbuilder_ccache",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/.X11-unix",
                "Destination": "/tmp/.X11-unix",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/exchange",
                "Destination": "/home/user/exchange",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "vm64-3",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": true,
            "AttachStderr": true,
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "NIGHTLY_BUILD=1",
                "LOCAL_USER_ID=1001",
                "LOCAL_GROUP_ID=1001",
                "LOCAL_GROUP_NAME=hudson",
                "DISPLAY=:0",
                "QT_X11_NO_MITSHM=1",
                "PATH=/usr/local/nvidia/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LD_LIBRARY_PATH=/usr/local/nvidia/lib:/usr/local/nvidia/lib64:"
            ],
            "Cmd": [
                "bash",
                "-c",
                "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
            ],
            "Image": "gitlab:4567/dockers/pal_docker_images/core-erbium-internal-staging",
            "Volumes": null,
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "com.nvidia.volumes.needed": "nvidia_driver",
                "maintainer": "[email protected]"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "57d9e5bf0c9e05f5351787befe065ef390dd39f39d2aa7681b28abfe4381a8d3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/default",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "host": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "39e3e5618a9dcb24f03e831dbe1929bacdca472fefa3542122bc217429d6914d",
                    "EndpointID": "eabbf4a17b6f92b564ff0303cbc8d3ec67744f9d0b90fe21d49f5b7aebca1d5c",
                    "Gateway": "",
                    "IPAddress": "",
                    "IPPrefixLen": 0,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "",
                    "DriverOpts": null
                }
            }
        }
    }
]

v-lopez في ١ مارس ٢٠١٨

واجهت هذه الأعراض أيضًا في 17.12.0-ce على Ubuntu 16.04.3 LTS مع مجموعة 3-node Rancher (v1.6.14). من الغريب أن إحدى العقد فقط تعرض المشكلة بشكل متقطع (في أي مكان من 1 إلى 7 أيام) على الرغم من أنهم جميعًا يشغلون نفس إصدارات عامل التحميل / ubuntu / rancher. على الرغم من أن العقدة التي يحدث فيها يحدث أنها تشغل أكبر عدد من الحاويات وبالتالي تحتوي على أكبر قدر من الحمل.

التخطيط لترقية هذه المجموعة إلى 17.12.1-ce في نهاية هذا الأسبوع لمعرفة ما إذا كان هذا يساعد في حل المشكلة المتقاطعة

أي شخص آخر لديه أي حظ في 17.12.1 م حتى الآن؟

mauriceteunissen في ٣ مارس ٢٠١٨

mauriceteunissen 17.12.1-ce حل المشكلة بالنسبة لي!

lawrenceadams في ٣ مارس ٢٠١٨

للأسف لم تحل 17.12.1-م المشكلة بالنسبة لي.
ما زلت غير قادر على إيقاف بعض الحاويات مع HEALTHCHECK في Dockerfile الخاص بهم.

PhilPhonic في ٦ مارس ٢٠١٨

يارب

استغرق الأمر وقتًا أطول من المتوقع لإعادة إنتاجه. يحتوي الرمز البريدي على اثنين من ملفات التفريغ التي طلبتها.

$ docker info
Containers: 21
 Running: 21
 Paused: 0
 Stopped: 0
Images: 42
Server Version: 18.03.0-ce-rc1
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 6c55f98695e902427906eed2c799e566e3d3dfb5
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.75-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 3.363GiB
Name: linuxkit-025000000001
ID: EDQO:EXVD:FYS7:R47M:V4UC:H63J:NKHU:T466:DLMW:VXSO:C7XE:BROD
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 185
 Goroutines: 197
 System Time: 2018-03-07T15:05:02.215912835Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

مقالب. zip

ximarx في ٧ مارس ٢٠١٨

كان هذا يحدث لي كثيرًا مع 17.12.0 م. لقد قمت بالتبديل إلى 18.03.0-ce-rc1-mac54 وهو يحدث كثيرًا بشكل أقل ، على الرغم من أنه لا يزال يحدث من حين لآخر. لديّ أدوات صحية على جميع الحاويات التي تحدث.

itaylor في ٧ مارس ٢٠١٨

مرحبًا ، آسف إذا كانت هذه مشكلة تم حلها وتنتظر الإصلاح حتى يشق طريقه إلى البنية المستقرة ، لكنني لست متأكدًا مما إذا كان لدي تباين مختلف قليلاً. أنا أقوم بتشغيل Docker For Windows في وضع Swarm ، لمطابقة بيئة الإنتاج الخاصة بي ، وليس لدي مشكلة مع مكدساتي المنشورة ، لكن الحاويات التي أقوم بتشغيلها بشكل منفصل تتعثر أحيانًا في حالات لا يمكن القضاء عليها. استمر هذا لأسابيع على الأقل (ربما أشهر ، لست متأكدًا).

عادةً ما يكون لدي مكدس واحد تم نشره وهو التطبيق الذي أعمل عليه. بالإضافة إلى ذلك ، أقوم بتشغيل مهام التطوير من خلال أوامر docker run --rm مع مشروعي المثبت في الحاوية. على سبيل المثال ، سيكون أمر Webpack build هو "docker run --rm -t --env" NODE_ENV = development "-v $ (pwd): / srv --workdir / srv node: alpine node_modules / .bin / webpack - config webpack.config.js - التقدم.

في بعض الأحيان ، يتجمد إصدار Webpack (عند حوالي 10-12٪) وعليّ أن أخرج منه ctrl + c . لقد حاولت تركه لمدة 30 دقيقة أو نحو ذلك ، ولم يتم إلغاء تجميده أبدًا (وقت البناء المعتاد أقل من 25 ثانية). في هذه المواقف ، عندما أضغط على ctrl + c ، أحيانًا تموت الحاوية بشكل جيد كما ينبغي ، لكن في أحيان أخرى تتعطل وكأن شيئًا لم يحدث. عندما تتوقف الحاوية ، يظهر docker ps أنها لا تزال تعمل ولكن docker kill و docker rm فقط معلقة حتى ألغيها (مرة أخرى ، لقد حاولت تركها لمدة 20 دقيقة جيدة أو ما شابه ذلك بدون إكمال الأوامر kill و rm ).

لقد اشتبهت في وجود مشكلة في الذاكرة ، لذا حاولت زيادة الذاكرة المخصصة لـ Docker بقدر ما أستطيع دون جعل Windows غير مستقر ، لكن ذلك لم يحدث فرقًا في تكرار هذه المشكلة. ثم حاولت بعد ذلك مشاهدة إحصائيات عامل الإرساء أثناء تشغيل البنيات الخاصة بي ويبدو أنها تبلغ ذروتها عند حوالي 150 ميجا بايت (من 2.5 جيجا بايت المتوفرة لدي). حتى مع جميع الحاويات الأخرى التي أستخدمها لبيئة التطوير الخاصة بي ، لا يتجاوز الإجمالي المجمع 20٪ ، لذلك يبدو أن OOM ليست هي المشكلة.

نقطة أخرى هي أنه عندما تدخل الحاوية في هذه الحالة ، إذا حاولت إعادة تشغيل الأمر الفاشل في حاوية جديدة (على سبيل المثال ، أعد تشغيل الأمر docker run الذي نشرته لإصدار Webpack) الحاوية الجديدة يتوقف فقط مع عدم وجود إخراج السجل ويصبح غير قابل للقتل أيضًا. هذا يجعلني الآن أشك في أنه متعلق بنظام الملفات.

تؤدي إعادة التشغيل البسيطة لـ Docker for Windows إلى إعادة كل شيء إلى حالة العمل. عادةً ما يعمل تكرار أمر Webpack build الخاص بي بعد إعادة التشغيل بشكل جيد.

djbingham في ٨ مارس ٢٠١٨

أشك في أنني عالق في هذه المشكلة أيضًا.

كنت أقوم بتصحيح الأخطاء باستخدام lsof / strace ، ووجدت أن containerd عالقة في كتابة شيء ما إلى أنبوب stdout / stderr.

% sudo ls -l /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49
total 0
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
prwx------ 1 root root 0 Mar  8 20:10 init-stderr
prwx------ 1 root root 0 Mar  9 11:17 init-stdout

لقد وجدت أن 2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49 هو مُعرّف الحاوية ، لكن 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08 غير معروف.
بالمناسبة ، وجدت مخارج containerd بعد قراءة أنبوبين غير معروفين ، مع stdout -> stderr order.

% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr

أظن أن dockerd يحتوي على بعض حالات العرق ، لكنني لم أجد ذلك.

tanoda في ٩ مارس ٢٠١٨

كان Docker يعمل بسلاسة على مضيفي. ولكن منذ أن قمت بالترقية من Docker 17.12.0 إلى 17.12.1 ، واجهت أحيانًا مشكلة تتمثل في عدم تمكني من إيقاف أو إعادة تشغيل حاوية ، خاصة إذا كان لديهم إعداد healthcheck. لذلك عندما وجدت هذه المشكلة ، شعرت بالحيرة ، لأن 17.12.1 كان يجب أن يحل هذه المشكلة وليس إطلاقها.

الشيء الغريب ، إذا كانت إعادة تشغيل المضيف تساعد كثيرًا في "تنظيف" الأشياء في Dockerd ، حتى أتمكن من إيقاف أو إعادة تشغيل بعض الحاويات مرة أخرى. ولكن بعد عدة أيام / أسابيع من التشغيل ، ستبدأ في الفشل في القيام بذلك. بالنسبة لتلك الحاويات الفاشلة ، يفشل كل من استخدام عامل الإرساء أو مباشرة عامل الإرساء (لذا يفشل docker-compose down أو docker stop <name> بالتساوي ، وهو ما يشبه إعادة التشغيل).

$ docker info
Containers: 13
 Running: 7
 Paused: 0
 Stopped: 6
Images: 93
Server Version: 17.12.1-ce
Storage Driver: btrfs
 Build Version: Btrfs v4.4
 Library Version: 101
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
 userns
Kernel Version: 4.13.0-36-generic
Operating System: Ubuntu 16.04.4 LTS
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 7.544GiB
Name: malmur
Docker Root Dir: /var/lib/docker/235536.235536
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

jcberthon في ١٢ مارس ٢٠١٨

لدي مشكلة مماثلة مع الإصدار 18.02. أعتقد أنه يمكنني إعادة إنتاجه بسهولة شديدة عن طريق إجراء اختبار في جينكينز. يحدث ذلك في كل مرة أقوم فيها بإجراء الاختبار.

هنا معلوماتي.

موقف عامل ميناء 5a28870c74e1

Error response from daemon: cannot stop container: 5a28870c74e1: Cannot kill container 5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd: connection error: desc = "transport: dial unix /var/run/docker/containerd/docker-containerd.sock: connect: connection refused": unknown

إخراج معلومات عامل الإرساء:

Containers: 6
 Running: 3
 Paused: 0
 Stopped: 3
Images: 8
Server Version: 18.02.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 3.10.0-693.11.6.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 992.3MiB
Name: docker
ID: 5WRP:X7CW:ATNU:2UAT:RSKA:4BX7:R4T6:B5DT:HGF4:YRTF:BXGK:NON5
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

نسخة عامل ميناء

Client:
 Version:   18.02.0-ce
 API version:   1.36
 Go version:    go1.9.3
 Git commit:    fc4de44
 Built: Wed Feb  7 21:14:12 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.02.0-ce
  API version:  1.36 (minimum version 1.12)
  Go version:   go1.9.3
  Git commit:   fc4de44
  Built:    Wed Feb  7 21:17:42 2018
  OS/Arch:  linux/amd64
  Experimental: false

فحص عامل ميناء

 [
    {
        "Id": "5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd",
        "Created": "2018-03-13T09:38:27.546391905Z",
        "Path": "cat",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22458,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:38:27.977365052Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:0d90898532210246893d448740ee6ad83ad351f71dc188d4a5705d193cb3a580",
        "ResolvConfPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hostname",
        "HostsPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hosts",
        "LogPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd-json.log",
        "Name": "/reverent_lovelace",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": [
            "6fab9a929239a9659834a3975f11e73662d238c56f2ab994bed0b0df35e45d3b"
        ],
        "HostConfig": {
            "Binds": null,
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [
                "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa"
            ],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1-init/diff:/var/lib/docker/overlay2/7816f6aae89ff8e103e90e971e70cdc3a5bda0722d89fa361fce259e169c8aa8/diff:/var/lib/docker/overlay2/72f3b10b691778a8838270b9548a52dfabb11f28b2f520f1a24981dd416d3a25/diff:/var/lib/docker/overlay2/40cbb59d56e7583545b375636d8b99666071d3511c7acc1edc87f8e175ff5df0/diff:/var/lib/docker/overlay2/e0f0d655a2a8e3d518e966d0bd90d8e1de6ea06cd99f27ca7a5716c5be2faa19/diff:/var/lib/docker/overlay2/367dc44c14f8ad44319a439436966e9e1b00779b51c819307eb3ab47422f0b36/diff:/var/lib/docker/overlay2/e04892a8d5d028c713f10f0cdbb5d0be6854b4c90b3fa9c2bee3f0fc7217bad9/diff",
                "MergedDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/merged",
                "UpperDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/diff",
                "WorkDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5a28870c74e1",
            "Domainname": "",
            "User": "1000:1000",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "Tty": true,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "BUILD_NUMBER=12",
                "GIT_PREVIOUS_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "JOB_NAME=pipeline test/master",
                "RUN_CHANGES_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect?page=changes",
                "BUILD_DISPLAY_NAME=#12",
                "BUILD_TAG=jenkins-pipeline test-master-12",
                "GIT_URL=https://github.com/miwa911/jenkins-pipeline.git",
                "JOB_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/display/redirect",
                "NODE_NAME=master",
                "BUILD_ID=12",
                "GIT_BRANCH=master",
                "GIT_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "HUDSON_HOME=/var/jenkins_home",
                "HUDSON_SERVER_COOKIE=76488b4fc4db183f",
                "JENKINS_SERVER_COOKIE=76488b4fc4db183f",
                "RUN_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect",
                "WORKSPACE=/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
                "BRANCH_NAME=master",
                "EXECUTOR_NUMBER=1",
                "GIT_PREVIOUS_SUCCESSFUL_COMMIT=145052192787cd88a307e67777367e6f3c90cb81",
                "JENKINS_NODE_COOKIE=911ca1f2-c7cc-41ba-a1d1-78df2155e65b",
                "JOB_BASE_NAME=master",
                "NODE_LABELS=master",
                "CLASSPATH=",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "NPM_CONFIG_LOGLEVEL=info",
                "NODE_VERSION=6.3.1"
            ],
            "Cmd": [
                "cat"
            ],
            "Image": "node:6.3",
            "Volumes": null,
            "WorkingDir": "/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "16d1c596372cdd66415d9e738f493207f7fc8ee4444e936b08b40d273b05de1b",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/16d1c596372c",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.4",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:04",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.4",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:04",
                    "DriverOpts": null
                }
            }
        }
    }
]


[
    {
        "Id": "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa",
        "Created": "2018-03-12T09:37:38.9422449Z",
        "Path": "/sbin/tini",
        "Args": [
            "--",
            "/usr/local/bin/jenkins.sh"
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22088,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:33:50.029083326Z",
            "FinishedAt": "2018-03-13T09:27:43.347300762Z"
        },
        "Image": "sha256:6844ee63019e341fa7c06a90ce1455200bad2f919738d12e44eaff03198c91d0",
        "ResolvConfPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hostname",
        "HostsPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hosts",
        "LogPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa-json.log",
        "Name": "/wonderful_carson",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/docker/jenkins/jenkins_home:/var/jenkins_home",
                "/var/run/docker.sock:/var/run/docker.sock"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f-init/diff:/var/lib/docker/overlay2/c1db031b078fccca2c4ecb9c08f02a12a166a19fbbb07d709fc7f909e543224b/diff:/var/lib/docker/overlay2/e87a5e9585cf46649068fd2804e9b0077586798e8817b635e9cdb27d604c9de3/diff:/var/lib/docker/overlay2/3aaf41fa890140b773a497f75e1e230249c9a50ef9e637807046bd2645d47383/diff:/var/lib/docker/overlay2/b3042667faad116fa7c1fda0ade770be4b7f3d980ec0c1fdaa3b7141590bce1a/diff:/var/lib/docker/overlay2/061f3bf09589109b981a0b1e4d1e033eda2e69ef0b93ee5d7b7219288392c75e/diff:/var/lib/docker/overlay2/ff2306ca7c4b29c85b102e4274968da89c04335ecbb436c348a2129aadaf5554/diff:/var/lib/docker/overlay2/f82ff9ece6eac85cacb3b39129ea89afe9f59b4729c85a06af7277f357a1800e/diff:/var/lib/docker/overlay2/486e2412d67fc87781f0bd6890402915bf1270ab6b9553c603427e671a2bb01d/diff:/var/lib/docker/overlay2/5a80be543bbabb904d8bc75cdee2788f58988b86bbe6e0b7cafa4f23a1afd08f/diff:/var/lib/docker/overlay2/a80d6b1c1895a11ac66cdb30aabf17cfe912f05b87260d435a53b2199b90bae5/diff:/var/lib/docker/overlay2/ee85443de96d6090613ca21303bb168e3d11f717424fbb2c198e8d9ad315ca7a/diff:/var/lib/docker/overlay2/b4bb1975a154aa01a6d293e6346bece8fca12ecf2390153a1c9b236aec5df008/diff:/var/lib/docker/overlay2/b57c6c33340dae437b79a51f24524821796e8dee73e1cb5499834e8cc08f3e81/diff:/var/lib/docker/overlay2/0e0e4140d22655500ea9580a3f5a3bf69b4a6e3f1880bf0896406aeea17cdb8a/diff:/var/lib/docker/overlay2/d49d5d848055333df33351aeeb4c7a9ed967515ef433ee875d5dbfc6edb14c17/diff:/var/lib/docker/overlay2/a87e0ee4bf32e82943b4e38375131867e0fa6fb5a524ad2a4835223588785a9d/diff:/var/lib/docker/overlay2/a6f8827918230ce42c9988c190c229030a62426de6ebc6de1e905573ef60ae9e/diff:/var/lib/docker/overlay2/5c6b6e85d0f568307e7514e51b736c50a5dbf12f3d8ba971067f4acfa02609bb/diff:/var/lib/docker/overlay2/a79d301bc255744c54ccdaa9c440494dfadec50106b0e3d6d0f7461c7a490742/diff:/var/lib/docker/overlay2/f6f53d9320fee3231a646cbc71bdffc571162368ee123ff3270ba39b2d70691a/diff:/var/lib/docker/overlay2/5930cbcb8f8133c83755f1e2c509a8cd51e7b5ba9a76dc0c581973129d3aa35d/diff",
                "MergedDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/merged",
                "UpperDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/diff",
                "WorkDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5049a01b4358",
            "Domainname": "",
            "User": "jenkins",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "50000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "[email protected]",
                "LETSENCRYPT_HOST=jenkins.miwashop.com",
                "VIRTUAL_HOST=jenkins.miwashop.com",
                "VIRTUAL_PORT=8080",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LANG=C.UTF-8",
                "JAVA_HOME=/docker-java-home",
                "JAVA_VERSION=8u151",
                "JAVA_DEBIAN_VERSION=8u151-b12-1~deb9u1",
                "CA_CERTIFICATES_JAVA_VERSION=20170531+nmu1",
                "JENKINS_HOME=/var/jenkins_home",
                "JENKINS_SLAVE_AGENT_PORT=50000",
                "JENKINS_VERSION=2.111",
                "JENKINS_UC=https://updates.jenkins.io",
                "JENKINS_UC_EXPERIMENTAL=https://updates.jenkins.io/experimental",
                "COPY_REFERENCE_FILE_LOG=/var/jenkins_home/copy_reference_file.log"
            ],
            "Cmd": null,
            "ArgsEscaped": true,
            "Image": "jenkins/jenkins:latest",
            "Volumes": {
                "/var/jenkins_home": {}
            },
            "WorkingDir": "",
            "Entrypoint": [
                "/sbin/tini",
                "--",
                "/usr/local/bin/jenkins.sh"
            ],
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "1dcd94febb0a76606f80777174e45b3fd7bfc4d90676b9b2a3bb2c3226aa2904",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "50000/tcp": null,
                "8080/tcp": null
            },
            "SandboxKey": "/var/run/docker/netns/1dcd94febb0a",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.3",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:03",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.3",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:03",
                    "DriverOpts": null
                }
            }
        }
    }
]

danghung-dev في ١٣ مارس ٢٠١٨

@ miwa911 على أساس ؛

containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)

يبدو أنه قد تم إنهاء / إعادة تشغيل containerd. أرى أن الجهاز لا يحتوي على ذاكرة كبيرة ؛

Total Memory: 992.3MiB

هل يمكن أن يكون قد نفد من الذاكرة أثناء الاختبار ، وأن النواة قتلت بعض العمليات؟ أنصح بالتحقق من البرنامج الخفي وسجلات النظام لمعرفة ما إذا كانت تحتوي على مزيد من المعلومات.

thaJeztah في ١٣ مارس ٢٠١٨

thaJeztah بفضل thaJeztah ،
أنا مبتدئ لذا لا أعرف من أين أتحقق. لقد أرفقت stacktrace الخاص بي (curl --unix-socket /var/run/docker.sock http: // localhost / debug / pprof / goroutine؟ debug = 2).

goroutine_debug.log

danghung-dev في ١٣ مارس ٢٠١٨

أعتقد أن لدي مشكلة ذات صلة

لقد قمت بترقية بيئة التطوير لدينا إلى أحدث إصدار من 17.12.1-ce ، وبناء 7390fc6 الأسبوع الماضي وهذه هي المرة الأولى التي أرى فيها هذا الخطأ.

لقد حاولت مطور البرامج تحديث أحد التطبيقات ، ولم يتمكن السرب من حذف حاوية قديمة للإصدار السابق على عقدة معينة في الكتلة. اكتشفت ذلك لأن المطورين بدأوا يشتكون من متلازمة الصفحة البيضاء بشكل متقطع.

عندما أقوم بخدمة عامل ميناء ps على الخدمة ، فإليك ما أراه: https://www.screencast.com/t/LXAfmddRDp
الحاوية القديمة قيد التشغيل ولكن في حالة إيقاف التشغيل.

على العقدة ، أرى الحاوية كما لو كانت تعمل بطريقة صحية:
https://www.screencast.com/t/ABKVYxNUQ

ومن "docker service ls" ، لدي حاويات أكثر مما كان متوقعًا
https://www.screencast.com/t/0Po8Sqs0Jr

حاولت تشغيل Docker kill and docker للتفتيش على الحاوية من العقدة لكنها لا تعمل.
ليس لدي أي رسول محدد في dmesg.

هذا كل ما يمكنني قوله من الآن ، سأقوم بإزالة المكدس وتشغيله مرة أخرى حتى يتمكن المطورون من مواصلة عملهم.

آمل أن يساعد

تعديل:

Stack rm لم يصلح المشكلة ، كانت حاوية الزومبي لا تزال على العقدة
لم يؤد ضبط توافر العقدة على التصريف إلى حل المشكلة ، حيث تُركت العقدة مع حاوية الزومبي فقط
إعادة تشغيل عامل ميناء الخدمة لا تستجيب
أخيرًا ، أعيد تشغيل العقدة ولم تعد جميع الحاويات موجودة.

لقد رأيت خطأً كهذا على العقدة أثناء العملية

ar 13 10:04:10 وحدة إرساء اسم الخادم: الوقت = "2018-03-13T10: 04: 10.406196465-04: 00" المستوى = خطأ msg = "فشل تحميل الحاوية f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764 حاوية / lacb24 /f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764facb24/config.v2.json: لا يوجد مثل هذا الملف أو الدليل "
13 آذار (مارس) 10:04:10 مرسى اسم الخادم: الوقت = "2018-03-13T10: 04: 10.408039262-04: 00" المستوى = خطأ msg = "فشل تحميل الحاوية fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0b7d59fa033f85e9616b0bock / varcb7a: open / varcb7a /fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0b7cb7a/config.v2.json: لا يوجد مثل هذا الملف أو الدليل "

EDIT2:
وجدت شخصًا آخر بنفس المشكلة: https://github.com/moby/moby/issues/36553

JnMik في ١٣ مارس ٢٠١٨

👍2

/ سم مكعبstevvooedmcgowan في حال كنت على بينة من الأشياء للبحث عن من الجانب containerd

thaJeztah في ١٥ مارس ٢٠١٨

mauriceteunissen لدينا مشكلة مع 17.12.1-ce

vce-xx في ١٧ مارس ٢٠١٨

👍1

أتساءل عما إذا كنت تستخدم Tini: All Tini does is spawn a single child (Tini is meant to be run in a container), and wait for it to exit all the while reaping zombies and performing signal forwarding.

https://github.com/krallin/tini سيتم إصلاح هذه المشكلة و https://github.com/moby/moby/issues/34213 !

loretoparisi في ٢١ مارس ٢٠١٨

loretoparisi شك في ذلك.

لكنك دائمًا ما تقوم بتعيين docker run --init لترى ... --init يستخدم tini.

cpuguy83 في ٢١ مارس ٢٠١٨

@ cpuguy83 أقول أنه في جميع بجافا ، يمكن معالجة المشكلة الرئيسية لعمليات الزومبي في JVM (مثل تطبيقات Java متعددة الخيوط مع استثناءات غير محصورة غير معلنة) و / أو موارد الإدخال / الإخراج المقفلة (غالبًا نفس عمليات java التي أبقت بعض المقبس / الملف مفتوحًا) أو نفس المشكلة ولكن في بعض برامج C ++ القابلة للتنفيذ التي تم إطلاقها عبر child_process فرع. لكن هذه مجرد فرضية ، حيث أنني لم أتمكن من تكرارها بطريقة للتأكد منها ...

loretoparisi في ٢١ مارس ٢٠١٨

لدينا أيضًا نفس المشكلة بتاريخ 17.12.1-م

بمرور الوقت تدخل الحاويات حالة توقف فيها docker ps و docker inspect .
يؤدي إجبار السرب على إعادة نشر الخدمة إلى دخول الحاوية إلى حالة زومبي (الحالة المرغوبة: إيقاف التشغيل ، الحالة الحالية: قيد التشغيل).

docker kill لا يعمل. إحدى طرق قتل الحاوية هي ps aux | grep [container_id] ثم kill [process_id]

هل هناك أي معلومات مطلوبة يمكنني تقديمها؟

mhaamann في ٢١ مارس ٢٠١٨

👍4

mhaamann إذا كانت أوامر عامل

يمكنك القيام بذلك عن طريق الضغط على نقطة النهاية /debug/pprof/goroutines?debug=2
مثال:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

cpuguy83 في ٢١ مارس ٢٠١٨

اكيد @ cpuguy83.
سأصفها حتى أكون متأكدًا من أنني أفعلها بشكل صحيح. محطتان مفتوحتان.
في أول واحد قمت بتنفيذ docker inspect [container_id] . انتظر بضع ثوان للتأكد من أنه عالق. ( عادةً ما يعود الفحص بنتيجة في غضون ثانية واحدة. )
ثم في المحطة الثانية قمت بتنفيذ:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

يمكن العثور على التتبع هنا: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6

mhaamann في ٢١ مارس ٢٠١٨

mhaamann هل يمكنك تشغيل الأمر التالي للحصول على مكدس containerd؟

docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:17.12.1 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

بدلاً من ذلك ، إذا كنت على المضيف ، فيمكنك تشغيل:

docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 في ٢٢ مارس ٢٠١٨

(راجع للشغل) يبدو أن goroutine العالق ذو الصلة هو استدعاء لـ containerd: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6#file -stack-trace-from-dockerd-L5213-L5241

cpuguy83 في ٢٢ مارس ٢٠١٨

هذا هو المكدس من المضيف الذي تم إنشاؤه باستخدام: docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

https://gist.github.com/mhaamann/215c3c6f77af89972b6eace4d09866fc

mhaamann في ٢٢ مارس ٢٠١٨

@ mhaamann شكرا! حفر أعمق ...

يبدو هذا وكأنه عالق في الحصول على حالة الحاوية من عملية الرقائق.
هل أنت قادر على تشغيل تتبع مكدس على الرقاقة؟ kill -SIGUSR1 ${PID_OF_SHIM}
يجب أن يؤدي هذا إلى إنشاء تتبع مكدس والانتشار حتى سجلات dockerd.
يجب أن تكون قادرًا على معرفة ماهية رقم التعريف الشخصي لأنه العملية الأصلية لعملية الحاوية.

cpuguy83 في ٢٢ مارس ٢٠١٨

👍1

يارب

استخدمنا ps faux | grep docker ووجدنا أصل الرقاقة. تم نسخ الجزء ذي الصلة هنا:

root      2624  2.3  2.5 5621140 829884 ?      Ssl  Feb28 782:08 /usr/bin/dockerd
root      2634  0.3  0.1 1694516 47684 ?       Ssl  Feb28 105:32  \_ docker-containerd --config /var/run/docker/containerd/containerd.toml
...

ثم قمنا بتنفيذ kill -SIGUSR1 2634 . تم إرفاق السجلات هنا:

https://gist.github.com/mhaamann/e245e9a8dedf264ae0343af1322bdf66

mhaamann في ٢٣ مارس ٢٠١٨

mhaamann شكرًا ، لكنني أعتقد أننا بحاجة إلى تفريغ من docker-containerd-shim بدلاً من docker-containerd

cpuguy83 في ٢٣ مارس ٢٠١٨

أنا عالق مرة أخرى مع هذه المشكلة. هذه المرة عند محاولة الترقية من 17.12.1 إلى 18.03.0. توقفت عملية الترقية ، معظم الحاويات لا تزال قيد التشغيل (لأن التطبيق لا يزال قيد التشغيل ، ولكن docker ps عالق).

لقد قمت بعمل تفريغ لمقبس Docker-containerd ، وهنا الجوهر: https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6

لا أعرف كيف أقوم بتفريغ docker-containerd-shim .

jcberthon في ٢٣ مارس ٢٠١٨

👍1

jcberthon شكرًا ، يبدو أن هذا هو نفس المشكلة المذكورة أعلاه من النظرة الأولى.
للحصول على مكدس تفريغ من docker-containerd-shim افعل kill -s SIGUSR1 <docker-containerd-shim-pid> . يجب أن يؤدي هذا إلى إنشاء تتبع مكدس في سجلات dockerd.

cpuguy83 في ٢٣ مارس ٢٠١٨

👍1

مرحبًا @ cpuguy83 اضطررت إلى إعادة تشغيل المضيف (قبل أن أرى رسالتك) ، لأن إعادة تشغيل docker.service لم تنجح ، ولم يساعد قتل العمليات في إعادة تشغيل الحاويات بعد ذلك. لذلك مررت بدورة إعادة تشغيل كاملة بدلاً من العبث حتى أعود إلى حالة نظيفة.

لذلك أحتاج إلى انتظار القفل التالي قبل أن أتمكن من الإبلاغ عن تفريغ المكدس لـ docker-containerd-shim. أنا الآن في 18.03.0 على الرغم من ...

على أي حال ، شكرًا على الرجوع إلي بسرعة :-)

jcberthon في ٢٣ مارس ٢٠١٨

👍1

كان في 17.12.1 لمدة 21 يومًا حتى الآن وقد حدثت هذه المشكلة لي مرتين منذ ذلك الحين (بما في ذلك اليوم). نادرًا ما يكون لدي الوقت لتحري الخلل وإصلاحه لأنه يعمل في صندوق مهم للمهمة وغالبًا ما يكون إعادة التشغيل الفوري هو الإصلاح. كما أشار jcberthon ، لا تعمل إعادة تشغيل خدمة عامل

إذا كان بإمكاني الحصول على التسلسل الدقيق للأوامر التي يجب تشغيلها والسجلات التي يجب التخلص منها ، فيمكنني التقاطها في المرة التالية التي يحدث فيها ذلك ، لكنني استفدت أيضًا من الحاجة إلى إعادة التشغيل والترقية إلى 18.03.0 مثل اليوم على أمل أن يؤدي ذلك إلى إصلاح هذه المشكلة بالنسبة لي.

mauriceteunissen في ٢٤ مارس ٢٠١٨

@ cpuguy83 kill -SIGUSR1 على docker-containerd-shim لا تنشئ تتبع مكدس. لا شيء يحدث.

mhaamann في ٢٤ مارس ٢٠١٨

يجب أن يكون في سجلات dockerd؟

يوم السبت 24 مارس 2018 الساعة 2:15 مساءً ، ماتياس هامان إخطارات @github.com
كتب:

@ cpuguy83 https://github.com/cpuguy83 اقتل -SIGUSR1 على الرقائق يفعل
لا تولد تتبع مكدس. لا شيء يحدث.
-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/moby/moby/issues/35933#issuecomment-375913621 ، أو كتم الصوت
الخيط
https://github.com/notifications/unsubscribe-auth/AAwxZtxfxj8i-AmbzffFqR1SSLIvYzbcks5tho1YgaJpZM4RTNnH
.

-

بريان جوف

cpuguy83 في ٢٤ مارس ٢٠١٨

أي شخص تمكن من العمل بشكل صحيح 17.12.1 في الإنتاج حتى الآن؟

JnMik في ٢٧ مارس ٢٠١٨

في آخر 5 أيام (تقريبًا) (أي عندما قمت بالترقية إلى Docker CE 18.03.0) ، لم أواجه المشكلة.

هذا لا يعني أنه تم حلها في 18.03.0 ، فمن السابق لأوانه معرفة ذلك. ولكن على الأقل هذا أقل حدوثًا. قبل أن أواجه المشكلة كل يومين أو ثلاثة أيام على الأقل. 🤞

jcberthon في ٢٨ مارس ٢٠١٨

👍1

jcberthon فضولي حقًا بشأن النتيجة. لأنني أرى أشخاصًا لديهم مشاكل مع 18.03.0 أيضًا. JnMik قررنا الرجوع إلى الإصدار 17.09.1 حتى يتم حل هذه المشكلة نظرًا لأنها كانت تحدث كثيرًا في 17.12 و 18.02.

jordijansen في ٢٨ مارس ٢٠١٨

👍3

نحن ملتزمون أيضًا بـ 17.09.1 لأن الإصدارات الأحدث لا تعمل معنا.

huepf في ٢٨ مارس ٢٠١٨

👍2

إنه أمر مثير للاهتمام لأن تحديث مشكلتي الأصلية إلى 18.02 كان هو الحل. حسنًا على الأقل حتى الآن جيد جدًا.

Timunas في ٢٨ مارس ٢٠١٨

👍1

اليوم فقط أنشأت مجموعة جديدة جديدة باستخدام عامل الإرساء 17.12.1 وواجهت هذه المشكلة.
بعد 8 ساعات ، أثناء إجراء تحديث متجدد لإحدى الخدمات ، لاحظت وجود حاوية عالقة "قيد التشغيل" ، ولا يمكنني docker inspect ذلك.

هنا هو تفريغ من containerd-shim ، تم الحصول عليها كما شرح @ cpuguy83 .

https://gist.github.com/mion00/7ff75e04d6ac21de353cef3e8c64fcd1

تحرير: التحديث باستخدام (نأمل) تتبع المكدس الصحيح من containerd-shim ، من حاوية مختلفة كانت عالقة أيضًا.

mion00 في ٢٨ مارس ٢٠١٨

@ mion00 هذا يشبه تفريغ حاويات بدلاً من حاوية حاويات :(

cpuguy83 في ٣٠ مارس ٢٠١٨

@ cpuguy83 لقد قمت بتحديث تعليقي السابق ، بتتبع مكدس جديد تم إنشاؤه من حاوية مختلفة.

mion00 في ٣١ مارس ٢٠١٨

للأسف حدث ذلك مرة أخرى ولكن بعد أكثر من أسبوع من العمل بلا عيب ، لذا فهو فوز مقارنة بـ 17.12.1. نسخة إلى: jordijansen

على أي حال ، كنت أحاول إنشاء ملف تفريغ لـ docker-containerd-shim . لقد قمت بإدراج جميع هذه العمليات واخترت واحدة تتوافق مع حاوية واحدة عالقة (لا يمكنني عمل سجلات عامل الإرساء ، أو تنفيذ عمليات الإرساء ، وما إلى ذلك في هذه الحاوية). لذلك قمت بعمل sudo kill -s SIGUSER1 <pid> ، ولكن عندما أحاول التحقق من سجلات dockerd (باستخدام sudo journalctl -u docker.service ) ، فإن تاريخ رسائل السجل الأخيرة منذ أكثر من 12 ساعة. لذلك أظن أن عامل الإرساء عالق ولا يقوم بتسجيل أي شيء بعد الآن ... لذلك لا تفريغ ... ما لم يكن هناك ملف غير معروف في مكان ما ...

لقد قمت بتحديث المحتوى (https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6) بأحدث المعلومات. في نهاية الأمر ، أضفت الأوامر التي أديرها لمحاولة معرفة أي عامل إرساء-حاويات-شيم يجب أن أرسل إشارة SIGUSR1. تقوم حاويتي المتوقفة بتشغيل قاعدة بيانات MongoDB ، لذلك أبحث عن PID الخاص بها ، ثم باستخدام proc FS ، أبحث عن المجموعات الجماعية التي تنتمي إليها. باستخدام معرفات cgroup ، حددت Docker-containerd-shim PID.

jcberthon في ١ أبريل ٢٠١٨

jcberthon لدي أيضًا نفس المشكلة ، لم يقم dockerd بتسجيل تتبع المكدس. لقد قمت بحل المشكلة بإضافة "debug": true إلى تكوين json في /etc/docker/daemon.json وقمت بعمل service docker reload لالتقاط التكوين الجديد. يتيح ذلك سجلات تصحيح الأخطاء في dockerd ، ومن ثم يمكنك العثور على تتبع المكدس بعد kill -s SIGUSER1

mion00 في ١ أبريل ٢٠١٨

شكرًا لك @ mion00 بالفعل بإضافة هذا الخيار وإعادة تحميل البرنامج الخفي ، يمكنني رؤية بعض السجلات الآن عندما أقوم بعمل sudo journalctl -u docker.service . ومع ذلك ، عند إرسال إشارة USR1 إلى عملية docker-containerd-shim ، لا أرى أي سجلات جديدة ، لذلك ليس لدي أي تفريغ :-(

jcberthon في ١ أبريل ٢٠١٨

@ mion00jcberthon هل تريد إعطاء التصحيح في https://github.com/moby/moby/pull/36751 محاولة واسمحوا لي أن أعرف إذا كان ذلك يساعد؟

stevvooe في ٣ أبريل ٢٠١٨

18.03.0 لا يزال يتأثر

لا تزال تواجه هذه المشكلة في 18.03.0 لنظام التشغيل Mac ... بشكل أقل تكرارًا ... ولكن لا يزال هناك.

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764393 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc420741ce0, 0x0, 0xc420419ad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc420741ce0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc420741ce0, 0x2, 0xc420741ce0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc42052f4b1, 0x9, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206f6280, 0x1469fe0, 0xc4206e26c0)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select, 1 minutes]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall, 1 minutes]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc4206f6300, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206f6280, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8008, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8008)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x4acb760201fcbb8, 0x5ac36c5e, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x111349c75d3a6, 0x14a7a60, 0xbea8f8f784a7d948)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4201c8ce0, 0xc4201c8ce0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select, 1 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x7add264201febb8, 0x5ac36c5e, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x111349f76e9fa, 0x14a7a60, 0xbea8f8f787ab9e54)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc4202bf260, 0xc4202bf260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire, 1 minutes]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f35)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select, 1 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 764394 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56970, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee698, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee698, 0xc4205a7600, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0xc420545a00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e398, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4205a7650)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671746 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764368 [syscall, 1 minutes]:
syscall.Syscall6(0xf7, 0x1, 0x36fe, 0xc42049d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4204f9c00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc4207ebe90, 0x0, 0xc42049d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc4207ebe90, 0xc42049d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc4207ebe90, 0xc420523400, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4203138c0, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4203138c0, 0xc420568320)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 592291 [IO wait, 42 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764369 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc42065c540)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671647 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764402 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4898, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4898, 0xc42073d000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0xc42041ee78, 0x43ebf4, 0xc4201be7e0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0370, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xc42041efac, 0x0, 0xc42041efa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xa, 0xc4201f6100, 0x0, 0xc42041ef48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc420774420, 0xa, 0xa, 0x145c760, 0xc42065c4e0, 0xc42041ef48, 0x2, 0x2, 0xc42041efa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc420774400, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4204a7060, 0x6, 0xb, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be840, 0xc42065c540, 0xc420265220, 0xc4201be7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

ومرة أخرى (للسماح بترشيح عابر من عالق بشكل أسهل)

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764428 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc4200ac7e0, 0x0, 0xc4205ccad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc4200ac7e0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc4200ac7e0, 0x2, 0xc4200ac7e0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc4205620d1, 0x9, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206328c0, 0x1469fe0, 0xc4202fa300)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc420632940, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206328c0, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8000, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8000)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x227a0234201fcbb8, 0x5ac36c69, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x1113749e9ca22, 0x14a7a60, 0xbea8f8fa62751fd0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4202bff20, 0xc4202bff20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x22856124201febb8, 0x5ac36c69, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x1113749f52782, 0x14a7a60, 0xbea8f8fa62803e4c)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc420204d20, 0xc420204d20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f39)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671746 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764452 [select]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc420169500)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 592291 [IO wait, 43 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764451 [syscall]:
syscall.Syscall6(0xf7, 0x1, 0x3778, 0xc42026d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc42019af00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc42052ed80, 0x0, 0xc42026d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc42052ed80, 0xc42026d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc42052ed80, 0xc420128d00, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4200ae580, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4200ae580, 0xc4202f6410)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764429 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420230818, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420230818, 0xc4204def00, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0xc4204deb00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0230, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4204def90)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671647 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764453 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b567f0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee498, 0xc420777000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0xc42041fe78, 0x43ebf4, 0xc4201be300)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e1f0, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xc42041ffac, 0x0, 0xc42041ffa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xa, 0xc4200b4180, 0x0, 0xc42041ff48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4203453e0, 0xa, 0xa, 0x145c760, 0xc420169440, 0xc42041ff48, 0x2, 0x2, 0xc42041ffa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4203453c0, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc42073a000, 0x6, 0x1b9, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be360, 0xc420169500, 0xc420664ec0, 0xc4201be300)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

$ docker info
Containers: 5
 Running: 1
 Paused: 0
 Stopped: 4
Images: 323
Server Version: 18.03.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 4fc53a81fb7c994640722ac585fa9ca548971871
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.87-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 7.786GiB
Name: linuxkit-025000000001
ID: UUJI:BHCD:4SFP:CCSM:H5QT:VZQL:E6AH:UXGU:5VMJ:P525:VYIK:YWOH
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 42
 Goroutines: 70
 System Time: 2018-04-03T11:59:08.2610107Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

$ docker version
Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:06:22 2018
 OS/Arch:   darwin/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:14:32 2018
  OS/Arch:  linux/amd64
  Experimental: true

الصورة التي أحصل عليها دائمًا هي docker.elastic.co/elasticsearch/elasticsearch:6.0.1 (أو أي من صور elasticsearch ... أنا فقط أستخدم 6.0.1 باستمرار)

لدي 23 صورة أخرى أبدأها وأوقفها عدة مرات كل يوم ، لكن البحث المرن يموت باستمرار ... ولن يكون نفس مثيل حاوية البحث المطاطي (لأنني أقوم بتشغيل أكثر من صورة واحدة ، ولكن جميعها متشابهة صورة)...

يمكن أن يكون التعليق في أي وقت خلال 1-2 دقيقة من البدء وحتى 2-3 ساعات ...

stephenc في ٣ أبريل ٢٠١٨

أرى أيضًا ما يبدو أنه هذه المشكلة عبر أسراب متعددة. هل تم إحراز أي تقدم في تحديد السبب الجذري؟

هل يعود الناس إلى الإصدارات السابقة؟ (تم ذكر 17.09)

تم تمييز المشكلة على أنها بحاجة إلى مزيد من المعلومات ، ما هي المعلومات الإضافية المطلوبة؟

timdau في ٤ أبريل ٢٠١٨

timdau ما زلنا في 17.09 في الإنتاج لأن هذا هو الإصدار الأكثر استقرارًا بالنسبة لنا بسبب هذه "الحاويات التي لا يمكن إيقافها"

PhilPhonic في ٤ أبريل ٢٠١٨

👍7

يحدث الشيء نفسه بالنسبة لي في Docker-CE 17.12.0 (في 3 مجموعات) ، أعود إلى 17.09.0.
إنه أمر لا يصدق أن Docker لديها الآن هذا النوع من الأخطاء الحرجة في نسختين LTS ، ولا تصلحها ...
أفهم أنه ربما يكون من الصعب التكاثر ، لكن هذا يحدث لكثير من الأشخاص ...

¿لأنه يوجد الآن إصدار EE ، وهناك جهود الآن في هذا الإصدار EE 2.2.x (Docker 17.06.x)؟

marcomsousa في ٥ أبريل ٢٠١٨

👍2 ❤1

هناك العديد من المشكلات قيد التشغيل هنا وهناك العديد من الإصلاحات التي تهتم بمناطق مختلفة.

نفس الشيء يحدث لي في Docker-CE 17.12.0

17.12.1 قد خرج لبعض الوقت الآن. لا يصلح جميع المشكلات ولكنه يصلح بعضها.
يرجى التحديث.
هناك إصلاحات أخرى متوفرة في 18.03.0 ، ولكن قد يكون من المفيد الانتظار حتى 18.03.1 والتي ستصدر قريبًا.

لا تزال هذه المشكلة مفتوحة لأننا نتفهم أنها لم يتم إصلاحها ويتم العمل عليها.
إذا كنت ترغب في المساعدة ، فهناك عدد من الطرق للمساهمة خارج الحالات الضيقة ... على سبيل المثال خطوات إعادة بروز محددة / متسقة ، وتكديس آثار من مثيل عامل إرساء محدث (وحاويات و حاويات شيم مفيدة أيضًا) ، إلخ.

المجيء إلى هنا وتقديم ادعاءات كاذبة والتظاهر السخيف ليس مفيدًا على الإطلاق.

cpuguy83 في ٥ أبريل ٢٠١٨

❤3

لدي هذه المشكلة في هذه المجموعة الأخرى:
docker service ls

ID NAME MODE REPLICAS IMAGE PORTS
2uy2rdh3cu7e arxx_rxx replicated 5/4 xx/arxx_rxx:latest-SNAP *:80->80/tcp,*:443->443/tcp
شاهد 5 حاويات من 4 ....> (يتم ضبطها على 4 نسخ متماثلة دائمًا)

docker service ps arxx_rxx
تظهر فقط 4 ركض

docker ps
أظهر أيضًا الحاوية الإضافية التي لا يمكن إيقافها
69364e4293d1 xx/arxx_rxx:latest-SNAP "java -jar app-all.j…" 13 days ago Up 13 days (healthy) 80/tcp, 443/tcp arxx_rxx.1.bayrllx65489r7e1vh5te3plp

كل الأوامر المتعلقة بهذه الحاوية معلقة
docker inspect 69364e4293d1

الحاوية تكسر الخدمات أيضًا.

¿هل يمكنك أن تريني الأوامر الدقيقة التي يتعين علي القيام بها لإعطائك المعلومات التي تحتاجها للعثور على الخطأ؟

نظام التشغيل Ubuntu 16.04.0
عامل ميناء 17.12.0 م

إذا كان لديك Skype / Hangouts ، يمكنني السماح لك بفعل ذلك بنفسك.
يارب

marcomsousa في ٦ أبريل ٢٠١٨

لقد أصابنا نفس المشكلة. تم تعليق إحدى الحاوية ، لذا لا تعمل الأوامر الأخرى مثل docker rmi / logs.

cat / etc / redhat-release

إصدار CentOS Linux 7.4.1708 (Core)

نسخة عامل ميناء

عميل:
الإصدار: 17.12.0-ce
إصدار API: 1.35
نسخة Go: go1.9.2
Git الالتزام: c97c6d6
تاريخ البناء: الأربعاء 27 ديسمبر 20:10:14 2017
OS / Arch: لينكس / amd64

الخادم:
محرك:
الإصدار: 17.12.0-ce
إصدار API: 1.35 (الحد الأدنى للإصدار 1.12)
نسخة Go: go1.9.2
Git الالتزام: c97c6d6
تاريخ البناء: الأربعاء 27 ديسمبر 20:12:46 2017
OS / Arch: لينكس / amd64
التجريبية: خطأ

جوروتين

(curl --unix-socket /var/run/docker.sock http: /./ debug / pprof / goroutine؟ debug = 2)
goroutine.log

أرى بعض عمليات الإدخال والإخراج الكبيرة تنتظر في السجل ..
في الوقت الحالي ، عدنا إلى إصدار عامل ميناء: 17.09.1 م

أي أفكار ستكون محل تقدير كبير.

victorvarza في ٦ أبريل ٢٠١٨

victorvarza انظر التعليقات السابقة: https://github.com/moby/moby/issues/35933#issuecomment -378957035 - إذا كنت في 17.12 ؛ على الأقل قم بالترقية إلى 17.12.1 ، ولكن بالنظر إلى وصول 17.12 إلى EOL ، فكر في 18.03 (ولكن قد ترغب في الانتظار حتى 18.03.1 ، والذي سيكون له بعض الإصلاحات)

thaJeztah في ٦ أبريل ٢٠١٨

👍2

لقد أجريت بعض التغييرات على بنيتي التحتية لأوفر لنفسي رفاهية التمكن من قضاء بعض الوقت في جمع السجلات / المعلومات في المرة التالية التي يحدث فيها ذلك على أنظمة الإنتاج الخاصة بي.

أنا حاليًا على نظام التشغيل Ubuntu 16.04.4 LTS الذي يعمل على Docker-ce 18.03.1 و Linux Kernel 4.13.0-39-generic x86_64.

هل يمكن لأي شخص تأكيد أن هذه هي جميع المعلومات التي يجب جمعها لتوفير معلومات كافية للمساعدة في استكشاف هذه المشكلة وإصلاحها؟

docker inspect {container-id} > docker-inspect-container.log
ps -aux | grep {container-id} للحصول على معرّف docker-containerd-shim pid
للحصول على مكدس تفريغ من docker-containerd-shim ، افعل kill -s SIGUSR1 {docker-containerd-shim-pid} . يجب أن يؤدي هذا إلى إنشاء تتبع مكدس في سجلات dockerd.
sudo journalctl -u docker.service --since today > docker-service-log.txt
docker info
docker version

mauriceteunissen في ٥ مايو ٢٠١٨

👍2

نفس المشكلة هنا. الحاوية عالقة. لا يمكن التوقف ، القتل ، rm ، إلخ.
توفير كافة المعلومات ذات الصلة بالملفات المرفقة.

Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:04:48 2018
 OS/Arch:   linux/arm64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:10:22 2018
  OS/Arch:  linux/arm64
  Experimental: false

strace-pid.log
عامل ميناء version.txt
عامل ميناء خدمة log.txt
docker-inspect-container.log
عامل ميناء info.txt
docker-containerd-shim-cmd-pid.txt
contanerd-stack.log

slavikme في ٥ مايو ٢٠١٨

واجهت نفس المشكلة مع 18.03.0-ce ، لكن يبدو أن هذا مرتبط بأحجام NFS المثبتة على المضيف. لقد قرأت بالفعل بعض الإعدادات المماثلة في هذا الموضوع. هل يمكن أن تكون NFS هي المشكلة الفعلية هنا؟

Finkes في ٥ مايو ٢٠١٨

ليس لدينا NFS مشترك في الإعداد ونواجه نفس المشكلة.

PhilPhonic في ٥ مايو ٢٠١٨

18.03.1 خارج مع بعض عوامل التخفيف لهذا. يرجى إعلامنا إذا كانت لا تزال مشكلة في هذا الإصدار.

cpuguy83 في ٥ مايو ٢٠١٨

@ cpuguy83 كان Docker لـ AWS لا يزال في 18.03.0 آخر مرة تحققت فيها. وآخر إصدار مدرج في ملاحظات الإصدار هو 18.03.0. أنا حريص على التحقق. هل لديك أي فكرة عن موعد ترقية Docker for AWS Stable إلى 18.03.1؟

vce-xx في ٥ مايو ٢٠١٨

احذر عند ترقية مجموعة سربك ، الخطأ: # 36961 ، يمكن أن يصبح عنقودك ميتًا.

marcomsousa في ٧ مايو ٢٠١٨

@ cpuguy83 18.03.1 ليس موجودًا حتى الآن في صفحة الإصدار: https://docs.docker.com/release-notes/docker-ce/ أم أنا أعمى؟

tnguyenns1 في ٧ مايو ٢٠١٨

18.03.1 ليس موجودًا بعد في صفحة الإصدار: https://docs.docker.com/release-notes/docker-ce/ أم أنا أعمى؟

هذا المستند قديم ، يمكنك أن ترى هنا: https://github.com/docker/docker-ce/releases/tag/v18.03.1-ce
صدر قبل 11 يوما.

marcomsousa في ٧ مايو ٢٠١٨

👍2

marcomsousa شكرا https://docs.docker.com/release-notes/docker-ce/#18031 -ce-2018-04-26

thaJeztah في ٨ مايو ٢٠١٨

@ cpuguy83 هل توجد قائمة في مكان ما بجميع القضايا المتعلقة بهذه المشكلة؟ بهذه الطريقة يمكننا أن نعرف على وجه اليقين متى يتم حل هذه المشكلة وآمن للترقية.

timdau في ٩ مايو ٢٠١٨

👍2

timdau هذا هو التخفيف من خلال https://github.com/containerd/containerd/commit/d235ae9439c7a22b96a0d66cb15dd8808d978e8f

cpuguy83 في ٩ مايو ٢٠١٨

تم تحرير هذا الالتزام containerd / containerd @ d235ae9 في الحاوية
يتضمن Docker-ce 18.03.1 هذا الإصدار من containerd.

لذلك نحن بحاجة إلى اختبار ما إذا كان هذا الخطأ قد تم إصلاحه في الإصدار 18.03.1

marcomsousa في ٩ مايو ٢٠١٨

يبدو أن 18.03.1 قد أصلح المشكلة بالنسبة لي. لقد كنت أستخدمه محليًا لمدة أسبوع ، ولكن لم أواجه هذه المشكلة ، والتي كانت قابلة للتكرار بسهولة في غضون يوم بخلاف ذلك.

achekulaev في ١٥ مايو ٢٠١٨

👍1

يبدو أن الإصدار 18.03.1 قد أصلح هذه المشكلة. (أو قيل مخفف @ cpuguy83)

لقد اختبرت في 4 مجموعات.

marcomsousa في ٢٢ مايو ٢٠١٨

👍2 🎉1

شكرا لكم جميعا على التأكيد ؛ سأمضي قدما وأغلق هذه المسألة.

إذا كنت لا تزال تواجه هذا على Docker 18.03.1 أو أعلى ؛ الرجاء فتح مشكلة جديدة مع التفاصيل

thaJeztah في ٢٢ مايو ٢٠١٨

🎉4 👍4 ❤2 😄2

mavogel كان لدي نفس المشكلة مع تجميد حاويات الرصيف. كان الحل بالنسبة لي هو أنه إذا قمت بنقل التسجيل من / dev / stderr إلى ملف داخلي داخل حاوية docker ، فستختفي المشكلة. ربما تكون هناك بعض مشكلات القرص عند تسجيل الحاوية إلى / dev / stderr وربما يكون هذا هو الحال بالنسبة لمعظم المشكلات.

casperWWW في ١٠ سبتمبر ٢٠١٨

👍5

كان الحل (المؤقت) في كلا الإصدارين 18.06.1-ce و 18.09 مشابهًا لـcasperWWW. في حالتي ، قمت بخفض مستوى سجل التطبيقات المنفذة داخل الحاويات وتوقفت عن التعليق.

EduJGURJC في ٢١ نوفمبر ٢٠١٨

لذا يبدو أن الحاوية لا يمكنها تحرير موارد الإدخال / الإخراج المخصصة.

loretoparisi في ٢١ نوفمبر ٢٠١٨

أحصل على نفس المشكلة ، على الرغم من عدم استخدام docker-compose. أنا أستخدم سرب عامل الميناء. نفس الشيء على الرغم من ذلك ، أحصل أحيانًا على حاويات لا يمكن لسرب عامل الإرساء ولا أنا مع عامل الإرساء CLI إيقافها. هذا يتسبب في أن ينتهي المطاف بسرب عامل الميناء بجمع المزيد من النسخ المتماثلة أكثر مما هو مرغوب فيه بحيث لا يمكنه تقليص حجمها. في بعض الأحيان ، لا يزال بإمكان هذه النسخ المتماثلة خدمة الطلبات واستقبال حركة المرور. الطريقة الوحيدة لإزالة الحاويات هي إعادة تشغيل عامل الإرساء على العقدة المتأثرة.

أنا معك أيضًا ، ما عدا إعادة تشغيل عامل الشحن على العقدة المتأثرة ， بأي طريقة أخرى لحل المشكلة

wh0am111 في ٦ مايو ٢٠١٩

أحصل على نفس المشكلة ، على الرغم من عدم استخدام docker-compose. أنا أستخدم سرب عامل الميناء. نفس الشيء على الرغم من ذلك ، أحصل أحيانًا على حاويات لا يمكن لسرب عامل الإرساء ولا أنا مع عامل الإرساء CLI إيقافها. هذا يتسبب في أن ينتهي المطاف بسرب عامل الميناء بجمع المزيد من النسخ المتماثلة أكثر مما هو مرغوب فيه بحيث لا يمكنه تقليص حجمها. في بعض الأحيان ، لا يزال بإمكان هذه النسخ المتماثلة خدمة الطلبات واستقبال حركة المرور. الطريقة الوحيدة لإزالة الحاويات هي إعادة تشغيل عامل الإرساء على العقدة المتأثرة.
أنا معك أيضًا ، ما عدا إعادة تشغيل عامل الشحن على العقدة المتأثرة ， بأي طريقة أخرى لحل المشكلة

انظر تعليقي الذي أرسلته سابقًا هنا - https://github.com/moby/moby/issues/35933#issuecomment -419863541
آمل أن يساعدك ذلك أيضًا.

casperWWW في ٦ مايو ٢٠١٩

أحصل على نفس المشكلة ، على الرغم من عدم استخدام docker-compose. أنا أستخدم سرب عامل الميناء. نفس الشيء على الرغم من ذلك ، أحصل أحيانًا على حاويات لا يمكن لسرب عامل الإرساء ولا أنا مع عامل الإرساء CLI إيقافها. هذا يتسبب في أن ينتهي المطاف بسرب عامل الميناء بجمع المزيد من النسخ المتماثلة أكثر مما هو مرغوب فيه بحيث لا يمكنه تقليص حجمها. في بعض الأحيان ، لا يزال بإمكان هذه النسخ المتماثلة خدمة الطلبات واستقبال حركة المرور. الطريقة الوحيدة لإزالة الحاويات هي إعادة تشغيل عامل الإرساء على العقدة المتأثرة.

إصدار عامل الإرساء الخاص بي v17.12.1.
لدي نفس المشكلة. يتسبب هذا في حساب رصيد تحميل الخدمة الخاص بي على إصدار مختلف للصور والحاويات أكثر من مجموعة النسخ المتماثلة. أعتقد أن هذا خطأ كبير في عامل الميناء. إنه يؤثر بشكل خطير على خدمتي في الإنتاج. الرجاء المساعدة في الحل. تضمين التغريدة

sunkeysun في ١٨ يونيو ٢٠١٩

وصل Docker 17.12 إلى EOL منذ أكثر من عام ؛ هل تستطيع التكاثر في النسخة الحالية؟

thaJeztah في ١٨ يونيو ٢٠١٩

Moby: لا يمكن إيقاف حاوية عامل الميناء

التعليق الأكثر فائدة

ال 146 كومينتر

موقف عامل ميناء 5a28870c74e1

إخراج معلومات عامل الإرساء:

نسخة عامل ميناء

فحص عامل ميناء

18.03.0 لا يزال يتأثر

¿هل يمكنك أن تريني الأوامر الدقيقة التي يتعين علي القيام بها لإعطائك المعلومات التي تحتاجها للعثور على الخطأ؟

cat / etc / redhat-release

نسخة عامل ميناء

جوروتين

القضايا ذات الصلة