Dies erfordert wirklich mehr Informationen und Reproduktionsschritte

dockerd[101922]: time="2018-01-04T15:54:07.406980654Z" level=debug msg="Calling POST /v1.35/containers/4c2b5e7f466c/stop"

Die obige Meldung zeigt nur, dass der Aufruf zum Stoppen des Containers erfolgt ist. Gibt es danach irgendwelche Nachrichten?
Wie ist das Docker-Setup? Führen Sie Docker-in-Docker aus?
Haben Sie überprüft, ob der Container noch läuft? Was zeigt docker inspect des Containers? Gibt es ein PID in der Ausgabe? Und läuft dieser Prozess noch? ( ps auxf auf dem Host)
Können Sie das Problem ohne Jenkins reproduzieren? Können Sie genaue Schritte zur Reproduktion angeben?

thaJeztah am 5. Jan. 2018

Es werden keine weiteren Nachrichten protokolliert.

In der Zwischenzeit habe ich einige weitere Tests durchgeführt und nachdem der Container in diesem Zustand eingetreten ist:

Ich kann den Container nicht aufhalten
Ich kann nicht docker ausführen, um zu schlagen.
Ich kann andere Container starten und stoppen

Um diesen Zustand zu verlassen, muss ich:

Service Docker stoppen
Container-Prozesse beenden (wenn nicht, startet Docker nicht)
Service Docker starten

Ich glaube, ich habe dies einmal außerhalb von Jenkins reproduziert, dachte aber, es sei ein weiteres Problem.

Wie bei Jenkins ist es einfacher, dies zu reproduzieren. Ich werde auf das nächste Mal warten, um die Docker-Inspektion des Containers durchzuführen.

Das Setup (läuft in CENTOS vm):

Starten von Containern mit bestimmten Bildern mit Docker-Compose Up
Durchführen einiger Tests mit den in Containern gestarteten Anwendungen
Stoppen von Containern mit Docker-Compose Down

Diese Schritte werden für jeden Test ausgeführt, und ich führe gleichzeitig Tests aus.

Es tut mir leid, dass ich keine weiteren Informationen gegeben habe, aber das konnte ich bisher sammeln.

Timunas am 5. Jan. 2018

Ich habe ein ähnliches Problem _now_ mit _different docker version_ . Ich kann keinen Container stoppen, der erstellt wird.

Und das wird für alle Container protokolliert.

`` `Jan 08 16:53:10 dockerd [7012]: time =" 2018-01-08T16: 53: 10.983935134Z "level = debug msg =" Aufruf von POST /v1.34/containers/9cdc36c44340/stop "
08. Januar 16:53:10 dockerd [7012]: time = "2018-01-08T16: 53: 10.984024605Z" level = debug msg = "Senden des Kill-Signals 15 an den Container 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a
08. Januar 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985034572Z" level = info msg = "Container konnte nicht gestoppt werden, nachdem Signal 15 an den Prozess gesendet wurde, erzwingen das Töten"
08. Januar 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985087603Z" level = debug msg = "Senden des Kill-Signals 9 an den Container 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b94a
08. Januar 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986759908Z" level = debug msg = "FIXME: Ich habe eine API erhalten, für die der Fehler keinem erwarteten Typ entspricht !!!: nicht gefunden \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / Containerd / Containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / Containerd / Containerd / Content / Helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta g.go: 85 \ nmain.init \ n \ t / go / src / github.com / docker / docker / cmd / dockerd / service_unsupported.go: 15 \ nruntime.main \ n \ t / usr / local / go / src / runtime / proc.go: 173 \ nruntime.goexit \ n \ t / usr / local / go / src / runtime / asm_amd64.s: 2197 "error_type =" Errors.fundamental "module = api08. Januar 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986856140Z" level = error msg = "Handler für POST /v1.34/containers/9cdc36c44340/stop zurückgegebener Fehler: Kann nicht gestoppt werden container: 9cdc36c44340: Container 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94 kann nicht beendet werden: 9cdc36c44340cd23a5cbfb884c1fab4d47b208. Januar 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.987051906Z" level = debug msg = "FIXME: Ich habe eine API erhalten, für die der Fehler keinem erwarteten Typ entspricht !!!: nicht gefunden \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / Containerd / Containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / Containererd / Containerd / Content / Helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta


**docker-info :** 
```Containers: 6
 Running: 6
 Paused: 0
 Stopped: 0
Images: 61
Server Version: 17.11.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 992280e8e265f491f7a624ab82f3e238be086e49
runc version: 0351df1c5a66838d0c392b4ac4cf9450de844e2d
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
Kernel Version: 4.10.0-42-generic
Operating System: Ubuntu 16.04.3 LTS
OSType: linux
Architecture: x86_64
CPUs: 8
Total Memory: 31GiB
Name: Laptop-749
ID: WZVE:HR5Q:3GYH:WNS6:FJCQ:TGHD:UMU5:PPWM:7Z77:QSBV:G2SW:HI77
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 26
 Goroutines: 48
 System Time: 2018-01-08T16:58:47.457072503Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

WARNING: No swap limit support

Docker-Version:

`` `Client:
Version: 17.11.0-ce
API-Version: 1.34
Go-Version: go1.8.3
Git Commit: 1caf76c
Gebaut: Montag, 20. November, 18:37:39 2017
OS / Arch: Linux / AMD64

Server:
Version: 17.11.0-ce
API-Version: 1.34 (Mindestversion 1.12)
Go-Version: go1.8.3
Git Commit: 1caf76c
Gebaut: Montag, 20. November, 18:36:09 Uhr 2017
OS / Arch: Linux / AMD64
Experimentell: falsch



**docker inspect** : 
```[
    {
        "Id": "9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94",
        "Created": "2018-01-08T16:32:30.716158282Z",
        "Path": "/opt/entrypoint.sh",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 477,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-01-08T16:32:31.370353796Z",
            "FinishedAt": "0001-01-01T00:00:00Z",
            "Health": {
                "Status": "healthy",
                "FailingStreak": 0,
                "Log": [
                    {
                        "Start": "2018-01-08T16:40:52.760255527Z",
                        "End": "2018-01-08T16:40:52.814916997Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:12.821209911Z",
                        "End": "2018-01-08T16:41:12.872327217Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:32.879017542Z",
                        "End": "2018-01-08T16:41:32.932394782Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:52.938598813Z",
                        "End": "2018-01-08T16:41:52.993106466Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:42:12.998820005Z",
                        "End": "2018-01-08T16:42:13.056301771Z",
                        "ExitCode": 0,
                        "Output": ""
                    }
                ]
            }
        },
        "Image": "sha256:71843cc0ac81d2a365553dd5b69f6643dab212fd8b45d498c6a92614352ed75f",
        "ResolvConfPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hostname",
        "HostsPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hosts",
        "LogPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94-json.log",
        "Name": "/kegfngsmzx_component_1",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "docker-default",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/dev/null:/tmp/conf/4:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common:/tmp/conf/1:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic:/tmp/conf/0:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component:/tmp/conf/3:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component:/tmp/conf/2:rw"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "kegfngsmzx_default",
            "PortBindings": {
                "1099/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ]
            },
            "RestartPolicy": {
                "Name": "",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": null,
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": null,
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3-init/diff:/var/lib/docker/overlay2/a9c4a86986bf84eff4d3156580e986daed91c7a37d937c5e4f608cd90b78f50a/diff:/var/lib/docker/overlay2/566bb33f0a3140bdb3726e3581bc703557f729010d2fb5b76ba21ac04157e5eb/diff:/var/lib/docker/overlay2/92302187d5633c0e6f3577edf93e2f1fbc133ccfcd11c6ce4a2b0fd06eb33db4/diff:/var/lib/docker/overlay2/3ac16dcca78ec2202d9af5e2e1ca50053612b75247d685c66418516aa7a1f91e/diff:/var/lib/docker/overlay2/3c2bef86bfac98dace20fb5ad4461601d444797454a5561bb543e4478d3aed25/diff:/var/lib/docker/overlay2/82de5471b51e7a55f8d9ff61983b36e9302b2fc7f4ba3fcc6ce5bde9f426ac9b/diff:/var/lib/docker/overlay2/7103da23a70519f91ae53950b6da99797d75104815ff43a1662efc92a933dc45/diff:/var/lib/docker/overlay2/70d522784351b087ee139f429dd041e1966308365e222f9022ab33f1f6da5089/diff:/var/lib/docker/overlay2/05d68822eebc4564c7e4597ee7c3d2bece406703e2e042bdf2ec35061a178f3a/diff:/var/lib/docker/overlay2/cc4fbcefd6fc474463d00d55d708988fc68f6eca5534675992e157743cb04af7/diff:/var/lib/docker/overlay2/50a363caa96c54de6cf17bfa477e384694f0fdf15a81c27cb92b830c0a8782b1/diff:/var/lib/docker/overlay2/ee1dadb2c4a98b37896eeb4e97f0715d97485bd10ef2b70d3b279d7fb93a4b18/diff:/var/lib/docker/overlay2/a66b6a45869ab5484cc04259ee7e11d32526a1fa1c91748f71754b57a87b69d9/diff:/var/lib/docker/overlay2/58472f6337dd2f95a5bda690e630fc6ddf4f661b6e965cfa798c666cde72457a/diff:/var/lib/docker/overlay2/22657f15e2d1411269f3201e63705babaaa7a04275f6c91ca5df4dc167abd93f/diff:/var/lib/docker/overlay2/5483cd1fad2a005e68e2656c5fcee54b8844576743288c06e49f40f6a4381a63/diff:/var/lib/docker/overlay2/ba02a2666cd21a254805404d1757f8ed90e28089e4a924e15a524c1e09265d0a/diff:/var/lib/docker/overlay2/07359ba2f66ba314629b1a6df441a7b96470e5d55ec22b88a48cc7c93b34f515/diff:/var/lib/docker/overlay2/99ecef114a5db24e123e4f5d9a8a01c3a79fa6aaed1af1095669f374a689294d/diff:/var/lib/docker/overlay2/7cfa73084c807c05112368f9c60627622b807b5ad932ace14541994f95209329/diff:/var/lib/docker/overlay2/b8e4cd0ea2811b61210129cc97ef4d10489bcb61b3b1dbe64d5a7af65bc284e2/diff:/var/lib/docker/overlay2/5cb7c00c701b24ca232c773eff803b0ca26a4bb137a5960920f5f3e9c96cfe7b/diff:/var/lib/docker/overlay2/6e722e736fb0acf96c2bbd2b29cd10e79955fe4b5fd8bf862a17ffa241b68a1b/diff:/var/lib/docker/overlay2/160835aace0cb1e2f4b9360934188b99ca9a65c74ee8d100f613275024e9d811/diff:/var/lib/docker/overlay2/5c7ba1cf63c83cda117ef0eca2bfd65d9bd44669e0e80933e351620bce546354/diff:/var/lib/docker/overlay2/c58b587a8318b57dc1f39c2aa2df68fa86295280fc007650a16008d05685b356/diff",
                "MergedDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/merged",
                "UpperDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/diff",
                "WorkDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common",
                "Destination": "/tmp/conf/1",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component",
                "Destination": "/tmp/conf/2",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component",
                "Destination": "/tmp/conf/3",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/dev/null",
                "Destination": "/tmp/conf/4",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic",
                "Destination": "/tmp/conf/0",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "9cdc36c44340",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "1099/tcp": {},
                "7000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LC_ALL=en_US.UTF-8",
                "JDK_RPM=jdk-8u131-linux-x64.rpm",
                "JAVA_HOME=/usr/java/jdk1.8.0_131/",
                "COMPONENT_HOME=/opt/component"
            ],
            "Cmd": [
                "/opt/entrypoint.sh"
            ],
            "Healthcheck": {
                "Test": [
                    "CMD-SHELL",
                    "grep -q \"App Service is ready.\""
                ],
                "Interval": 20000000000,
                "Retries": 30
            },
            "ArgsEscaped": true,
            "Image": "docker.privateimage.com/private:latest",
            "Volumes": {
                "/tmp/conf/0": {},
                "/tmp/conf/1": {},
                "/tmp/conf/2": {},
                "/tmp/conf/3": {},
                "/tmp/conf/4": {}
            },
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "build-date": "20171128",
                "com.docker.compose.config-hash": "51a3c3781142fce6292e53a5a42dd804a41e5c6e81b02b2dab14647d5f3fe774",
                "com.docker.compose.container-number": "1",
                "com.docker.compose.oneoff": "False",
                "com.docker.compose.project": "kegfngsmzx",
                "com.docker.compose.service": "private-component",
                "com.docker.compose.version": "1.17.1",
                "com.super.component": "Super",
                "license": "GPLv2",
                "name": "CentOS Base Image",
                "vendor": "CentOS"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "4a6a1b4492dce570a42cb735915c76fab4c0e92dd712bf81ae323df8eec1d0a3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "1099/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32863"
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32862"
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32861"
                    }
                ]
            },
            "SandboxKey": "/var/run/docker/netns/4a6a1b4492dc",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "kegfngsmzx_default": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": [
                        "component",
                        "9cdc36c44340"
                    ],
                    "NetworkID": "19e6624e9254883228576ad289770611fd066ed7fc1c847eb0dd25899b240d07",
                    "EndpointID": "850780c0914d118382913f0ff287433e88c01a56d3e42fa95ce890c737027b76",
                    "Gateway": "172.18.0.1",
                    "IPAddress": "172.18.0.7",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:12:00:07",
                    "DriverOpts": null
                }
            }
        }
    }
]

Timunas am 8. Jan. 2018

@ Timunas können Sie versuchen, auf 17.12 zu aktualisieren?

thaJeztah am 8. Jan. 2018

Die ursprüngliche Ausgabe war mit 17.12

In Bezug auf das ursprüngliche Problem habe ich es erneut reproduziert und kann es nicht überprüfen. Es hängt nur an allen Befehlen

Timunas am 8. Jan. 2018

👍1

Ich bekomme das gleiche Problem, allerdings ohne Docker-Compose. Ich benutze Docker-Schwarm. Das gleiche aber, ich bekomme gelegentlich Container, die weder Docker-Schwarm noch ich mit der Docker-CLI stoppen können. Dies führt dazu, dass der Docker-Schwarm mehr Replikate als gewünscht sammelt, die nicht verkleinert werden können. Manchmal können diese Replikate weiterhin Anforderungen bearbeiten und Datenverkehr empfangen. Die einzige Möglichkeit, die Container zu entfernen, besteht darin, Docker auf dem betroffenen Knoten neu zu starten.

EliRibble am 8. Jan. 2018

👍16

Ich habe das gleiche Problem mit Docker-Schwarm. Ich entferne einen von mehreren Docker-Stapeln, aber nur einige der Container im Stapel werden entfernt, während einige Container herumhängen. Befehle zu docker inspect oder docker rm in den hängenden Containern hängen einfach in der Befehlszeile, bis ich Strg-C drücke. Sie müssen neu starten, um die Container zu entfernen. Hatte das Problem in 17.09 nicht, erst nach dem Upgrade auf 17.12.0-ce (hatte auch das Problem auf 17.12.0-ce-rc4).

Ich habe das Problem auf einer Azure-VM: docker info

`` `Behälter: 95
Laufen: 83
Angehalten: 0
Gestoppt: 12
Bilder: 579
Serverversion: 17.12.0-ce
Speichertreiber: overlay2
Sichern des Dateisystems: extfs
Unterstützt d_type: true
Native Overlay Diff: true
Protokollierungstreiber: JSON-Datei
Cgroup-Treiber: cgroupfs
Plugins:
Volumen: lokal
Netzwerk: Bridge-Host-Macvlan-Null-Overlay
Protokoll: awslogs fließend gcplogs gelf journald json-file logentries splunk syslog
Schwarm: aktiv
Knoten-ID: hy0kx44q5m9jg0lc1n5ylxkw6
Ist Manager: wahr
ClusterID: ordhsz694y98k3r4604ksc937
Manager: 1
Knoten: 1
Orchestrierung:
Aufbewahrungslimit für den Aufgabenverlauf: 2
Floß:
Schnappschussintervall: 10000
Anzahl der zu speichernden alten Schnappschüsse: 0
Herzschlag-Zecke: 1
Wahlkreuz: 3
Dispatcher:
Herzschlagzeitraum: 5 Sekunden
CA-Konfiguration:
Ablaufdauer: 3 Monate
Drehung erzwingen: 0
Autolock-Manager: falsch
Root Rotation In Progress: false
Knotenadresse: 10.0.0.10
Manageradressen:
10.0.0.10:2377
Laufzeit: runc
Standardlaufzeit: runc
Init Binary: Docker-Init
Containerd-Version: 89623f28b87a6004d4b785663257362d1658a729
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f
Init-Version: 949e6fa
Sicherheitsoptionen:
Apparmor
seccomp
Profil: Standard
Kernel-Version: 4.4.0-104-generic
Betriebssystem: Ubuntu 16.04.3 LTS
OSType: Linux
Architektur: x86_64
CPUs: 8
Gesamtspeicher: 27,47 GB
Name: build-agent-vm001
ID: S7WY: RCKF: G3P7 : TI3H: MJ2F: UXZ3: C5DS: YQG3: OPF4: V4RS: 5EQ7: AWG4
Docker-Stammverzeichnis: / var / lib / docker
Debug-Modus (Client): false
Debug-Modus (Server): false
Registrierung: https://index.docker.io/v1/
Etiketten:
Experimentell: falsch
Unsichere Register:
127.0.0.0/8
Live-Wiederherstellung aktiviert: false

WARNUNG: Keine Unterstützung für Swap-Limits


I also have the same issue on Docker for Mac (Edge: 17.12): `docker info`

```Containers: 110
 Running: 65
 Paused: 0
 Stopped: 45
Images: 607
Server Version: 17.12.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: active
 NodeID: qfzh0tqkchl2m42uhju7k3ml4
 Is Manager: true
 ClusterID: q14zy6epqkpx0w112wusdtd3u
 Managers: 1
 Nodes: 1
 Orchestration:
  Task History Retention Limit: 2
 Raft:
  Snapshot Interval: 10000
  Number of Old Snapshots to Retain: 0
  Heartbeat Tick: 1
  Election Tick: 3
 Dispatcher:
  Heartbeat Period: 5 seconds
 CA Configuration:
  Expiry Duration: 3 months
  Force Rotate: 0
 Autolock Managers: false
 Root Rotation In Progress: false
 Node Address: 192.168.65.3
 Manager Addresses:
  192.168.65.3:2377
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.60-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 5.817GiB
Name: linuxkit-025000000001
ID: DSXX:YVTO:DLFW:MN3X:MTJC:3EGK:MUYT:6JMN:C2NC:TQMW:BE44:3P6H
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 260
 Goroutines: 491
 System Time: 2018-01-09T00:13:09.053688513Z
 EventsListeners: 28
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3128
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

hallvar am 9. Jan. 2018

👍6

Bei einigen Befehlen tritt auch ein nicht reagierendes Docker-Deamon auf:

Derzeit kann ich nicht

docker rmi
docker system prune -f
docker exec
docker logs

Dies geschieht bei mehreren Motoren, die alle am 17.12.

scheint mit https://github.com/moby/moby/issues/35408 verwandt zu sein

mborejdo am 11. Jan. 2018

👍2

Ich habe den gleichen Fehler. Es ist jedoch nicht konsistent. Ich sehe noch kein Muster, aber es passiert.

Ich verwende Docker für Mac Version 17.12.0-ce-mac46 (21698). Ich verwende Docker nicht in Docker.

Der Container wird von docker-compose up .

Ja, ich kann sehen, dass der Container noch läuft, aber stop oder kill hängt nur und tut nichts.

10:13:13 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS                    PORTS                                                    NAMES
f0e36d3589d3        docksal/cli:1.3-php7      "/opt/startup.sh sup…"   44 hours ago        Up 28 minutes (healthy)   22/tcp, 9000/tcp                                         sbdmaster_cli_1
b93c84c9a3a3        docksal/ssh-agent:1.0     "/run.sh ssh-agent"      44 hours ago        Up 29 minutes                                                                      docksal-ssh-agent
91ce00eb35fa        docksal/dns:1.0           "/opt/entrypoint.sh …"   44 hours ago        Up 29 minutes             192.168.64.100:53->53/udp                                docksal-dns
ae867cca0f21        docksal/vhost-proxy:1.1   "docker-entrypoint.s…"   44 hours ago        Up 29 minutes             192.168.64.100:80->80/tcp, 192.168.64.100:443->443/tcp   docksal-vhost-proxy
10:13:17 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker stop f0e36d3589d3
^C
10:16:03 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker kill f0e36d3589d3
^C
10:30:51 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER

(Sie können sehen, dass Minuten vergangen sind, bevor ich Strg-C gedrückt habe)

In einem anderen Terminal habe ich versucht, ein anderes Docker-Compose-Projekt zu starten. Das habe ich in der Ausgabe zum ersten Mal gesehen:

$ docker-compose up
rm: can't remove '/.ssh/id_rsa.pub': Stale file handle
rm: can't remove '/.ssh/authorized_keys': Stale file handle
rm: can't remove '/.ssh/id_rsa2.pub': Stale file handle
rm: can't remove '/.ssh/known_hosts': Stale file handle
rm: can't remove '/.ssh/id_test': Stale file handle
rm: can't remove '/.ssh/id_test.pub': Stale file handle
rm: can't remove '/.ssh/id_rsa2': Stale file handle
rm: can't remove '/.ssh/id_dsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker': Stale file handle
rm: can't remove '/.ssh/id_sbd.pub': Stale file handle
rm: can't remove '/.ssh/id_sbd': Stale file handle
rm: can't remove '/.ssh/id_rsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker.pub': Stale file handle
rm: can't remove '/.ssh': Directory not empty
Starting services...
Creating network "demonodb_default" with the default driver
Creating demonodb_cli_1 ... done
Creating demonodb_cli_1 ... 
Creating demonodb_web_1 ... done

Ein anderes Projekt hat gut begonnen, aber mit diesen Fehlern bezüglich veralteter Dateinamen oben. Nachfolgende Stopps und Starts eines anderen Projekts haben keine Fehler ausgelöst und funktionierten einwandfrei.

Diese Dateien befinden sich auf einem benannten Volume. Das Volume wird in Docker-Compose als ro gemountet, daher bin ich mir nicht sicher, warum es Nachrichten gibt, die nicht entfernt werden können.

Durch einen Neustart des Docker-Daemons wird das Problem vorübergehend behoben. Ich habe vergessen, docker inspect und habe den Daemon bereits neu gestartet, aber ich denke, inspect würde einfach hängen wie stop und kill .

UPDATE: wollte beachten, dass der Container mit Problemen einen Healthcheck enthält. Sieht so aus, als wäre dies der Schuldige.

achekulaev am 11. Jan. 2018

👍2

Ich bekomme das gleiche Problem. Kann es jedes Mal in verschiedenen Umgebungen reproduzieren:
Docker für Mac Version 17.12.0-ce-mac46 (hängt nach dem Update)
Wenn Sie Docker nativ unter Arch Linux (Kernel 4.14.14-1-ARCH) verwenden, kann der Docker-Dienst nicht mit systemctl restart docker.service neu gestartet werden. Er hängt auch. docker info

Client:
 Version:       18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:       linux/amd64
 Experimental:  false
 Orchestrator:  swarm
Server:
 Engine:
  Version:      18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:        Sun Jan 14 23:11:14 2018
  OS/Arch:      linux/amd64
  Experimental: false

journalctl zeigt

dockerd[26382]: time="2018-01-25T12:39:22.289082720+03:00" level=error msg="stream copy error: reading from a closed fifo"

crossdot am 25. Jan. 2018

Siehe auch am 18.01. Behälterinspektion aufhängen.

Client:
 Version:   18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:    Sun Jan 14 23:11:14 2018
  OS/Arch:  linux/amd64
  Experimental: false

compose.cli.command.get_client: Docker version: Platform={'Name': ''}, Components=[{'Name': 'Engine', 'Version': '18.01.0-ce', 'Details': {'ApiVersion': '1.35', 'Arch': 'amd64', 'BuildTime': '2018-01-14T23:11:14.000000000+00:00', 'Experimental': 'false', 'GitCommit': '03596f51b1', 'GoVersion': 'go1.9.2', 'KernelVersion': '4.14.15-1-ARCH', 'MinAPIVersion': '1.12', 'Os': 'linux'}}], Version=18.01.0-ce, ApiVersion=1.35, MinAPIVersion=1.12, GitCommit=03596f51b1, GoVersion=go1.9.2, Os=linux, Arch=amd64, KernelVersion=4.14.15-1-ARCH, BuildTime=2018-01-14T23:11:14.000000000+00:00
compose.cli.verbose_proxy.proxy_callable: docker containers <- (all=False, filters={'label': ['com.docker.compose.project=discord']})
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.24/containers/json?limit=-1&all=0&size=0&trunc_cmd=0&filters=%7B%22label%22%3A+%5B%22com.docker.compose.project%3Ddiscord%22%5D%7D HTTP/1.1" 200 1762
compose.cli.verbose_proxy.proxy_callable: docker containers -> (list with 1 items)
compose.cli.verbose_proxy.proxy_callable: docker inspect_container <- ('59760b63049318f7b0bef2605e63d0fd8b13f4e134a7aea435db9eb1bdf2b389')

enkoder am 25. Jan. 2018

Wir haben die Verwendung von 17.12 vollständig eingestellt und aufgrund dieses Problems auf 17.12 (MacOS und anscheinend auch Linux) auf 17.09 zurückgesetzt.

Dies ist ein kritisches, anhaltendes Problem.

Und leider habe ich keinen Weg gefunden, es neu zu erstellen, außer viel Docker zu verwenden.

rfay am 30. Jan. 2018

👍6

Ich habe das gleiche Problem auf mehreren Servern mit 17.12. Wie @rfay sagte, ist es am 17.09 nicht passiert.

Bei der Überprüfung des Änderungsprotokolls besteht ein wesentlicher Unterschied zwischen 17.12 und 17.09 darin, dass Docker seit 17.11 auf Containerd basiert. Da die Beweise darauf hindeuten, dass dies ein Problem in der Laufzeit ist, wäre es vielleicht gut, diesen Weg zu untersuchen.

ay0o am 30. Jan. 2018

👍5

Ja, das gleiche hier. Ich halte mich an 17.09 und empfehle jedem, docker-compose oder Schwarm zu verwenden, um daran festzuhalten, bis das Problem behoben ist.

achekulaev am 30. Jan. 2018

Wenn Sie einen Stacktrace vom laufenden Daemon abrufen können, wäre dies sehr hilfreich.
Sie können dies erreichen, indem Sie GET /debug/pprof/goroutine?debug=2

Ich vermute jedoch, dass dies der jüngste Fehler ist, der in runc gefunden wurde und ein Rennen im Umgang mit der Container-E / A ist ... das es anscheinend seit Ewigkeiten gibt.
Wenn ja, vermuten wir, dass dies durch Änderungen im Kernel aufgedeckt wird und jeder seinen Kernel kürzlich für Spectre / Meltdown-Patches aktualisiert.

cpuguy83 am 30. Jan. 2018

Hier finden Sie den entsprechenden Runc-Patch, den Sie ausprobieren können, wenn Sie nicht auf eine gepatchte Docker-Version warten möchten: https://github.com/opencontainers/runc/pull/1698

cpuguy83 am 30. Jan. 2018

@ cpuguy83

You can get this by hitting GET /debug/pprof/goroutine?debug=2

Bitte geben Sie Befehle ein. Ich verstehe nicht, wie man eine relative URL "trifft" und womit es relativ ist. Ich benutze Docker für Mac. Was soll ich schlagen?

achekulaev am 30. Jan. 2018

@achekulaev
Angenommen, Docker überwacht einen Unix-Socket unter /var/run/docker.sock (Standardeinstellung):

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

oder ein TCP-Socket

curl http://<ip>:<port>/debug/pprof/goroutine?debug=2

cpuguy83 am 30. Jan. 2018

Die folgende Datei ist die Ausgabe dieses Befehls, der in einer AWS Ubuntu 16.04-Instanz mit Docker Version 17.12.0-ce, Build c97c6d6, ausgeführt wurde

moby 35933.txt

ay0o am 30. Jan. 2018

@ ay0o Danke!
Ist gerade etwas im System blockiert?
Ich sehe keine laufenden Stopps / Kills, sieht leider nur aus wie ein Haufen laufender Container.

cpuguy83 am 30. Jan. 2018

Ich habe die Protokolle auf einem MacBook Pro mit macOS High Sierra 10.13.3 und Docker 18.01.0-ce-mac48, Kanal: Edge ee2282129d erstellt.

docker_output.log

AlterEgo7 am 30. Jan. 2018

@ AlterEgo7 Danke! Dies sieht so aus, als ob Docker in einem Systemaufruf blockiert ist, um auf die Festplatte zu schreiben und sogar mindestens an einer Stelle von der Festplatte zu lesen. Anscheinend stimmt etwas nicht mit der Festplatte, die dieser Docker-VM in docker4mac zugewiesen ist.

cpuguy83 am 30. Jan. 2018

Eine Reihe von I / O-gebundenen Systemaufrufen wurde tatsächlich für ~ 1 Minute blockiert.

cpuguy83 am 30. Jan. 2018

@ cpuguy83 , das auf ein Docker-Compose-Timeout von 60 Sekunden zurückzuführen wäre. Gibt es bestimmte Einstellungen für die VM, mit denen ich experimentieren kann? Wie oben von anderen Benutzern erwähnt, begann dieses Verhalten jedoch mit dem 17.12-Update.

AlterEgo7 am 30. Jan. 2018

Ich habe dieses Problem auch sehr häufig. Am 17.12 scheint es hauptsächlich auf Containern mit gebundenen Volumes zu erscheinen. In unserem Fall sind diese Volumes NFS-Freigaben auf dem Host.

mborejdo am 30. Jan. 2018

@ cpuguy83 @mborejdo Wenn es einen Unterschied macht, verwenden ~ 10 Container, die auf meinem Computer ausgeführt werden, Docker-Sync-Unison-Volumes.

AlterEgo7 am 30. Jan. 2018

Es hilft. Vielleicht ist das Docker-Sync-Tool nach 17.12 defekt?
Dies würde definitiv blockierte Schreibvorgänge erklären, da nfs nicht sehr freundlich zu getrennten Backends ist.

cpuguy83 am 30. Jan. 2018

Gleiches gilt, wenn dieselbe Gruppe von Containern ausgeführt wird, ohne dass Volumes oder Docker-Sync-Container ausgeführt werden. Das pprof-Protokoll ist beigefügt.

docker_output_no_volumes.log

AlterEgo7 am 30. Jan. 2018

@ cpuguy83 , ich sehe auch dieses Problem mit Docker 17.12 mit Swarm - ich habe einen 3-Knoten-Cluster mit 6 Docker-Stacks und ungefähr 30 Diensten. Docker Swarm RM für jeden Stapel funktioniert und bereinigt ungefähr 90% der Container, aber selbst nach 5 Minuten zeigt docker ps -a immer noch ungefähr 10 Container im verlassenen Zustand an - ich kann damit umgehen, wenn dies das einzige Problem wäre, weil ich hinzugefügt habe Ein Schritt am Ende, um docker system prune -f auf jedem Knoten aufzurufen. Leider habe ich in etwa 25% der Fälle noch Container, die nach dem Befehl stack rm ausgeführt werden (ich habe in einigen Fällen mehr als 10 Minuten gewartet), sodass eine Docker-Systembereinigung nicht funktioniert - und wenn ich das sehe Wie andere beschrieben haben, hängen die meisten Docker-Befehle auf diesem Knoten. Ich muss ein kill -15 für die fehlerhafte PID ausführen, um die Kontrolle zurückzugewinnen

Wie Sie vorgeschlagen haben, habe ich https://github.com/opencontainers/runc/pull/1698 ausprobiert, aber immer noch kein Glück. Bevor wir sagen, dass https://github.com/opencontainers/runc/pull/1698 nicht funktioniert hat, können Sie überprüfen, ob ich es richtig gepatcht habe? Ich erstelle manuell Docker-ce / engine-Bits (Zweig 17.12), um runc zu aktualisieren, um es festzuschreiben: 9f9c96235cc97674e935002fc3d78361b696a69e, und überschreibe dann / usr / bin / runc mit der neu erstellten Binärdatei. Ich habe dies auf jedem Knoten im Cluster getan, Docker neu gestartet und docker info | grep runc und gesehen:

Default Runtime: runc
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

Sollte ich versuchen, alle Docker-Binärdateien zu ersetzen?

Ich habe auch meinen Stacktrace angehängt ( curl --unix-socket /var/run/docker.sock http://localhost/debug/pprof/goroutine?debug=2 ).
goroutine_debug.log

foleymic am 30. Jan. 2018

@foleymic Das Problem, das Sie sehen, scheint dem Runc-Problem zu ähneln.
Das Ersetzen von Dockerd ist nicht erforderlich, sondern das Ersetzen der Binärdatei docker-runc .

Beachten Sie, dass Sie zu Testzwecken den gepatchten Runc an einem benutzerdefinierten Speicherort installieren und Docker anweisen können, diesen als Standardlaufzeit (oder pro Container) zu verwenden.
Um dies zu tun, erstellen Sie einfach runc mit dem obigen Commit, platzieren Sie es irgendwo wie /usr/local/bin/patched-runc und starten Sie Docker dann mit --add-runtime myrunc=/usr/local/bin/patched-runc --default-runtime=myrunc (diese können auch in /etc/docker/daemon.json ).

cpuguy83 am 30. Jan. 2018

@ cpuguy83 - danke für die schnelle Antwort. Ich habe im Grunde nur ersetzen Runc, aber durch den kompletten Docker-ce - Motor aus dem 17.12 Zweig zu bauen und dann die RUNC_COMMIT ändert in Binaries-Commits und vendor.conf b2567b37d7b75eb4cf325b77297b140ea686ce8f. Wie auch immer, ich denke, was Sie beschreiben, klingt viel besser. Lassen Sie mich also versuchen, einfach runc zu erstellen, es zu ersetzen und meinen Test zu wiederholen. Danke noch einmal!

foleymic am 30. Jan. 2018

@foleymic Super . Vielleicht wäre die Ausgabe von docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines auch umsichtig.

cpuguy83 am 30. Jan. 2018

@ AlterEgo7 Dein Stack-Trace ist ziemlich fehlerhaft ... interessant ...
Es gibt eine Reihe von Goroutinen (grüne Threads), die sich im "ausführbaren" Zustand befinden ... was bedeutet, dass sie darauf warten, dass ein echter Betriebssystem-Thread sie tatsächlich ausführt.

Können Sie eine Prozessliste vom Host erhalten? docker run --pid=host busybox ps aux sollte reichen.

cpuguy83 am 30. Jan. 2018

@ cpuguy83 - Ich habe das eigenständige Runc neu erstellt (Commit 9f9c96235cc97674e935002fc3d78361b696a69e ausgecheckt ) und es wie von Ihnen vorgeschlagen bereitgestellt (Ausschnitt aus daemon.json unten) und das Problem reproduziert. Wie gewünscht habe ich die Ausgabe von docker-containerd-debug.sock goroutines angehängt

Ich freue mich über Ihre Hilfe. Lassen Sie mich wissen, wenn ich noch etwas tun oder versuchen muss.

Docker-Containerd-Debug.log

cat /etc/docker/daemon.json
{
    "default-runtime":"patchedrunc",
    "runtimes": {
        "patchedrunc": {
             "path": "/usr/local/bin/patched-runc"
        }
    },
    ....

Docker-Info

docker info | grep runc
Runtimes: patchedrunc runc
Default Runtime: patchedrunc
WARNING: bridge-nf-call-ip6tables is disabled
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

foleymic am 30. Jan. 2018

Bei mehreren Personen in meinem Entwicklerteam hängen Docker-Befehle unter MacOS 10.13 und Docker For Mac 17.12. Es ist mir passiert, als ich versucht habe, Container zu stoppen / zu töten, aber auch bei anderen Befehlen wie docker inspect

Anbei die Ausgabe von curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2
docker-debug.log

Ich nahm es, während ich auf ein docker-compose ps wartete, das> 30 Sekunden lang aufgehängt war. Interessanterweise hat docker ps während dieses Hang gut funktioniert, aber ein docker inspect auf einem der von docker ps Container hängt genau wie die docker-compose ps .

Wir verwenden keine Docker-Synchronisierung, aber wir verwenden Volume-Mounts über das OSXFS-Dateisystem von Docker für Mac.
Lassen Sie mich wissen, ob ich noch etwas tun kann, um Nachforschungen anzustellen.

itaylor am 31. Jan. 2018

@ cpuguy83 Entschuldigung, ich habe verstanden, dass Sie das Protokoll nur wollten, unabhängig davon, ob es im Moment fehlgeschlagen ist oder nicht.

Die Komposition, die ich gerade benutze, hat 36 Container. Ich habe versucht, das Problem zu reproduzieren, indem ich einfach Docker-Compose Up und Docker-Compose Down ausgeführt habe. Das erste Mal war großartig, aber das zweite Mal blieben 3 Container "oben" und alle anderen blieben "verlassen". Hier ist die Ausgabe des Protokolls:

docker_debug.txt

Dies ist der von Docker-Compose Down gemeldete Fehler:

ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information. If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value (current value: 60).

Eine Sache, die mir aufgefallen ist, ist, dass es nur ein Container zu sein scheint, der die anderen blockiert. Insbesondere in diesem Fall waren die 3 Container, die nicht gestoppt wurden, postgres, etcd und ein Helfer zum Konfigurieren des etcd. Es sieht jedoch so aus, als ob die Postgres die anderen blockieren. Zum Beispiel kann ich docker inspect etcd ausführen und es funktioniert, aber docker inspect postgres schlägt mit Timeout fehl.

Beachten Sie, dass dies nur ein Beispiel für diesen speziellen Fall ist. Ich sage nicht, dass es immer Postgres ist, der die Schuld trägt. Vielleicht ist es das nächste Mal Redis oder Rabbitmq.

Es passiert auch mit Schwarm.

ay0o am 31. Jan. 2018

👍1

Ich habe auch das gleiche Problem.
In der Firma, für die ich arbeite, haben wir einen Docker-Host mit vielen Containern, auf denen Java-Umgebungen für die Entwicklung ausgeführt werden, und von Zeit zu Zeit kann ich unter anderem keine Bilder oder Container entfernen, keine Bilder oder Container untersuchen.

Ich bekomme viele Nachrichten in journalctl wie:
Jan 31 11:31:51 DOCKER-DEV dockerd[1882]: time="2018-01-31T11:31:51.598987401Z" level=warning msg="unknown container" container=540456eed4104723a0d4e9d4628d436ec381f978738f83dda16f22430cc60094 module=libcontainerd namespace=plugins.moby

Ich verwende 17.12 CE in Ubuntu 16.04.3 LTS.

Vielen Dank für Ihre Zeit und Hilfe.

luisnabais am 31. Jan. 2018

@luisnabais Das Problem mit Unknown container wird hier behandelt: https://github.com/moby/moby/issues/35891

sorenhansendk am 31. Jan. 2018

@sorenhansendk danke, das wusste ich schon, ich

luisnabais am 31. Jan. 2018

Update - Ich habe einen neuen Cluster mit 3 Knoten (dieselbe VM-Vorlage) eingerichtet und RC 1 von Docker-18.02.0-ce (https://download.docker.com/linux/static/test/x86_64/docker) manuell installiert -18.02.0-ce-rc1.tgz) und konnten das Problem nicht reproduzieren. Außerdem wird dank # 35891 die Meldung Unknown container nicht mehr in meinen Protokollen angezeigt, und alle meine undefinierten Volumes werden ebenfalls entfernt. Ich werde einige Tests tun , die binäre (n) , um zu versuchen und zu isolieren , das Update hat.

foleymic am 31. Jan. 2018

👍1

Zumindest für mich ist das Problem zeitweise.

richardjq am 31. Jan. 2018

Auf welcher Version @richardjq?
Es ist in allen Docker-Versionen vorhanden, da das Problem in runc https://github.com/opencontainers/runc/pull/1698 auftritt

sorenhansendk am 31. Jan. 2018

12.17.0-this

richardjq am 31. Jan. 2018

Ich habe auch das gleiche Problem mit dem Hängen nach dem Update auf den neuesten Docker (Mac OS). Hier ist meine Debug-Ausgabe, wenn sie hilft: https://gist.github.com/carlisia/780b008dd5ac0339522f8fbddd97d066

carlisia am 1. Feb. 2018

Vielen Dank an alle, sehr hilfreich.

@ carlisia Ist diese Kante oder stabil? (oder vielleicht wäre nur die Version im About-Bildschirm besser, nur weil die Version verrückt ist).

cpuguy83 am 1. Feb. 2018

@ cpuguy83 stabil. Ich habe gerade die Update-Option über die Benutzeroberfläche ausgeführt.

carlisia am 1. Feb. 2018

Ich bin mir nicht sicher, ob dies hilft oder nicht, aber ich bemerkte etwas Seltsames, von dem ich dachte, ich würde es zu diesem Gespräch hinzufügen. Das Problem ist gerade wieder aufgetreten (mit Stock Docker 17.12.0-ce) und so habe ich mir die Daemon-Protokolle auf dem Knoten angesehen, auf dem der Stack / Service entfernt wurde, aber der Container blieb im Status healthy . docker ps zeigt diese Container-ID als 8c5381ca6248 . Ich habe in den Daemon-Protokollen nach dieser ID gesucht und sehe, dass sie mit pid=94570 gestartet wurde, aber nachdem ich die stack rm aufgerufen habe Ignoring Exit Event, no such exec command found für diese Container-ID, aber jede dieser drei Protokollnachrichten hat unterschiedliche PIDs und keine von ihnen entspricht pid=94570 . Ich habe auch bestätigt, dass PID 94570 die richtige PID ist (lief ps ax | grep 8c5381ca6248 ).

Irgendeine Idee, warum Schwarm die falsche PID haben würde?

Hier ist ein Ausschnitt aus den Daemon-Protokollen:

$ journalctl | grep 8c538
Feb 01 12:03:12 xxx dockerd[38879]: time="2018-02-01T12:03:12-05:00" level=info msg="shim docker-containerd-shim started" address="/containerd-shim/moby/8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0/shim.sock" debug=false module="containerd/tasks" pid=94570
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.823039243-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.879628386-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.143264783-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.285288560-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:14 xxx dockerd[38879]: time="2018-02-01T12:04:14.685324737-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:24 xxx dockerd[38879]: time="2018-02-01T12:04:24.310513628-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:34 xxx dockerd[38879]: time="2018-02-01T12:04:34.520599061-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:44 xxx dockerd[38879]: time="2018-02-01T12:04:44.332650759-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:54 xxx dockerd[38879]: time="2018-02-01T12:04:54.666961688-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:04 xxx dockerd[38879]: time="2018-02-01T12:05:04.348300333-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:05:14 xxx dockerd[38879]: time="2018-02-01T12:05:14.633386506-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813814668-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813896784-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=9669e0bea74dbd90d56f61c3b8070fc043f6254d5b5b089d1562fdbfb154aa2b exec-pid=106625
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845301695-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845372559-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=b637507387bcce7dcf3f270d48eaf75d4d5deccd00506d0ed656c78833ad8cda exec-pid=104564
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.877888876-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952730879-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952805518-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=2e5df9c74b29ca12fa9df0e14f095cf8524629564245107c4d8f0fb9d82adf9e exec-pid=103807

foleymic am 1. Feb. 2018

Es tut mir leid, dass ich diesen Thread weiter ausgebaut habe, aber ich habe experimentiert. Was auch immer das Problem ist, es sieht so aus, als ob es im Docker-Daemon ( Dockerd ) irgendwann zwischen 18.01.0-ce und 18.02.0-ce-rc1 behoben wurde . Nachdem ich die neueste Version vom Testkanal installiert hatte und das Problem nicht reproduzieren konnte, begann ich zu experimentieren. Zurück zum stabilen Kanal, 17.12.0 , habe ich Dockerd nur durch die in den Testkanälen verteilten Binärdateien 18.01 , 18.02-rc1 und 18.02-rc2 . Ausführen mehrerer Tests mit jeder Version.

dockerd 17.12.0-ce FEHLGESCHLAGEN
dockerd 18.01.0-ce FEHLGESCHLAGEN
dockerd 18.02.0-ce-rc1 ERFOLG

Um ganz klar zu sein, wenn ich FAILED sage, spreche ich über das Problem, bei dem Container, die von einem docker stack deploy , nach dem Ausführen eines docker stack rm im Status Up bleiben. Selbst in 18.02.0-ce-rc2 gibt es immer noch ein Problem, bei dem docker stack rm die Container stoppt, aber nicht entfernt (Container bleiben im Status " Beendet ") - nicht ideal, aber ich kann damit leben, indem ich sie docker stack rm auf jedem Stapel abgeschlossen wurde (beachten Sie, dass ich 30 Sekunden warte, bevor ich die Beschneidung ausstelle, damit der Schwarm etwas Zeit hat, um die Reinigung abzuschließen, bevor ich übernehme).

Die gute Nachricht ist also, dass es in der nächsten Version behoben ist, aber ich möchte meinen Teams nicht wirklich einen RC zur Verfügung stellen. Ich werde die Commits zwischen 18.01 und 18.02-rc1 durchsuchen, um festzustellen, ob ich das Update finden kann. @ cpuguy83 und @thaJeztah , alle Ideen, die mir in den Sinn kommen. Gibt es etwas, das ich ausprobieren oder protokollieren soll? Wenn Sie mir helfen können, ein mögliches Commit zu finden, kann ich es in meiner Gabel testen.

Ein Wort der Vorsicht, das Durchlaufen dieser Tests braucht Zeit und das Problem ist nicht durchgehend reproduzierbar. Obwohl ich es mit 18.02 (RC 1 oder 2) nicht gesehen habe, kann ich nicht 100% sicher sein, dass dies nicht der Fall ist Irgendwann auftauchen - Ich werde weiter mit RC1 testen und diesen Thread aktualisieren, wenn ich das Auftreten dieses Problems sehe, aber mit 17.12 - 18.01 habe ich dieses Problem in etwa 50% der Fälle gesehen, also bin ich es ziemlich sicher, dass es in 18.02 behoben ist.

foleymic am 1. Feb. 2018

Ich stimme dir zu @foleymic! Ich habe meine Testumgebungen auf die neueste Version von Docker (dem Release Candidate) aktualisiert und sehe auch sehr gute Ergebnisse mit dem Fehler beim Stoppen / Töten von Containern. Ich denke, die aktualisierte Version von runc hat das Problem gelöst 👍

sorenhansendk am 2. Feb. 2018

Danke für den Bericht. Ich denke, dass dies mit einer Kombination aus Containerd 1.0.1 und dem gepatchten Runc vollständig behoben ist.

cpuguy83 am 2. Feb. 2018

@sorenhansendk - froh, dass Sie auch positive Ergebnisse sehen. @ cpuguy83 dachte auch, es sei die runc Korrektur im Zusammenhang mit Spectre / Meltdown, aber das war definitiv nicht die Korrektur für mich. Ich laufe derzeit mit allem, einschließlich runc am 17.12.0 und habe nur dockerd am 18.02.0-rc1 .
Wenn ich dagegen nur runc upgraden würde, würde ich das Problem sehen (ich habe versucht, runc manuell nur mit https://github.com/opencontainers/runc/pull/1698 zu erstellen und die Version aus dem Test zu nehmen und Randverteilungen).

foleymic am 2. Feb. 2018

@ cpuguy83 - Ich 17.12.0

Docker-Info:

...
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729 (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f (expected: 9f9c96235cc97674e935002fc3d78361b696a69e)
...

foleymic am 2. Feb. 2018

Ja, 18.02 wird mit dem neueren Containerd geliefert.
Wir arbeiten an einer neuen Patch-Version für 17.12.

cpuguy83 am 2. Feb. 2018

Dockerd enthält also Containerd? Ich dachte, es wäre eine separate Binärdatei - Docker-Containerd. Wie auch immer, ich bin froh zu hören, dass Sie an einem Patch für 17.12 arbeiten - das sind großartige Neuigkeiten. Nochmals vielen Dank für Ihre Hilfe.

foleymic am 2. Feb. 2018

Oh, Sie haben also buchstäblich nur die Dockerd-Binärdatei aktualisiert. Ah, ok. Ich muss noch einmal überprüfen, welche Patches hier beteiligt sein könnten, und sicherstellen, dass sie es bis zur Version 17.12 schaffen.

cpuguy83 am 2. Feb. 2018

:) - Ich laufe gerade franken-docker! Alles ist 17.12.0, außer Dockerd, das 18.02-rc1 ist

foleymic am 2. Feb. 2018

Zu Ihrer Information, ich denke, die Lösung liegt in PR # 35748

foleymic am 2. Feb. 2018

Ich kann das Problem mit Version 18.02.0-ce-rc2-mac51 (22446) immer noch reproduzieren.

linuxkit-025000000001:/# /usr/bin/containerd --version
containerd github.com/containerd/containerd v1.0.1 9b55aab90508bd389d7654c4baf173a981477d55

docker info

containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e

ximarx am 5. Feb. 2018

@ximarx Danke für den Bericht! Können Sie Stack-Dumps von Docker und Containerd erhalten?
Mit Docker können Sie tun

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

Für Containerd auf Mac ist es etwas kniffliger ...

 docker run -it --rm -v /:/host alpine /host/usr/local/bin/docker-containerd-ctr pprof --debug-socket /host/run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 am 5. Feb. 2018

@ximarx - Wenn Sie sagen, dass das Problem immer noch besteht, sprechen Sie von dem, bei dem Container verbleiben, aber im verlassenen Zustand sind, oder sehen Sie sie immer noch im laufenden Zustand? Ich habe nur bemerkt, dass mit 18.02 immer noch Container übrig sind, aber keiner im laufenden Zustand ist, sodass ich mit dem Ausführen von Prune nach Docker Stack rm auskommen kann. Nicht ideal, aber zumindest kann ich einen sauberen Zustand erreichen, nachdem ich alles heruntergefahren habe. Vor dem 18.02 musste ich Prozesse manuell beenden, um die Container zu entfernen, die noch ausgeführt wurden, aber nicht mehr dem Stapel zugeordnet waren.

Übrigens habe ich PR # 35748 auf meinem 12.17 in meiner Gabel zusammengeführt und gebaut - ich habe das Problem seit dem Anwenden dieses Builds nicht mehr gesehen.

foleymic am 5. Feb. 2018

Können Sie Stack-Dumps von Docker und Containerd erhalten?

@ cpuguy83 : Leider habe ich Docker neu gestartet. Ich werde einen Stapelspeicherauszug erhalten, sobald ich das Problem erneut reproduziere.

Wenn Sie sagen, dass das Problem immer noch besteht, sprechen Sie über das Problem, bei dem Container verbleiben, sich jedoch im verlassenen Zustand befinden, oder sehen Sie sie immer noch im laufenden Zustand?

@foleymic Container bleibt im laufenden Zustand, aber der Docker docker-compose ps und docker stop ).

ximarx am 5. Feb. 2018

@ximarx - danke, dass Sie dies bestätigt haben. Ich habe in mehreren

foleymic am 7. Feb. 2018

Ist dieses Problem bereits behoben?
Wenn ja, in welcher Version wird es veröffentlicht?

stmaute am 9. Feb. 2018

Ich glaube, ein Fix wurde mit 18.02 gelandet, aber ich warte auf ihre Bestätigung

Timunas am 9. Feb. 2018

Die "stabile" Version von Kanal 17.12.0 hat immer noch diesen Fehler. Wenn dies behoben ist, kann diese PR auf eine Patch-Version 17.12.1 zurückportiert werden? Der stabile Kanal ist ziemlich instabil, wenn die Leute bis zum 17.09 zurückkehren oder auf eine Edge-Version zurückgreifen müssen.

instantlinux am 12. Feb. 2018

👍15

+1 für eine Patch-Version 17.12.1

stmaute am 12. Feb. 2018

👍4

Es wird daran gearbeitet. Vielen Dank!

cpuguy83 am 12. Feb. 2018

❤10 👍2

Es tut mir leid, diesen Thread aufzuwärmen - es sieht so aus, als ob das Update kommt;) - aber ich habe eine kurze Frage:
Wir sehen genau das gleiche Problem in Docker-Ce-17.12, seit wir HEALTHCHECKs zu unseren Docker-Dateien hinzugefügt haben. Die Container ohne HEALTCHECK, die in ihren Docker-Dateien angegeben sind, hören einwandfrei auf.
Könnte dies mit den GESUNDHEITSPRÜFUNGEN zusammenhängen oder ist dies nur ein Zufall?

Prost
Phil

PhilPhonic am 16. Feb. 2018

👍8

@PhilPhonic ja, kann durch Healthchecks ausgelöst werden

thaJeztah am 16. Feb. 2018

👍1

Behebt https://github.com/moby/moby/pull/36097 (zur gestrigen Version hinzugefügt) dieses Problem?

ay0o am 28. Feb. 2018

👍1

Ich komme aus Ausgabe Nr. 34213 und bin mir nicht ganz sicher, ob das Problem dasselbe ist, aber ich wurde hierher geleitet.

Für uns bleibt der Docker-Container nach diesen Korrekturen immer noch hängen und führt die Ausführung nie aus, aber bei dieser Gelegenheit konnte ich ihn stoppen, ohne den Docker-Daemon neu zu starten.

Docker-Version

Client:
 Version:   17.12.1-ce
 API version:   1.35
 Go version:    go1.9.4
 Git commit:    7390fc6
 Built: Tue Feb 27 22:17:56 2018
 OS/Arch:   linux/amd64

Server:
 Engine:
  Version:  17.12.1-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   7390fc6
  Built:    Tue Feb 27 22:16:28 2018
  OS/Arch:  linux/amd64
  Experimental: false

Docker-Info

Containers: 1
 Running: 1
 Paused: 0
 Stopped: 0
Images: 1
Server Version: 17.12.1-ce
Storage Driver: overlay2
 Backing Filesystem: tmpfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
Kernel Version: 4.4.0-64-generic
Operating System: Ubuntu 14.04 LTS
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 19.8GiB
Name: vm64-3
ID: OHED:ZYGD:4ZNG:QWGC:7VQ5:2KVU:YXP3:CKCR:AMV5:FVFF:PMJ6:ICXM
Docker Root Dir: /tmp/ramdisk/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 27
 Goroutines: 47
 System Time: 2018-03-01T07:57:09.565797691Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

Docker inspizieren die Vorabversion (der Container, der festsitzt)

[
    {
        "Id": "34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a",
        "Created": "2018-02-28T19:22:54.823764324Z",
        "Path": "bash",
        "Args": [
            "-c",
            "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 6495,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-02-28T19:22:55.675976607Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:fa0591be5fc0613715fb2605264ff61967811262bdbc93d262faca23df1bf2fe",
        "ResolvConfPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/resolv.conf",
        "HostnamePath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hostname",
        "HostsPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hosts",
        "LogPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a-json.log",
        "Name": "/prerelease",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "unconfined",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts:/release_scripts",
                "/tmp/prerelease_out:/tmp/prerelease_out",
                "/home/hudson/pbuilder_ccache:/tmp/pbuilder_ccache",
                "/tmp/.X11-unix:/tmp/.X11-unix:rw",
                "/home/hudson/exchange:/home/user/exchange"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "host",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": true,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": [
                "label=disable"
            ],
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [
                {
                    "PathOnHost": "/dev/snd",
                    "PathInContainer": "/dev/snd",
                    "CgroupPermissions": "rwm"
                }
            ],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": [
                {
                    "Name": "nofile",
                    "Hard": 10240,
                    "Soft": 10240
                }
            ],
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4-init/diff:/tmp/ramdisk/docker/overlay2/b4f54a4bcf9693f50de7c5789597a12479edfd42d9b8fa2f449f9c6a3f09e580/diff:/tmp/ramdisk/docker/overlay2/ec49f1ad95aaa5088113b71e7894db1ce0229123457e8e63f76cde8d5501cc73/diff:/tmp/ramdisk/docker/overlay2/3bb76c8cef3b6466f1f57167c326a8b065e5f0133424f16b1c0be2510ec60574/diff:/tmp/ramdisk/docker/overlay2/77e87eeac5f5325031e0ababfe19e094c1a443593e4f849f5d79f3f15ef4a573/diff:/tmp/ramdisk/docker/overlay2/1ad76d631a387704468b365fddcc772596361c64e3085cd9efc50f514211024c/diff:/tmp/ramdisk/docker/overlay2/14ee3b713fb1cb48a8baa1c18c39bb85ebbd4acf23df18f146d1b2ddf2106772/diff:/tmp/ramdisk/docker/overlay2/0636682f487ae65c4123e0d281991fde9eeb207745556ead1aa605588df66053/diff:/tmp/ramdisk/docker/overlay2/635fe79b7fa395eb1171b4cb8a5b053643c152699e2e36711d219de92f32d44f/diff:/tmp/ramdisk/docker/overlay2/f5f559bda6b48218a145b81d505dc6bb7dd1dbd144c00eb8200884c20c541a16/diff:/tmp/ramdisk/docker/overlay2/fd6c90c91221f4395ee5d1fa6e6ce165d98cdb5e38edd00d4ef5aaf7bda9bdec/diff:/tmp/ramdisk/docker/overlay2/4198097e8c9bcdcc596434d269f39a2014049b9f62bbd9e259c6d0653371db6e/diff:/tmp/ramdisk/docker/overlay2/d9665613172c8ceb3cd6bfa5709bb05a38f5886322e9ba6f3b59604755670125/diff:/tmp/ramdisk/docker/overlay2/c3eec0a6317354680ed46e1883089fb345a91aada6d1bebc1585869e7497cfa2/diff:/tmp/ramdisk/docker/overlay2/f82163d218a43b50885139dfad1c5dedcd4d381fd76af4a38e0480d48e2ab32b/diff:/tmp/ramdisk/docker/overlay2/c72be8cddf53887e1c8c55207153d2b59e26e3327b60764d1dbe632d6db7b4ff/diff",
                "MergedDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/merged",
                "UpperDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/diff",
                "WorkDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts",
                "Destination": "/release_scripts",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/prerelease_out",
                "Destination": "/tmp/prerelease_out",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/pbuilder_ccache",
                "Destination": "/tmp/pbuilder_ccache",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/.X11-unix",
                "Destination": "/tmp/.X11-unix",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/exchange",
                "Destination": "/home/user/exchange",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "vm64-3",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": true,
            "AttachStderr": true,
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "NIGHTLY_BUILD=1",
                "LOCAL_USER_ID=1001",
                "LOCAL_GROUP_ID=1001",
                "LOCAL_GROUP_NAME=hudson",
                "DISPLAY=:0",
                "QT_X11_NO_MITSHM=1",
                "PATH=/usr/local/nvidia/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LD_LIBRARY_PATH=/usr/local/nvidia/lib:/usr/local/nvidia/lib64:"
            ],
            "Cmd": [
                "bash",
                "-c",
                "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
            ],
            "Image": "gitlab:4567/dockers/pal_docker_images/core-erbium-internal-staging",
            "Volumes": null,
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "com.nvidia.volumes.needed": "nvidia_driver",
                "maintainer": "[email protected]"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "57d9e5bf0c9e05f5351787befe065ef390dd39f39d2aa7681b28abfe4381a8d3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/default",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "host": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "39e3e5618a9dcb24f03e831dbe1929bacdca472fefa3542122bc217429d6914d",
                    "EndpointID": "eabbf4a17b6f92b564ff0303cbc8d3ec67744f9d0b90fe21d49f5b7aebca1d5c",
                    "Gateway": "",
                    "IPAddress": "",
                    "IPPrefixLen": 0,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "",
                    "DriverOpts": null
                }
            }
        }
    }
]

v-lopez am 1. März 2018

Diese Symptome traten auch bei 17.12.0-ce unter Ubuntu 16.04.3 LTS mit einem Rancher-Cluster mit drei Knoten (v1.6.14) auf. Seltsamerweise zeigt nur einer der Knoten das Problem zeitweise (zwischen 1 und 7 Tagen), obwohl auf allen die gleichen Docker- / Ubuntu- / Rancher-Versionen ausgeführt werden. Der Knoten, auf dem er ausgeführt wird, führt jedoch die meisten Container aus und weist daher die höchste Last auf.

Planung auf diesen Cluster 17.12.1-ce Upgrade an diesem Wochenende , um zu sehen , ob das Problem Finger hilft lösen

Hat noch jemand Glück am 17.12.1-ce gehabt?

mauriceteunissen am 3. März 2018

@mauriceteunissen 17.12.1-ce hat das Problem für mich gelöst!

lawrenceadams am 3. März 2018

Leider hat 17.12.1-ce das Problem für mich nicht gelöst.
Ich kann einige Container mit HEALTHCHECK in ihrer Docker-Datei immer noch nicht stoppen.

PhilPhonic am 6. März 2018

@ cpuguy83

Die Reproduktion dauerte länger als erwartet. Die Zip-Datei enthält die beiden erforderlichen Speicherauszüge.

$ docker info
Containers: 21
 Running: 21
 Paused: 0
 Stopped: 0
Images: 42
Server Version: 18.03.0-ce-rc1
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 6c55f98695e902427906eed2c799e566e3d3dfb5
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.75-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 3.363GiB
Name: linuxkit-025000000001
ID: EDQO:EXVD:FYS7:R47M:V4UC:H63J:NKHU:T466:DLMW:VXSO:C7XE:BROD
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 185
 Goroutines: 197
 System Time: 2018-03-07T15:05:02.215912835Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

dumps.zip

ximarx am 7. März 2018

Dies passierte mir häufig mit 17.12.0-ce. Ich habe zu 18.03.0-ce-rc1-mac54 gewechselt und es kommt viel seltener vor, obwohl es immer noch gelegentlich vorkommt. Ich habe GESUNDHEITSPRÜFUNGEN an allen Behältern, die passieren.

itaylor am 7. März 2018

Hallo, tut mir leid, wenn dies ein gelöstes Problem ist, das nur darauf wartet, dass das Update in den stabilen Build gelangt, aber ich bin mir nicht sicher, ob ich eine etwas andere Variante habe. Ich führe Docker für Windows im Schwarmmodus aus, um es an meine Produktionsumgebung anzupassen, und habe kein Problem mit meinen bereitgestellten Stapeln, aber Container, die ich separat ausführe, bleiben manchmal in nicht tötbaren Zuständen hängen. Dies ist mindestens seit Wochen so (möglicherweise Monate, ich bin nicht sicher).

Normalerweise ist ein einzelner Stack bereitgestellt, an dem ich gerade arbeite. Darüber hinaus führe ich Entwicklungsaufgaben über docker run --rm -Befehle aus, wobei mein Projekt in den Container eingebunden ist. Ein Webpack-Erstellungsbefehl wäre beispielsweise "Docker ausführen --rm -t --env" NODE_ENV = Entwicklung "-v $ (pwd): / srv --workdir / srv Knoten: alpine Knotenmodule / .bin / webpack - config webpack.config.js --progress.

Manchmal friert ein Webpack-Build ein (bei etwa 10-12%) und ich muss ctrl + c daraus machen. Ich habe versucht, es etwa 30 Minuten lang stehen zu lassen, es friert nie auf (meine typische Bauzeit beträgt <25 Sekunden). In diesen Situationen stirbt der Container manchmal gut, wenn ich ctrl + c drücke, aber manchmal hängt er herum, als wäre nichts passiert. Wenn der Container herumhängt, zeigt docker ps , dass er noch läuft, aber docker kill und docker rm hängen nur so lange, bis ich sie storniere (wieder habe ich versucht, ihn für gut 20 Minuten stehen zu lassen oder so, ohne dass die Befehle kill und rm werden).

Ich vermutete ein Speicherproblem und versuchte daher, den Docker zugewiesenen Speicher so weit wie möglich zu erhöhen, ohne Windows instabil zu machen. Dies hatte jedoch keinen Einfluss auf die Häufigkeit dieses Problems. Ich habe dann versucht, Docker-Statistiken zu sehen, während meine Builds ausgeführt werden, und es scheint einen Spitzenwert von etwa 150 MB (von meinen verfügbaren 2,5 GB) zu erreichen. Selbst mit all den anderen Containern, die ich für meine Entwicklungsumgebung ausgeführt habe, überschreitet die Gesamtsumme 20% nicht, sodass OOM anscheinend nicht das Problem ist.

Ein weiterer Punkt ist, dass der neue Container immer dann, wenn ein Container in diesen Zustand versetzt wird, wenn ich versuche, den fehlgeschlagenen Befehl in einem neuen Container erneut auszuführen (z. B. denselben Befehl docker run erneut ausführen, den ich für einen Webpack-Build gepostet habe) hängt nur ohne Protokollausgabe und wird auch nicht mehr tötbar. Dies lässt mich jetzt vermuten, dass es sich um ein Dateisystem handelt.

Ein einfacher Neustart von Docker für Windows bringt alles wieder in einen funktionierenden Zustand. Normalerweise funktioniert das Wiederholen meines Webpack-Erstellungsbefehls nach einem Neustart einwandfrei.

djbingham am 8. März 2018

Ich bezweifle, dass ich auch mit diesem Problem nicht weiterkomme.

Ich habe mit lsof / strace debuggt und festgestellt, dass Containerd nicht in der Lage ist, etwas in stdout / stderr pipe zu schreiben.

% sudo ls -l /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49
total 0
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
prwx------ 1 root root 0 Mar  8 20:10 init-stderr
prwx------ 1 root root 0 Mar  9 11:17 init-stdout

Ich habe festgestellt, dass 2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49 die Container-ID ist, aber 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08 ist unbekannt.
Übrigens fand ich Containerd-Exits, nachdem ich zwei unbekannte Pipes mit stdout -> stderr-Reihenfolge gelesen hatte.

% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr

Ich vermute, Dockerd enthält eine Rennbedingung, aber das konnte ich nicht finden.

tanoda am 9. März 2018

Docker lief reibungslos auf meinem Host. Seit ich ein Upgrade von Docker 17.12.0 auf 17.12.1 durchgeführt habe, tritt manchmal das Problem auf, dass ich einen Container nicht stoppen oder neu starten kann, insbesondere wenn ein Healthcheck eingerichtet ist. Als ich dieses Problem fand, war ich verwirrt, da 17.12.1 dieses Problem hätte lösen und nicht auslösen sollen.

Das Seltsame ist, wenn ein Neustart des Hosts viel dazu beiträgt, Dinge in Dockerd zu "bereinigen", so dass ich bestimmte Container wieder stoppen oder neu starten kann. Nach einigen Tagen / Wochen wird dies jedoch nicht mehr ausgeführt. Bei Containern, die fehlschlagen, schlagen sowohl Docker-Compose als auch direkt die Docker-CLI fehl (also schlagen docker-compose down oder docker stop <name> gleichermaßen fehl, ähnlich wie beim Neustart).

$ docker info
Containers: 13
 Running: 7
 Paused: 0
 Stopped: 6
Images: 93
Server Version: 17.12.1-ce
Storage Driver: btrfs
 Build Version: Btrfs v4.4
 Library Version: 101
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
 userns
Kernel Version: 4.13.0-36-generic
Operating System: Ubuntu 16.04.4 LTS
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 7.544GiB
Name: malmur
Docker Root Dir: /var/lib/docker/235536.235536
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

jcberthon am 12. März 2018

Ich habe ein ähnliches Problem mit der Version 18.02. Ich denke, ich kann es ganz einfach reproduzieren, indem ich einen Test in Jenkins durchführe. Es tritt jedes Mal auf, wenn ich meinen Test durchführe.

Hier sind meine Informationen.

Docker Stop 5a28870c74e1

Error response from daemon: cannot stop container: 5a28870c74e1: Cannot kill container 5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd: connection error: desc = "transport: dial unix /var/run/docker/containerd/docker-containerd.sock: connect: connection refused": unknown

Ausgabe der Docker-Informationen:

Containers: 6
 Running: 3
 Paused: 0
 Stopped: 3
Images: 8
Server Version: 18.02.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 3.10.0-693.11.6.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 992.3MiB
Name: docker
ID: 5WRP:X7CW:ATNU:2UAT:RSKA:4BX7:R4T6:B5DT:HGF4:YRTF:BXGK:NON5
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

Docker-Version

Client:
 Version:   18.02.0-ce
 API version:   1.36
 Go version:    go1.9.3
 Git commit:    fc4de44
 Built: Wed Feb  7 21:14:12 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.02.0-ce
  API version:  1.36 (minimum version 1.12)
  Go version:   go1.9.3
  Git commit:   fc4de44
  Built:    Wed Feb  7 21:17:42 2018
  OS/Arch:  linux/amd64
  Experimental: false

Docker inspizieren

 [
    {
        "Id": "5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd",
        "Created": "2018-03-13T09:38:27.546391905Z",
        "Path": "cat",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22458,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:38:27.977365052Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:0d90898532210246893d448740ee6ad83ad351f71dc188d4a5705d193cb3a580",
        "ResolvConfPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hostname",
        "HostsPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hosts",
        "LogPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd-json.log",
        "Name": "/reverent_lovelace",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": [
            "6fab9a929239a9659834a3975f11e73662d238c56f2ab994bed0b0df35e45d3b"
        ],
        "HostConfig": {
            "Binds": null,
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [
                "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa"
            ],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1-init/diff:/var/lib/docker/overlay2/7816f6aae89ff8e103e90e971e70cdc3a5bda0722d89fa361fce259e169c8aa8/diff:/var/lib/docker/overlay2/72f3b10b691778a8838270b9548a52dfabb11f28b2f520f1a24981dd416d3a25/diff:/var/lib/docker/overlay2/40cbb59d56e7583545b375636d8b99666071d3511c7acc1edc87f8e175ff5df0/diff:/var/lib/docker/overlay2/e0f0d655a2a8e3d518e966d0bd90d8e1de6ea06cd99f27ca7a5716c5be2faa19/diff:/var/lib/docker/overlay2/367dc44c14f8ad44319a439436966e9e1b00779b51c819307eb3ab47422f0b36/diff:/var/lib/docker/overlay2/e04892a8d5d028c713f10f0cdbb5d0be6854b4c90b3fa9c2bee3f0fc7217bad9/diff",
                "MergedDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/merged",
                "UpperDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/diff",
                "WorkDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5a28870c74e1",
            "Domainname": "",
            "User": "1000:1000",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "Tty": true,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "BUILD_NUMBER=12",
                "GIT_PREVIOUS_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "JOB_NAME=pipeline test/master",
                "RUN_CHANGES_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect?page=changes",
                "BUILD_DISPLAY_NAME=#12",
                "BUILD_TAG=jenkins-pipeline test-master-12",
                "GIT_URL=https://github.com/miwa911/jenkins-pipeline.git",
                "JOB_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/display/redirect",
                "NODE_NAME=master",
                "BUILD_ID=12",
                "GIT_BRANCH=master",
                "GIT_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "HUDSON_HOME=/var/jenkins_home",
                "HUDSON_SERVER_COOKIE=76488b4fc4db183f",
                "JENKINS_SERVER_COOKIE=76488b4fc4db183f",
                "RUN_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect",
                "WORKSPACE=/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
                "BRANCH_NAME=master",
                "EXECUTOR_NUMBER=1",
                "GIT_PREVIOUS_SUCCESSFUL_COMMIT=145052192787cd88a307e67777367e6f3c90cb81",
                "JENKINS_NODE_COOKIE=911ca1f2-c7cc-41ba-a1d1-78df2155e65b",
                "JOB_BASE_NAME=master",
                "NODE_LABELS=master",
                "CLASSPATH=",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "NPM_CONFIG_LOGLEVEL=info",
                "NODE_VERSION=6.3.1"
            ],
            "Cmd": [
                "cat"
            ],
            "Image": "node:6.3",
            "Volumes": null,
            "WorkingDir": "/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "16d1c596372cdd66415d9e738f493207f7fc8ee4444e936b08b40d273b05de1b",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/16d1c596372c",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.4",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:04",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.4",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:04",
                    "DriverOpts": null
                }
            }
        }
    }
]


[
    {
        "Id": "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa",
        "Created": "2018-03-12T09:37:38.9422449Z",
        "Path": "/sbin/tini",
        "Args": [
            "--",
            "/usr/local/bin/jenkins.sh"
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22088,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:33:50.029083326Z",
            "FinishedAt": "2018-03-13T09:27:43.347300762Z"
        },
        "Image": "sha256:6844ee63019e341fa7c06a90ce1455200bad2f919738d12e44eaff03198c91d0",
        "ResolvConfPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hostname",
        "HostsPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hosts",
        "LogPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa-json.log",
        "Name": "/wonderful_carson",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/docker/jenkins/jenkins_home:/var/jenkins_home",
                "/var/run/docker.sock:/var/run/docker.sock"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f-init/diff:/var/lib/docker/overlay2/c1db031b078fccca2c4ecb9c08f02a12a166a19fbbb07d709fc7f909e543224b/diff:/var/lib/docker/overlay2/e87a5e9585cf46649068fd2804e9b0077586798e8817b635e9cdb27d604c9de3/diff:/var/lib/docker/overlay2/3aaf41fa890140b773a497f75e1e230249c9a50ef9e637807046bd2645d47383/diff:/var/lib/docker/overlay2/b3042667faad116fa7c1fda0ade770be4b7f3d980ec0c1fdaa3b7141590bce1a/diff:/var/lib/docker/overlay2/061f3bf09589109b981a0b1e4d1e033eda2e69ef0b93ee5d7b7219288392c75e/diff:/var/lib/docker/overlay2/ff2306ca7c4b29c85b102e4274968da89c04335ecbb436c348a2129aadaf5554/diff:/var/lib/docker/overlay2/f82ff9ece6eac85cacb3b39129ea89afe9f59b4729c85a06af7277f357a1800e/diff:/var/lib/docker/overlay2/486e2412d67fc87781f0bd6890402915bf1270ab6b9553c603427e671a2bb01d/diff:/var/lib/docker/overlay2/5a80be543bbabb904d8bc75cdee2788f58988b86bbe6e0b7cafa4f23a1afd08f/diff:/var/lib/docker/overlay2/a80d6b1c1895a11ac66cdb30aabf17cfe912f05b87260d435a53b2199b90bae5/diff:/var/lib/docker/overlay2/ee85443de96d6090613ca21303bb168e3d11f717424fbb2c198e8d9ad315ca7a/diff:/var/lib/docker/overlay2/b4bb1975a154aa01a6d293e6346bece8fca12ecf2390153a1c9b236aec5df008/diff:/var/lib/docker/overlay2/b57c6c33340dae437b79a51f24524821796e8dee73e1cb5499834e8cc08f3e81/diff:/var/lib/docker/overlay2/0e0e4140d22655500ea9580a3f5a3bf69b4a6e3f1880bf0896406aeea17cdb8a/diff:/var/lib/docker/overlay2/d49d5d848055333df33351aeeb4c7a9ed967515ef433ee875d5dbfc6edb14c17/diff:/var/lib/docker/overlay2/a87e0ee4bf32e82943b4e38375131867e0fa6fb5a524ad2a4835223588785a9d/diff:/var/lib/docker/overlay2/a6f8827918230ce42c9988c190c229030a62426de6ebc6de1e905573ef60ae9e/diff:/var/lib/docker/overlay2/5c6b6e85d0f568307e7514e51b736c50a5dbf12f3d8ba971067f4acfa02609bb/diff:/var/lib/docker/overlay2/a79d301bc255744c54ccdaa9c440494dfadec50106b0e3d6d0f7461c7a490742/diff:/var/lib/docker/overlay2/f6f53d9320fee3231a646cbc71bdffc571162368ee123ff3270ba39b2d70691a/diff:/var/lib/docker/overlay2/5930cbcb8f8133c83755f1e2c509a8cd51e7b5ba9a76dc0c581973129d3aa35d/diff",
                "MergedDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/merged",
                "UpperDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/diff",
                "WorkDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5049a01b4358",
            "Domainname": "",
            "User": "jenkins",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "50000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "[email protected]",
                "LETSENCRYPT_HOST=jenkins.miwashop.com",
                "VIRTUAL_HOST=jenkins.miwashop.com",
                "VIRTUAL_PORT=8080",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LANG=C.UTF-8",
                "JAVA_HOME=/docker-java-home",
                "JAVA_VERSION=8u151",
                "JAVA_DEBIAN_VERSION=8u151-b12-1~deb9u1",
                "CA_CERTIFICATES_JAVA_VERSION=20170531+nmu1",
                "JENKINS_HOME=/var/jenkins_home",
                "JENKINS_SLAVE_AGENT_PORT=50000",
                "JENKINS_VERSION=2.111",
                "JENKINS_UC=https://updates.jenkins.io",
                "JENKINS_UC_EXPERIMENTAL=https://updates.jenkins.io/experimental",
                "COPY_REFERENCE_FILE_LOG=/var/jenkins_home/copy_reference_file.log"
            ],
            "Cmd": null,
            "ArgsEscaped": true,
            "Image": "jenkins/jenkins:latest",
            "Volumes": {
                "/var/jenkins_home": {}
            },
            "WorkingDir": "",
            "Entrypoint": [
                "/sbin/tini",
                "--",
                "/usr/local/bin/jenkins.sh"
            ],
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "1dcd94febb0a76606f80777174e45b3fd7bfc4d90676b9b2a3bb2c3226aa2904",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "50000/tcp": null,
                "8080/tcp": null
            },
            "SandboxKey": "/var/run/docker/netns/1dcd94febb0a",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.3",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:03",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.3",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:03",
                    "DriverOpts": null
                }
            }
        }
    }
]

danghung-dev am 13. März 2018

@ miwa911 basierend auf;

containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)

Es sieht so aus, als hätte Containerd möglicherweise beendet / neu gestartet. Ich sehe, dass die Maschine nicht viel Speicher hat;

Total Memory: 992.3MiB

Könnte es sein, dass während des Tests nicht genügend Speicher vorhanden ist und der Kernel OOM einige Prozesse beendet hat? Ich würde empfehlen, den Daemon und die Systemprotokolle zu überprüfen, um festzustellen, ob sie weitere Informationen enthalten.

thaJeztah am 13. März 2018

@thaJeztah Danke thaJeztah,
Ich bin Neuling und weiß nicht, wo ich nachsehen soll. Ich habe meinen Stacktrace angehängt (curl --unix-socket /var/run/docker.sock http: // localhost / debug / pprof / goroutine? Debug = 2).

goroutine_debug.log

danghung-dev am 13. März 2018

Ich glaube, ich habe ein ähnliches Problem

Ich habe unsere Entwicklungsumgebung auf die neueste Version 17.12.1-ce aktualisiert, letzte Woche 7390fc6 erstellt und es ist das erste Mal, dass ich diesen Fehler sehe.

Der Entwickler hat versucht, eine Anwendung zu aktualisieren, und swarm kann einen alten Container der vorherigen Version auf einem bestimmten Knoten im Cluster nicht löschen. Ich fand es heraus, weil Entwickler anfingen, sich zeitweise über ein White-Page-Syndrom zu beschweren.

Wenn ich einen Docker-Dienst ps für den Dienst ausführe, wird Folgendes angezeigt: https://www.screencast.com/t/LXAfmddRDp
Der alte Container wird ausgeführt, befindet sich jedoch im heruntergefahrenen Zustand.

Auf dem Knoten sehe ich den Container so, als würde er ordnungsgemäß ausgeführt:
https://www.screencast.com/t/ABKVYxNUQ

Und vom "Docker Service ls" habe ich mehr Container als erwartet
https://www.screencast.com/t/0Po8Sqs0Jr

Ich habe versucht, Docker Kill und Docker Inspect auf dem Container vom Knoten aus auszuführen, aber es funktioniert nicht.
Ich habe keinen bestimmten Messager in dmesg.

Das ist alles, was ich von jetzt an sagen kann. Ich werde den Stapel entfernen und erneut starten, damit Entwickler ihre Arbeit fortsetzen können.

Ich hoffe es hilft

BEARBEITEN:

Stack rm hat das Problem nicht behoben, der Zombie-Container befand sich noch auf dem Knoten
Das Festlegen der Knotenverfügbarkeit auf Drain hat das Problem NICHT behoben. Der Knoten wurde nur mit dem Zombie-Container belassen
Service Docker Neustart nicht antworten
Schließlich wurde der Knoten neu gestartet und alle Container waren nicht mehr da.

Ich habe während des Vorgangs einen solchen Fehler auf dem Knoten gesehen

ar 13 10:04:10 Servername dockerd: time = "2018-03-13T10: 04: 10.406196465-04: 00" level = error msg = "Fehler beim Laden des Containers f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764facb24 / / /f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764facb24/config.v2.json: keine solche Datei oder kein solches Verzeichnis "
13. März 10:04:10 Servername dockerd: time = "2018-03-13T10: 04: 10.408039262-04: 00" level = error msg = "Fehler beim Laden des Containers fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0b7cb7a /fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0b7cb7a/config.v2.json: keine solche Datei oder kein solches Verzeichnis "

EDIT2:
Ich habe jemanden mit demselben Problem gefunden: https://github.com/moby/moby/issues/36553

JnMik am 13. März 2018

👍2

/ cc @stevvooe @dmcgowan, falls Sie wissen, wonach Sie von der Containerd-Seite aus suchen müssen

thaJeztah am 15. März 2018

@mauriceteunissen wir haben das Problem mit 17.12.1-ce

vce-xx am 17. März 2018

👍1

Ich frage mich, ob ich Tini benutze: All Tini does is spawn a single child (Tini is meant to be run in a container), and wait for it to exit all the while reaping zombies and performing signal forwarding.

https://github.com/krallin/tini Dieses Problem und https://github.com/moby/moby/issues/34213 werden behoben!

loretoparisi am 21. März 2018

@loretoparisi Zweifle daran.

Aber Sie setzen immer docker run --init zu sehen ... --init verwendet tini.

cpuguy83 am 21. März 2018

@ cpuguy83 Ich sage, dass in all meinen Problemen und Erkenntnissen (siehe https://github.com/moby/moby/issues/34213) im Zusammenhang mit Java das Hauptproblem auf Zombie-Prozesse in der JVM (wie z Java-Multithread-Anwendungen mit nicht eingeschlossenen, nicht erfassten Ausnahmen) und / oder gesperrten E / A-Ressourcen (meistens dieselben Java-Prozesse, bei denen ein Socket / eine Datei geöffnet war) ODER dasselbe Problem, jedoch bei einer ausführbaren C ++ - Datei, die über child_process gestartet wurde Gabel. Dies ist jedoch nur eine Hypothese, da ich sie nicht so replizieren konnte, um sicherzugehen ...

loretoparisi am 21. März 2018

Wir haben auch das gleiche Problem am 17.12.1-ce

Im Laufe der Zeit gelangen Container in einen Zustand, in dem docker ps und docker inspect hängen.
Wenn der Schwarm gezwungen wird, den Dienst erneut bereitzustellen, wechselt der Container in einen Zombie-Status (gewünschter Status: Herunterfahren, aktueller Status: Wird ausgeführt).

docker kill funktioniert nicht. Eine Möglichkeit, den Container zu töten, ist ps aux | grep [container_id] und dann kill [process_id]

Benötige ich Informationen, die ich bereitstellen kann?

mhaamann am 21. März 2018

👍4

@mhaamann Wenn Docker-Befehle stecken bleiben, können Sie bitte den Stack-Trace von Dockerd abrufen?

Sie können dies tun, indem Sie den Endpunkt /debug/pprof/goroutines?debug=2 treffen
Beispiel:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

cpuguy83 am 21. März 2018

Sicher @ cpuguy83.
Ich werde es beschreiben, damit ich sicher bin, dass ich es richtig mache. Zwei Terminals offen.
Im ersten habe ich docker inspect [container_id] . Wartete ein paar Sekunden, um sicherzustellen, dass es feststeckte. ( Normalerweise kommt die Inspektion innerhalb von 1 Sekunde mit einem Ergebnis zurück. )
Dann habe ich im zweiten Terminal ausgeführt:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

Die Ablaufverfolgung finden Sie hier: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6

mhaamann am 21. März 2018

@mhaamann Können Sie den folgenden Befehl ausführen, um den Containerd-Stack

docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:17.12.1 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

Wenn Sie sich auf dem Host befinden, können Sie alternativ einfach Folgendes ausführen:

docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 am 22. März 2018

(Übrigens) Die relevante feststeckende Goroutine scheint ein Aufruf an Containerd zu sein: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6#file -stack-trace-from-dockerd-L5213-L5241

cpuguy83 am 22. März 2018

Hier ist der Stapel vom Host, der generiert wurde mit: docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

https://gist.github.com/mhaamann/215c3c6f77af89972b6eace4d09866fc

mhaamann am 22. März 2018

@mhaamann Danke! Tiefer Graben...

Dies sieht so aus, als ob es feststeckt, den Zustand des Containers aus dem Shim-Prozess zu erhalten.
Können Sie eine Stapelverfolgung auf der Unterlegscheibe auslösen? kill -SIGUSR1 ${PID_OF_SHIM}
Dies sollte einen Stack-Trace generieren und bis zu den Dockerd-Protokollen übertragen werden.
Sie sollten in der Lage sein, herauszufinden, was die PID ist, da es sich um den übergeordneten Prozess des Containerprozesses handelt.

cpuguy83 am 22. März 2018

👍1

@ cpuguy83

Wir haben ps faux | grep docker und das Elternteil der Unterlegscheibe gefunden. Kopierte hier den relevanten Teil:

root      2624  2.3  2.5 5621140 829884 ?      Ssl  Feb28 782:08 /usr/bin/dockerd
root      2634  0.3  0.1 1694516 47684 ?       Ssl  Feb28 105:32  \_ docker-containerd --config /var/run/docker/containerd/containerd.toml
...

Dann haben wir kill -SIGUSR1 2634 . Die Protokolle wurden hier angehängt:

https://gist.github.com/mhaamann/e245e9a8dedf264ae0343af1322bdf66

mhaamann am 23. März 2018

@mhaamann Danke, aber ich denke, wir brauchen den Dump von docker-containerd-shim anstatt von docker-containerd

cpuguy83 am 23. März 2018

Ich bin wieder mit diesem Problem fest. Diesmal beim Versuch, ein Upgrade von 17.12.1 auf 18.03.0 durchzuführen. Der Upgrade-Prozess steckt fest, die meisten Container laufen noch (weil die Anwendung noch läuft, aber docker ps steckt fest).

Ich habe einen Dump des Docker-Containerd-Sockets durchgeführt. Hier ist das Wesentliche: https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6

Ich weiß nicht, wie ich einen Dump von docker-containerd-shim .

jcberthon am 23. März 2018

👍1

@jcberthon Danke, dies scheint auf den ersten Blick das gleiche Problem wie oben zu sein.
Um einen Stack-Dump von docker-containerd-shim tun Sie kill -s SIGUSR1 <docker-containerd-shim-pid> . Dies sollte einen Stack-Trace in den Protokollen für Dockerd generieren.

cpuguy83 am 23. März 2018

👍1

Hi @ cpuguy83 Ich musste den Host neu starten (bevor ich Ihre Nachricht sah), da ein Neustart des docker.service nicht funktionierte und das Beenden der Prozesse nicht dazu beitrug, die Container danach neu zu starten. Also habe ich einen kompletten Neustartzyklus durchlaufen, anstatt herumzuspielen, bis ich wieder in einem sauberen Zustand bin.

Ich muss also auf die nächste Sperrung warten, bevor ich den Stack-Dump für Docker-Containerd-Shim melden kann. Ich bin jetzt am 18.03.0 ...

Trotzdem danke, dass du dich schnell bei mir gemeldet hast :-)

jcberthon am 23. März 2018

👍1

Ich bin jetzt seit 21 Tagen am 17.12.1 und dieses Problem ist mir seitdem zweimal passiert (einschließlich heute). Ich habe selten Zeit zur Fehlerbehebung, da es auf einer geschäftskritischen Box ausgeführt wird und ein sofortiger Neustart häufig die Lösung ist. Wie @jcberthon hervorhob , funktioniert der Neustart des Docker-Dienstes auch in diesem Szenario nicht. Ein vollständiger Neustart ist die einzige "Lösung".

Wenn ich die genaue Reihenfolge der Befehle erhalten kann, die ausgeführt werden müssen, und der Protokolle, die ausgegeben werden müssen, kann ich diese beim nächsten Mal erfassen, aber ich habe auch die Notwendigkeit eines Neustarts und eines Upgrades auf 18.03.0 als ausgenutzt von heute in der Hoffnung, dass das dieses Problem für mich beheben könnte.

mauriceteunissen am 24. März 2018

@ cpuguy83 kill -SIGUSR1 auf dem Docker-Containerd-Shim generiert keinen Stack-Trace. Nichts passiert.

mhaamann am 24. März 2018

Es sollte in den Protokollen für Dockerd sein?

Am Samstag, 24. März 2018 um 2:15 Uhr, Matthias Haamann [email protected]
schrieb:

@ cpuguy83 https://github.com/cpuguy83 töten -SIGUSR1 auf der Unterlegscheibe tut
keine Stapelverfolgung generieren. Nichts passiert.
- -
Sie erhalten dies, weil Sie erwähnt wurden.
Antworte direkt auf diese E-Mail und sieh sie dir auf GitHub an
https://github.com/moby/moby/issues/35933#issuecomment-375913621 oder stumm schalten
der Faden
https://github.com/notifications/unsubscribe-auth/AAwxZtxfxj8i-AmbzffFqR1SSLIvYzbcks5tho1YgaJpZM4RTNnH
.

- -

Brian Goff

cpuguy83 am 24. März 2018

Hat es jemand bisher geschafft, 17.12.1 in der Produktion ordnungsgemäß auszuführen?

JnMik am 27. März 2018

In den letzten (fast) 5 Tagen (als ich auf Docker CE 18.03.0 aktualisiert habe) ist das Problem nicht aufgetreten.

Es bedeutet nicht, dass es in 18.03.0 gelöst ist, es ist zu früh, um es zu sagen. Aber zumindest kommt dies seltener vor. Vorher hatte ich das Problem mindestens alle 2 oder 3 Tage. 🤞

jcberthon am 28. März 2018

👍1

@jcberthon wirklich neugierig auf das Ergebnis. Weil ich Leute sehe, die auch Probleme mit 18.03.0 haben. @JnMik Wir

jordijansen am 28. März 2018

👍3

Wir halten uns auch an 17.09.1, da neuere Versionen für uns nicht funktionieren.

huepf am 28. März 2018

👍2

Es ist interessant, weil für mein ursprüngliches Problem die Aktualisierung auf 18.02 die Lösung war. Na zumindest so weit so gut.

Timunas am 28. März 2018

👍1

Erst heute habe ich mit Docker 17.12.1 einen neuen Cluster erstellt und bin auf dieses Problem gestoßen.
Nach 8 Stunden, als ich ein fortlaufendes Update eines Dienstes durchführte, bemerkte ich, dass ein Container "ausgeführt" wurde und ich ihn nicht docker inspect kann.

Hier ist der Dump von Containerd-Shim, erhalten als @ cpuguy83 erklärt.

https://gist.github.com/mion00/7ff75e04d6ac21de353cef3e8c64fcd1

Bearbeiten: Update mit (hoffentlich) korrektem Stack-Trace von Containerd-Shim aus einem anderen Container, der ebenfalls feststeckte.

mion00 am 28. März 2018

@ mion00 Das sieht eher aus wie ein Containerd-Dump als wie ein Containerd-Shim :(

cpuguy83 am 30. März 2018

@ cpuguy83 Ich habe meinen vorherigen Kommentar mit einem neuen Stack-Trace aktualisiert, der aus einem anderen Container generiert wurde.

mion00 am 31. März 2018

Leider ist es wieder passiert, aber nach mehr als einer Woche, die einwandfrei funktioniert hat, ist es ein Gewinn im Vergleich zu 17.12.1. Cc: @jordijansen

Wie auch immer, ich habe versucht, einen Dump für docker-containerd-shim zu generieren. Ich habe alle diese Prozesse aufgelistet und einen ausgewählt, der einem feststeckenden Container entspricht (ich kann keine Docker-Protokolle, Docker-Exec usw. für diesen Container erstellen). Also habe ich die sudo kill -s SIGUSER1 <pid> , aber wenn ich versuche, die Protokolle von Dockerd zu überprüfen (mit sudo journalctl -u docker.service ), stammen die letzten Protokollnachrichten von vor mehr als 12 Stunden. Ich vermute also, dass der Docker feststeckt und nichts mehr protokolliert ... Also kein Dump ... es sei denn, irgendwo gibt es eine unbekannte Datei ...

Ich habe das Wesentliche (https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6) mit den neuesten Informationen aktualisiert. Am Ende habe ich die Befehle hinzugefügt, die ich ausführe, um herauszufinden, welches Docker-Containerd-Shim ich das SIGUSR1-Signal senden soll. In meinem stecken gebliebenen Container wird eine MongoDB-Datenbank ausgeführt, daher suche ich nach ihrer PID und suche dann mit dem proc FS nach den cgroups, zu denen er gehört. Unter Verwendung der cgroup-IDs identifizierte ich die Docker-Containerd-Shim-PID.

jcberthon am 1. Apr. 2018

@jcberthon Ich hatte auch das gleiche Problem, Dockerd protokollierte nicht den Stack-Trace. Ich habe es gelöst, indem ich der json-Konfiguration in /etc/docker/daemon.json "debug": true hinzugefügt und service docker reload , um die neue Konfiguration aufzunehmen. Dies ermöglicht Debug-Protokolle in Dockerd, und dann können Sie den Stacktrace nach einem kill -s SIGUSER1

mion00 am 1. Apr. 2018

danke @ mion00 in der Tat, indem ich diese Option hinzufüge und den Daemon neu sudo journalctl -u docker.service mache. Beim Senden des USR1-Signals an den Docker-Containerd-Shim-Prozess werden jedoch keine neuen Protokolle angezeigt, sodass keine Speicherauszüge vorhanden sind :-(

jcberthon am 1. Apr. 2018

@ mion00 @jcberthon Möchten Sie den Patch unter https://github.com/moby/moby/pull/36751 ausprobieren und mich wissen lassen, ob dies hilft?

stevvooe am 3. Apr. 2018

18.03.0 noch betroffen

Ich habe dieses Problem immer noch am 18.03.0 für Mac ... weniger häufig ... aber immer noch da.

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764393 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc420741ce0, 0x0, 0xc420419ad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc420741ce0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc420741ce0, 0x2, 0xc420741ce0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc42052f4b1, 0x9, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206f6280, 0x1469fe0, 0xc4206e26c0)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select, 1 minutes]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall, 1 minutes]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc4206f6300, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206f6280, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8008, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8008)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x4acb760201fcbb8, 0x5ac36c5e, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x111349c75d3a6, 0x14a7a60, 0xbea8f8f784a7d948)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4201c8ce0, 0xc4201c8ce0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select, 1 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x7add264201febb8, 0x5ac36c5e, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x111349f76e9fa, 0x14a7a60, 0xbea8f8f787ab9e54)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc4202bf260, 0xc4202bf260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire, 1 minutes]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f35)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select, 1 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 764394 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56970, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee698, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee698, 0xc4205a7600, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0xc420545a00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e398, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4205a7650)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671746 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764368 [syscall, 1 minutes]:
syscall.Syscall6(0xf7, 0x1, 0x36fe, 0xc42049d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4204f9c00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc4207ebe90, 0x0, 0xc42049d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc4207ebe90, 0xc42049d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc4207ebe90, 0xc420523400, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4203138c0, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4203138c0, 0xc420568320)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 592291 [IO wait, 42 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764369 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc42065c540)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671647 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764402 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4898, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4898, 0xc42073d000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0xc42041ee78, 0x43ebf4, 0xc4201be7e0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0370, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xc42041efac, 0x0, 0xc42041efa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xa, 0xc4201f6100, 0x0, 0xc42041ef48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc420774420, 0xa, 0xa, 0x145c760, 0xc42065c4e0, 0xc42041ef48, 0x2, 0x2, 0xc42041efa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc420774400, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4204a7060, 0x6, 0xb, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be840, 0xc42065c540, 0xc420265220, 0xc4201be7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

Und wieder (um das Filtern von Transienten aus dem Stillstand zu erleichtern)

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764428 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc4200ac7e0, 0x0, 0xc4205ccad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc4200ac7e0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc4200ac7e0, 0x2, 0xc4200ac7e0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc4205620d1, 0x9, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206328c0, 0x1469fe0, 0xc4202fa300)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc420632940, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206328c0, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8000, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8000)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x227a0234201fcbb8, 0x5ac36c69, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x1113749e9ca22, 0x14a7a60, 0xbea8f8fa62751fd0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4202bff20, 0xc4202bff20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x22856124201febb8, 0x5ac36c69, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x1113749f52782, 0x14a7a60, 0xbea8f8fa62803e4c)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc420204d20, 0xc420204d20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f39)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671746 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764452 [select]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc420169500)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 592291 [IO wait, 43 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764451 [syscall]:
syscall.Syscall6(0xf7, 0x1, 0x3778, 0xc42026d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc42019af00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc42052ed80, 0x0, 0xc42026d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc42052ed80, 0xc42026d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc42052ed80, 0xc420128d00, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4200ae580, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4200ae580, 0xc4202f6410)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764429 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420230818, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420230818, 0xc4204def00, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0xc4204deb00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0230, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4204def90)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671647 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764453 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b567f0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee498, 0xc420777000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0xc42041fe78, 0x43ebf4, 0xc4201be300)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e1f0, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xc42041ffac, 0x0, 0xc42041ffa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xa, 0xc4200b4180, 0x0, 0xc42041ff48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4203453e0, 0xa, 0xa, 0x145c760, 0xc420169440, 0xc42041ff48, 0x2, 0x2, 0xc42041ffa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4203453c0, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc42073a000, 0x6, 0x1b9, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be360, 0xc420169500, 0xc420664ec0, 0xc4201be300)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

$ docker info
Containers: 5
 Running: 1
 Paused: 0
 Stopped: 4
Images: 323
Server Version: 18.03.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 4fc53a81fb7c994640722ac585fa9ca548971871
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.87-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 7.786GiB
Name: linuxkit-025000000001
ID: UUJI:BHCD:4SFP:CCSM:H5QT:VZQL:E6AH:UXGU:5VMJ:P525:VYIK:YWOH
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 42
 Goroutines: 70
 System Time: 2018-04-03T11:59:08.2610107Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

$ docker version
Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:06:22 2018
 OS/Arch:   darwin/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:14:32 2018
  OS/Arch:  linux/amd64
  Experimental: true

Das Bild, auf dem ich das bekomme, ist immer docker.elastic.co/elasticsearch/elasticsearch:6.0.1 (oder eines der Elasticsearch-Bilder ... ich verwende nur 6.0.1 konsequent)

Ich habe 23 andere Bilder, die ich jeden Tag mehrmals starte und stoppe, aber die elasticsearch stirbt ständig ... und es wird nicht dieselbe elasticsearch-Containerinstanz sein (weil ich mehr als eine ausführe, aber alle gleich Bild)...

Der Hang kann jederzeit innerhalb von 1-2 Minuten nach dem Start bis zu 2-3 Stunden sein ...

stephenc am 3. Apr. 2018

Ich sehe auch, was dieses Problem über mehrere Schwärme zu sein scheint. Hat es Fortschritte bei der Ermittlung der Grundursache gegeben?

Rollt man auf frühere Versionen zurück? (17.09 wurde erwähnt)

Das Problem erfordert mehr Informationen. Welche zusätzlichen Informationen sind erforderlich?

timdau am 4. Apr. 2018

@timdau Wir sind noch am 17.09 in Produktion, da dies aufgrund dieser "unaufhaltsamen Container" die stabilste Version für uns ist.

PhilPhonic am 4. Apr. 2018

👍7

Das gleiche passiert mir in Docker-CE 17.12.0 (in 3 Clustern), ich rolle zurück zum 17.09.
Es ist unglaublich, dass Docker diese Art von kritischen Fehlern jetzt in zwei LTS-Versionen hat und sie nicht behebt ...
Ich verstehe, dass es vielleicht schwierig ist, sich zu reproduzieren, aber das passiert vielen Menschen ...

¿Es ist, weil es jetzt eine EE-Version gibt und es jetzt Anstrengungen in dieser Version EE 2.2.x (Docker 17.06.x) gibt?

marcomsousa am 5. Apr. 2018

👍2 ❤1

Hier spielen mehrere Probleme eine Rolle, und es wurden mehrere Korrekturen vorgenommen, die sich um verschiedene Bereiche kümmern.

Das gleiche passiert mir in Docker-CE 17.12.0

17.12.1 ist seit einiger Zeit nicht mehr verfügbar. Es werden nicht alle Probleme behoben, aber einige.
Bitte aktualisieren.
In 18.03.0 sind weitere Korrekturen verfügbar, aber es kann sich lohnen, auf 18.03.1 zu warten, das bald veröffentlicht werden sollte.

Dieses Problem ist noch offen, da wir verstehen, dass es nicht behoben ist und daran gearbeitet wird.
Wenn Sie helfen möchten, gibt es eine Reihe von Möglichkeiten, außerhalb der Eingrenzung von Fällen einen Beitrag zu leisten ... z. B. spezifische / konsistente Repro-Schritte, Stapelspuren einer aktualisierten Docker-Instanz (und Containerd und Containerd-Shim sind ebenfalls hilfreich) usw.

Hierher zu kommen und falsche Behauptungen aufzustellen, ist überhaupt nicht hilfreich.

cpuguy83 am 5. Apr. 2018

❤3

Ich habe dieses Problem in einem anderen Cluster:
docker service ls

ID NAME MODE REPLICAS IMAGE PORTS
2uy2rdh3cu7e arxx_rxx replicated 5/4 xx/arxx_rxx:latest-SNAP *:80->80/tcp,*:443->443/tcp
Siehe 5 Container von 4 ....> (es sind immer 4 Replikate eingestellt)

docker service ps arxx_rxx
zeige nur 4 laufende

docker ps
Zeigen Sie auch den zusätzlichen Container an, der nicht gestoppt werden kann
69364e4293d1 xx/arxx_rxx:latest-SNAP "java -jar app-all.j…" 13 days ago Up 13 days (healthy) 80/tcp, 443/tcp arxx_rxx.1.bayrllx65489r7e1vh5te3plp

Alle Befehle, die sich auf diesen Container beziehen, hängen
docker inspect 69364e4293d1

Der Container bricht auch die Dienste.

¿Können Sie mir die genauen Befehle zeigen, die ich ausführen muss, um Ihnen die Informationen zu geben, die Sie benötigen, um den Fehler zu finden?

Ubuntu 16.04
Docker 17.12.0-ce

Wenn Sie Skype / Hangouts haben, kann ich Sie das selbst machen lassen.
@ cpuguy83

marcomsousa am 6. Apr. 2018

Wir haben das gleiche Problem. Einer der Container ist hängen geblieben, sodass andere Befehle wie Docker rmi / logs nicht funktionieren.

cat / etc / redhat-release

CentOS Linux Release 7.4.1708 (Core)

Docker-Version

Klient:
Version: 17.12.0-ce
API-Version: 1.35
Go-Version: go1.9.2
Git Commit: c97c6d6
Gebaut: Mi 27 Dez 20:10:14 2017
OS / Arch: Linux / AMD64

Server:
Motor:
Version: 17.12.0-ce
API-Version: 1.35 (Mindestversion 1.12)
Go-Version: go1.9.2
Git Commit: c97c6d6
Gebaut: Mi 27. Dezember 20:12:46 2017
OS / Arch: Linux / AMD64
Experimentell: falsch

Goroutine

(curl --unix-socket /var/run/docker.sock http: /./ debug / pprof / goroutine? debug = 2)
goroutine.log

Ich sehe einige große E / A im Protokoll warten.
Im Moment haben wir wieder auf Docker-Version umgestellt: 17.09.1-ce

Irgendwelche Ideen wären sehr dankbar.

victorvarza am 6. Apr. 2018

@victorvarza siehe die früheren Kommentare: https://github.com/moby/moby/issues/35933#issuecomment -378957035 - wenn Sie am 17.12 sind; Mindestens ein Upgrade auf 17.12.1, aber da 17.12 EOL erreicht hat, sollten Sie 18.03 in Betracht ziehen (aber Sie können auf 18.03.1 warten, das einige Korrekturen enthält).

thaJeztah am 6. Apr. 2018

👍2

Ich habe einige Änderungen an meiner Infrastruktur vorgenommen, um mir den Luxus zu leisten, beim nächsten Mal, wenn dies auf meinen Produktionssystemen geschieht, einige Zeit damit zu verbringen, Protokolle / Informationen zu sammeln.

Ich bin derzeit auf Ubuntu 16.04.4 LTS mit Docker-Ce 18.03.1 und Linux Kernel 4.13.0-39-generic x86_64.

Kann jemand bestätigen, dass dies alle Informationen sind, die gesammelt werden müssten, um genügend Informationen zur Behebung dieses Problems bereitzustellen?

docker inspect {container-id} > docker-inspect-container.log
ps -aux | grep {container-id} , um Docker-Containerd-Shim-PID zu erhalten
Um einen Stack-Dump von Docker-Containerd-Shim zu erhalten, machen Sie kill -s SIGUSR1 {docker-containerd-shim-pid} . Dies sollte einen Stack-Trace in den Protokollen für Dockerd generieren.
sudo journalctl -u docker.service --since today > docker-service-log.txt
docker info
docker version

mauriceteunissen am 5. Mai 2018

👍2

Selbes Problem hier. Ein Container steckt fest. Kann nicht anhalten, töten, rm, etc.
Bereitstellung aller zugehörigen Informationen in den angehängten Dateien.

Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:04:48 2018
 OS/Arch:   linux/arm64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:10:22 2018
  OS/Arch:  linux/arm64
  Experimental: false

strace-pid.log
docker-version.txt
docker-service-log.txt
docker-inspect-container.log
docker-info.txt
Docker-Containerd-Shim-cmd-pid.txt
contanerd-stack.log

slavikme am 5. Mai 2018

Ich hatte das gleiche Problem mit 18.03.0-ce, aber es sieht so aus, als ob dies mit vom Host gemounteten NFS-Volumes zusammenhängt. Ich habe bereits einige ähnliche Setups in diesem Thread gelesen. Könnte es sein, dass NFS hier das eigentliche Problem ist?

Finkes am 5. Mai 2018

Wir haben kein NFS in unserem Setup und stehen vor dem gleichen Problem.

PhilPhonic am 5. Mai 2018

18.03.1 ist mit einigen Abhilfemaßnahmen dafür aus. Bitte lassen Sie uns wissen, ob es in dieser Version immer noch ein Problem gibt.

cpuguy83 am 5. Mai 2018

@ cpuguy83 Docker für AWS war noch am 18.03.0, als ich das letzte Mal nachgesehen habe. Die letzte in den Versionshinweisen aufgeführte Version ist der 18.03.0. Ich bin gespannt zu überprüfen. Haben Sie eine Idee, wann Docker für AWS Stable auf 18.03.1 aktualisiert wird?

vce-xx am 5. Mai 2018

Vorsicht beim Upgrade Ihres Schwarmclusters, Fehler: # 36961, Ihr Cluster kann tot werden.

marcomsousa am 7. Mai 2018

@ cpuguy83 18.03.1 ist noch nicht auf der Release-Seite verfügbar: https://docs.docker.com/release-notes/docker-ce/ oder bin ich blind?

tnguyenns1 am 7. Mai 2018

18.03.1 ist noch nicht auf der Release-Seite verfügbar: https://docs.docker.com/release-notes/docker-ce/ oder bin ich blind?

Das Dokument ist veraltet. Sie können es hier sehen: https://github.com/docker/docker-ce/releases/tag/v18.03.1-ce
vor 11 Tagen veröffentlicht.

marcomsousa am 7. Mai 2018

👍2

@marcomsousa danke, dass hast ; Versionshinweise werden jetzt auch auf der Docs-Website hinzugefügt. https://docs.docker.com/release-notes/docker-ce/#18031 -ce-2018-04-26

thaJeztah am 8. Mai 2018

@ cpuguy83 Gibt es irgendwo eine Liste aller Probleme im Zusammenhang mit diesem Problem? Auf diese Weise können wir sicher wissen, wann dieses Problem behoben ist und sicher aktualisiert werden kann.

timdau am 9. Mai 2018

👍2

@timdau Dies wird durch https://github.com/containerd/containerd/commit/d235ae9439c7a22b96a0d66cb15dd8808d978e8f gemildert

cpuguy83 am 9. Mai 2018

Dieses Commit-Containerd / Containerd @ d235ae9 wurde in Containerd 1.0.3 veröffentlicht.
Docker-ce 18.03.1 enthält diese Version von Containerd.

Wir müssen also testen, ob dieser Fehler in der Version 18.03.1 behoben wurde

marcomsousa am 9. Mai 2018

Scheint, als hätte 18.03.1 das Problem für mich behoben. Ich benutze es seit einer Woche vor Ort, habe aber das Problem nicht festgestellt, das ansonsten innerhalb eines Tages leicht reproduzierbar war.

achekulaev am 15. Mai 2018

👍1

Die Version 18.03.1 scheint dieses Problem zu beheben. (oder gemildert wurde @ cpuguy83 gesagt)

Ich habe in 4 Clustern getestet.

marcomsousa am 22. Mai 2018

👍2 🎉1

Vielen Dank für die Bestätigung; Ich werde fortfahren und dieses Problem schließen.

Wenn Sie in Docker 18.03.1 oder höher immer noch darauf stoßen; Bitte öffnen Sie eine neue Ausgabe mit Details

thaJeztah am 22. Mai 2018

🎉4 👍4 ❤2 😄2

@mavogel Ich hatte das gleiche Problem mit dem Einfrieren von Docker-Containern. Die Lösung für mich war, dass das Problem behoben ist, wenn ich die Protokollierung von / dev / stderr in eine interne Datei im Docker-Container verschiebe. Wahrscheinlich gibt es ein Festplattenproblem, wenn sich der Container in / dev / stderr anmeldet, und wahrscheinlich ist dies bei den meisten Problemen der Fall.

casperWWW am 10. Sept. 2018

👍5

Meine (temporäre) Lösung in Version 18.06.1-ce und 18.09 ähnelte @casperWWW. In meinem Fall habe ich die Protokollstufe der in den Containern ausgeführten Anwendungen gesenkt und sie hängen nicht mehr.

EduJGURJC am 21. Nov. 2018

Es scheint also, dass der Container keine zugewiesenen E / A-Ressourcen freigeben kann.

loretoparisi am 21. Nov. 2018

Ich bekomme das gleiche Problem, allerdings ohne Docker-Compose. Ich benutze Docker-Schwarm. Das gleiche aber, ich bekomme gelegentlich Container, die weder Docker-Schwarm noch ich mit der Docker-CLI stoppen können. Dies führt dazu, dass der Docker-Schwarm mehr Replikate als gewünscht sammelt, die nicht verkleinert werden können. Manchmal können diese Replikate weiterhin Anforderungen bearbeiten und Datenverkehr empfangen. Die einzige Möglichkeit, die Container zu entfernen, besteht darin, Docker auf dem betroffenen Knoten neu zu starten.

Ich bin mit Ihnen identisch, außer dass Sie Docker auf dem betroffenen Knoten neu starten (auf andere Weise, um das Problem zu lösen).

wh0am111 am 6. Mai 2019

Ich bekomme das gleiche Problem, allerdings ohne Docker-Compose. Ich benutze Docker-Schwarm. Das gleiche aber, ich bekomme gelegentlich Container, die weder Docker-Schwarm noch ich mit der Docker-CLI stoppen können. Dies führt dazu, dass der Docker-Schwarm mehr Replikate als gewünscht sammelt, die nicht verkleinert werden können. Manchmal können diese Replikate weiterhin Anforderungen bearbeiten und Datenverkehr empfangen. Die einzige Möglichkeit, die Container zu entfernen, besteht darin, Docker auf dem betroffenen Knoten neu zu starten.
Ich bin mit Ihnen identisch, außer dass Sie Docker auf dem betroffenen Knoten neu starten (auf andere Weise, um das Problem zu lösen).

Siehe meinen Kommentar, den ich zuvor hier gesendet habe - https://github.com/moby/moby/issues/35933#issuecomment -419863541
Hoffentlich hilft dir das auch.

casperWWW am 6. Mai 2019

Ich bekomme das gleiche Problem, allerdings ohne Docker-Compose. Ich benutze Docker-Schwarm. Das gleiche aber, ich bekomme gelegentlich Container, die weder Docker-Schwarm noch ich mit der Docker-CLI stoppen können. Dies führt dazu, dass der Docker-Schwarm mehr Replikate als gewünscht sammelt, die nicht verkleinert werden können. Manchmal können diese Replikate weiterhin Anforderungen bearbeiten und Datenverkehr empfangen. Die einzige Möglichkeit, die Container zu entfernen, besteht darin, Docker auf dem betroffenen Knoten neu zu starten.

Meine Docker-Version v17.12.1.
Ich bekomme das gleiche Problem. Dies führt dazu, dass mein Dienstlastausgleich für verschiedene Image-Versionen und Container mehr zählt als die festgelegten Replikate. Ich denke, das ist ein großer Fehler von Docker. Es hat ernsthafte Auswirkungen auf meinen Service in der Produktion. Bitte helfen Sie bei der Lösung. @ thaJeztah

sunkeysun am 18. Juni 2019

Docker 17.12 hat EOL vor über einem Jahr erreicht. Können Sie auf einer aktuellen Version reproduzieren?

thaJeztah am 18. Juni 2019

Moby: Docker-Container kann nicht gestoppt werden

Hilfreichster Kommentar

Alle 146 Kommentare

Docker Stop 5a28870c74e1

Ausgabe der Docker-Informationen:

Docker-Version

Docker inspizieren

18.03.0 noch betroffen

¿Können Sie mir die genauen Befehle zeigen, die ich ausführen muss, um Ihnen die Informationen zu geben, die Sie benötigen, um den Fehler zu finden?

cat / etc / redhat-release

Docker-Version

Goroutine

Verwandte Themen