Для этого действительно требуется дополнительная информация и шаги по воспроизведению.

dockerd[101922]: time="2018-01-04T15:54:07.406980654Z" level=debug msg="Calling POST /v1.35/containers/4c2b5e7f466c/stop"

Сообщение выше показывает только то, что был сделан вызов для остановки контейнера; есть ли сообщения после этого?
Как настраивается докер? Вы используете докер-в-докере?
Вы проверили, что контейнер все еще работает? Что показывает docker inspect контейнера? Есть ли на выходе PID ? И этот процесс все еще продолжается? ( ps auxf на хосте)
Можете ли вы воспроизвести проблему без Дженкинса? Можете ли вы указать точные шаги для воспроизведения?

thaJeztah 5 янв. 2018

Больше сообщений не регистрируется.

Тем временем я провел еще несколько тестов и после того, как контейнер перейдет в это состояние:

Я не могу остановить контейнер
Я не могу использовать docker exec в bash.
Я могу запускать и останавливать другие контейнеры

Чтобы выйти из этого состояния, мне нужно:

остановка докера службы
убить процессы контейнера (если не запускается докер)
запуск докера службы

Думаю, однажды я воспроизвел это за пределами Дженкинса, но подумал, что это другая проблема.

Как и в случае с Jenkins, это проще воспроизвести, я подожду следующего раза, чтобы сделать docker inspect container.

Настройка (выполняется в CENTOS vm):

Запуск контейнеров с определенными образами с помощью docker-compose up
Выполнение некоторых тестов с использованием приложений, запущенных в контейнерах
Остановка контейнеров с помощью docker-compose down

И эти шаги выполняются для каждого теста, и я запускаю тесты одновременно.

Прошу прощения за то, что не предоставил дополнительную информацию, но это то, что я смог собрать до сих пор.

Timunas 5 янв. 2018

У меня похожая проблема _ сейчас_ с _ другой версией докера_ . Я не могу остановить ни один созданный контейнер.

И это регистрируется для всех контейнеров.

`` `` 08 января 16:53:10 dockerd [7012]: time = "2018-01-08T16: 53: 10.983935134Z" level = debug msg = "Вызов POST /v1.34/containers/9cdc36c44340/stop"
08 января, 16:53:10 dockerd [7012]: time = "2018-01-08T16: 53: 10.984024605Z" level = debug msg = "Отправка сигнала уничтожения 15 в контейнер 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a"
08 января, 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985034572Z" level = info msg = "Не удалось остановить контейнер после отправки сигнала 15 процессу, принудительное завершение"
08 января, 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.985087603Z" level = debug msg = "Отправка сигнала уничтожения 9 в контейнер 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a"
08 января 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986759908Z" level = debug msg = "FIXME: Получил API, для которого ошибка не соответствует ни одному ожидаемому типу !!!: не найден \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / containerd / containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / containerd / containerd / content / helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta g.go: 85 \ nmain.init \ n \ t / go / src / github.com / docker / docker / cmd / dockerd / service_unsupported.go: 15 \ nruntime.main \ n \ t / usr / local / go / src / runtime / proc.go: 173 \ nruntime.goexit \ n \ t / usr / local / go / src / runtime / asm_amd64.s: 2197 "error_type =" errors.fundamental "module = api08 января, 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.986856140Z" level = error msg = "Обработчик POST /v1.34/containers/9cdc36c44340/stop вернул ошибку: невозможно остановить container: 9cdc36c44340: Невозможно убить контейнер 9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94: процесс 9cdc36c44340cd23a5cbfb884c1fab4d4d4781735 not found3908 января, 16:53:12 dockerd [7012]: time = "2018-01-08T16: 53: 12.987051906Z" level = debug msg = "FIXME: Получил API, для которого ошибка не соответствует ни одному ожидаемому типу !!!: не обнаружен \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd/errdefs.init \ n \ t / go / src / github.com / docker / docker / vendor / github.com / containerd / containerd /errdefs/errors.go:25\ngithub.com/docker/docker/vendor/github.com/containerd/containerd/content.init\n\t/go/src/github.com/docker/docker/vendor/github .com / containerd / containerd / content / helpers.go: 141 \ ngithub.com/docker/docker/vendor/github.com/containerd/containerd.init \ n \ t / go / src / github.com / docker / docker /vendor/github.com/containerd/containerd/task_opts.go:78\ngithub.com/docker/docker/container.init\n\t/go/src/github.com/docker/docker/container/view.go : 496 \ ngithub.com/docker/docker/builder.init \ n \ t / go / src / github.com / docker / docker / builder / builder.go: 108 \ ngithub.com/docker/docker/api/server /backend/build.init\n\t/go/src/github.com/docker/docker/api/server/backend/build/ta


**docker-info :** 
```Containers: 6
 Running: 6
 Paused: 0
 Stopped: 0
Images: 61
Server Version: 17.11.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 992280e8e265f491f7a624ab82f3e238be086e49
runc version: 0351df1c5a66838d0c392b4ac4cf9450de844e2d
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
Kernel Version: 4.10.0-42-generic
Operating System: Ubuntu 16.04.3 LTS
OSType: linux
Architecture: x86_64
CPUs: 8
Total Memory: 31GiB
Name: Laptop-749
ID: WZVE:HR5Q:3GYH:WNS6:FJCQ:TGHD:UMU5:PPWM:7Z77:QSBV:G2SW:HI77
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 26
 Goroutines: 48
 System Time: 2018-01-08T16:58:47.457072503Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

WARNING: No swap limit support

версия докера:

Клиент:
Версия: 17.11.0-ce
Версия API: 1.34
Версия Go: go1.8.3
Git commit: 1caf76c
Построен: 20 ноя 2017, Пн, 18:37:39
ОС / Arch: Linux / amd64

Сервер:
Версия: 17.11.0-ce
Версия API: 1.34 (минимальная версия 1.12)
Версия Go: go1.8.3
Git commit: 1caf76c
Построен: Пн 20 ноя, 18:36:09 2017
ОС / Arch: Linux / amd64
Экспериментальный: ложь



**docker inspect** : 
```[
    {
        "Id": "9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94",
        "Created": "2018-01-08T16:32:30.716158282Z",
        "Path": "/opt/entrypoint.sh",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 477,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-01-08T16:32:31.370353796Z",
            "FinishedAt": "0001-01-01T00:00:00Z",
            "Health": {
                "Status": "healthy",
                "FailingStreak": 0,
                "Log": [
                    {
                        "Start": "2018-01-08T16:40:52.760255527Z",
                        "End": "2018-01-08T16:40:52.814916997Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:12.821209911Z",
                        "End": "2018-01-08T16:41:12.872327217Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:32.879017542Z",
                        "End": "2018-01-08T16:41:32.932394782Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:41:52.938598813Z",
                        "End": "2018-01-08T16:41:52.993106466Z",
                        "ExitCode": 0,
                        "Output": ""
                    },
                    {
                        "Start": "2018-01-08T16:42:12.998820005Z",
                        "End": "2018-01-08T16:42:13.056301771Z",
                        "ExitCode": 0,
                        "Output": ""
                    }
                ]
            }
        },
        "Image": "sha256:71843cc0ac81d2a365553dd5b69f6643dab212fd8b45d498c6a92614352ed75f",
        "ResolvConfPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hostname",
        "HostsPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/hosts",
        "LogPath": "/var/lib/docker/containers/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94/9cdc36c44340cd23a5cbfb884c1fab4d47b173552dd992f392d4398603b46a94-json.log",
        "Name": "/kegfngsmzx_component_1",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "docker-default",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/dev/null:/tmp/conf/4:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common:/tmp/conf/1:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic:/tmp/conf/0:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component:/tmp/conf/3:rw",
                "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component:/tmp/conf/2:rw"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "kegfngsmzx_default",
            "PortBindings": {
                "1099/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "",
                        "HostPort": ""
                    }
                ]
            },
            "RestartPolicy": {
                "Name": "",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": null,
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": null,
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3-init/diff:/var/lib/docker/overlay2/a9c4a86986bf84eff4d3156580e986daed91c7a37d937c5e4f608cd90b78f50a/diff:/var/lib/docker/overlay2/566bb33f0a3140bdb3726e3581bc703557f729010d2fb5b76ba21ac04157e5eb/diff:/var/lib/docker/overlay2/92302187d5633c0e6f3577edf93e2f1fbc133ccfcd11c6ce4a2b0fd06eb33db4/diff:/var/lib/docker/overlay2/3ac16dcca78ec2202d9af5e2e1ca50053612b75247d685c66418516aa7a1f91e/diff:/var/lib/docker/overlay2/3c2bef86bfac98dace20fb5ad4461601d444797454a5561bb543e4478d3aed25/diff:/var/lib/docker/overlay2/82de5471b51e7a55f8d9ff61983b36e9302b2fc7f4ba3fcc6ce5bde9f426ac9b/diff:/var/lib/docker/overlay2/7103da23a70519f91ae53950b6da99797d75104815ff43a1662efc92a933dc45/diff:/var/lib/docker/overlay2/70d522784351b087ee139f429dd041e1966308365e222f9022ab33f1f6da5089/diff:/var/lib/docker/overlay2/05d68822eebc4564c7e4597ee7c3d2bece406703e2e042bdf2ec35061a178f3a/diff:/var/lib/docker/overlay2/cc4fbcefd6fc474463d00d55d708988fc68f6eca5534675992e157743cb04af7/diff:/var/lib/docker/overlay2/50a363caa96c54de6cf17bfa477e384694f0fdf15a81c27cb92b830c0a8782b1/diff:/var/lib/docker/overlay2/ee1dadb2c4a98b37896eeb4e97f0715d97485bd10ef2b70d3b279d7fb93a4b18/diff:/var/lib/docker/overlay2/a66b6a45869ab5484cc04259ee7e11d32526a1fa1c91748f71754b57a87b69d9/diff:/var/lib/docker/overlay2/58472f6337dd2f95a5bda690e630fc6ddf4f661b6e965cfa798c666cde72457a/diff:/var/lib/docker/overlay2/22657f15e2d1411269f3201e63705babaaa7a04275f6c91ca5df4dc167abd93f/diff:/var/lib/docker/overlay2/5483cd1fad2a005e68e2656c5fcee54b8844576743288c06e49f40f6a4381a63/diff:/var/lib/docker/overlay2/ba02a2666cd21a254805404d1757f8ed90e28089e4a924e15a524c1e09265d0a/diff:/var/lib/docker/overlay2/07359ba2f66ba314629b1a6df441a7b96470e5d55ec22b88a48cc7c93b34f515/diff:/var/lib/docker/overlay2/99ecef114a5db24e123e4f5d9a8a01c3a79fa6aaed1af1095669f374a689294d/diff:/var/lib/docker/overlay2/7cfa73084c807c05112368f9c60627622b807b5ad932ace14541994f95209329/diff:/var/lib/docker/overlay2/b8e4cd0ea2811b61210129cc97ef4d10489bcb61b3b1dbe64d5a7af65bc284e2/diff:/var/lib/docker/overlay2/5cb7c00c701b24ca232c773eff803b0ca26a4bb137a5960920f5f3e9c96cfe7b/diff:/var/lib/docker/overlay2/6e722e736fb0acf96c2bbd2b29cd10e79955fe4b5fd8bf862a17ffa241b68a1b/diff:/var/lib/docker/overlay2/160835aace0cb1e2f4b9360934188b99ca9a65c74ee8d100f613275024e9d811/diff:/var/lib/docker/overlay2/5c7ba1cf63c83cda117ef0eca2bfd65d9bd44669e0e80933e351620bce546354/diff:/var/lib/docker/overlay2/c58b587a8318b57dc1f39c2aa2df68fa86295280fc007650a16008d05685b356/diff",
                "MergedDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/merged",
                "UpperDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/diff",
                "WorkDir": "/var/lib/docker/overlay2/5fbfde1f36fe0da7cee8ed92b728f7b92ddd4a1b8d9aeafe44b7e8cde581aeb3/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/common",
                "Destination": "/tmp/conf/1",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/custom/component",
                "Destination": "/tmp/conf/2",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/system-tests/component",
                "Destination": "/tmp/conf/3",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/dev/null",
                "Destination": "/tmp/conf/4",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/joao.suzana/gitprojects/superComponent/docker/configurations/default/component/basic",
                "Destination": "/tmp/conf/0",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "9cdc36c44340",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "1099/tcp": {},
                "7000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LC_ALL=en_US.UTF-8",
                "JDK_RPM=jdk-8u131-linux-x64.rpm",
                "JAVA_HOME=/usr/java/jdk1.8.0_131/",
                "COMPONENT_HOME=/opt/component"
            ],
            "Cmd": [
                "/opt/entrypoint.sh"
            ],
            "Healthcheck": {
                "Test": [
                    "CMD-SHELL",
                    "grep -q \"App Service is ready.\""
                ],
                "Interval": 20000000000,
                "Retries": 30
            },
            "ArgsEscaped": true,
            "Image": "docker.privateimage.com/private:latest",
            "Volumes": {
                "/tmp/conf/0": {},
                "/tmp/conf/1": {},
                "/tmp/conf/2": {},
                "/tmp/conf/3": {},
                "/tmp/conf/4": {}
            },
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "build-date": "20171128",
                "com.docker.compose.config-hash": "51a3c3781142fce6292e53a5a42dd804a41e5c6e81b02b2dab14647d5f3fe774",
                "com.docker.compose.container-number": "1",
                "com.docker.compose.oneoff": "False",
                "com.docker.compose.project": "kegfngsmzx",
                "com.docker.compose.service": "private-component",
                "com.docker.compose.version": "1.17.1",
                "com.super.component": "Super",
                "license": "GPLv2",
                "name": "CentOS Base Image",
                "vendor": "CentOS"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "4a6a1b4492dce570a42cb735915c76fab4c0e92dd712bf81ae323df8eec1d0a3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "1099/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32863"
                    }
                ],
                "7000/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32862"
                    }
                ],
                "8080/tcp": [
                    {
                        "HostIp": "0.0.0.0",
                        "HostPort": "32861"
                    }
                ]
            },
            "SandboxKey": "/var/run/docker/netns/4a6a1b4492dc",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "kegfngsmzx_default": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": [
                        "component",
                        "9cdc36c44340"
                    ],
                    "NetworkID": "19e6624e9254883228576ad289770611fd066ed7fc1c847eb0dd25899b240d07",
                    "EndpointID": "850780c0914d118382913f0ff287433e88c01a56d3e42fa95ce890c737027b76",
                    "Gateway": "172.18.0.1",
                    "IPAddress": "172.18.0.7",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:12:00:07",
                    "DriverOpts": null
                }
            }
        }
    }
]

Timunas 8 янв. 2018

@Timunas можешь попробовать обновиться до 17.12?

thaJeztah 8 янв. 2018

Первоначальный выпуск был с 17.12

Что касается исходной проблемы, я воспроизвел ее еще раз, и я не могу проверить докер, она просто зависает для всех команд

Timunas 8 янв. 2018

👍1

У меня такая же проблема, но без использования docker-compose. Я использую докер рой. То же самое, но иногда я получаю контейнеры, которые ни докер рой, ни я с докером не могу остановить. Это приводит к тому, что Docker Swarm собирает больше реплик, чем хотелось бы, и не может масштабироваться. Иногда эти реплики все еще могут обслуживать запросы и получать трафик. Единственный способ удалить контейнеры - перезапустить докер на затронутом узле.

EliRibble 8 янв. 2018

👍16

У меня такая же проблема с роем докеров. Я удаляю один из нескольких стеков докеров, но удаляются только некоторые контейнеры в стеке, а некоторые контейнеры остаются. Команды docker inspect или docker rm на зависших контейнерах просто зависают в командной строке, пока я не нажму Ctrl-c. Требуется перезагрузка, чтобы удалить контейнеры. Не было проблемы в 17.09, только после обновления до 17.12.0-ce (также была проблема на 17.12.0-ce-rc4).

У меня проблема с виртуальной машиной Azure: docker info

`` Контейнеров: 95
Бег: 83
Приостановлено: 0
Остановлено: 12
Изображения: 579
Версия сервера: 17.12.0-ce
Драйвер хранилища: overlay2
Резервная файловая система: extfs
Поддерживает d_type: true
Native Overlay Diff: истина
Драйвер логирования: json-файл
Драйвер Cgroup: cgroupfs
Плагины:
Объем: местный
Сеть: мостовой хост macvlan нулевое наложение
Журнал: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Рой: активен
NodeID: hy0kx44q5m9jg0lc1n5ylxkw6
Менеджер: правда
ClusterID: ordhsz694y98k3r4604ksc937
Менеджеров: 1
Узлы: 1
Оркестровка:
Предел хранения истории задач: 2
Плот:
Интервал снимка: 10000
Количество старых снимков для сохранения: 0
Тик сердцебиения: 1
Избирательный тик: 3
Диспетчер:
Период сердцебиения: 5 секунд
Конфигурация CA:
Срок годности: 3 месяца
Принудительное вращение: 0
Менеджеры автоблокировки: false
Выполняется поворот корня: false
Адрес узла: 10.0.0.10
Адреса менеджеров:
10.0.0.10:2377
Время выполнения: runc
Время выполнения по умолчанию: runc
Двоичный файл инициализации: docker-init
версия containerd: 89623f28b87a6004d4b785663257362d1658a729
версия runc: b2567b37d7b75eb4cf325b77297b140ea686ce8f
версия инициализации: 949e6fa
Параметры безопасности:
Apparmor
seccomp
Профиль: по умолчанию
Версия ядра: 4.4.0-104-generic
Операционная система: Ubuntu 16.04.3 LTS
OSType: linux
Архитектура: x86_64
Процессоры: 8
Общий объем памяти: 27,47 ГБ
Имя: build-agent-vm001
ID: S7WY: RCKF : G3P7: TI3H: MJ2F: UXZ3: C5DS: YQG3: OPF4: V4RS: 5EQ7: AWG4
Корневой каталог Docker: / var / lib / docker
Режим отладки (клиент): false
Режим отладки (сервер): false
Реестр: https://index.docker.io/v1/
Ярлыки:
Экспериментальный: ложь
Небезопасные реестры:
127.0.0.0/8
Live Restore Enabled: false

ВНИМАНИЕ: нет поддержки ограничения свопинга


I also have the same issue on Docker for Mac (Edge: 17.12): `docker info`

```Containers: 110
 Running: 65
 Paused: 0
 Stopped: 45
Images: 607
Server Version: 17.12.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: active
 NodeID: qfzh0tqkchl2m42uhju7k3ml4
 Is Manager: true
 ClusterID: q14zy6epqkpx0w112wusdtd3u
 Managers: 1
 Nodes: 1
 Orchestration:
  Task History Retention Limit: 2
 Raft:
  Snapshot Interval: 10000
  Number of Old Snapshots to Retain: 0
  Heartbeat Tick: 1
  Election Tick: 3
 Dispatcher:
  Heartbeat Period: 5 seconds
 CA Configuration:
  Expiry Duration: 3 months
  Force Rotate: 0
 Autolock Managers: false
 Root Rotation In Progress: false
 Node Address: 192.168.65.3
 Manager Addresses:
  192.168.65.3:2377
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.60-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 5.817GiB
Name: linuxkit-025000000001
ID: DSXX:YVTO:DLFW:MN3X:MTJC:3EGK:MUYT:6JMN:C2NC:TQMW:BE44:3P6H
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 260
 Goroutines: 491
 System Time: 2018-01-09T00:13:09.053688513Z
 EventsListeners: 28
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3128
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

hallvar 9 янв. 2018

👍6

Мы также наблюдаем, что docker-deamon не отвечает на некоторые команды:

в настоящее время я не могу

docker rmi
docker system prune -f
docker exec
docker logs

это происходит с несколькими двигателями, все из которых работают 17.12.2019.

похоже, связано с https://github.com/moby/moby/issues/35408

mborejdo 11 янв. 2018

👍2

У меня такая же ошибка. Однако это непоследовательно. Я пока не вижу закономерности, но это происходит.

Я использую Docker для Mac версии 17.12.0-ce-mac46 (21698). Я не использую Docker в Docker.

Контейнер создается docker-compose up .

Да, я вижу, что контейнер все еще работает, но stop или kill просто зависает и ничего не делает.

10:13:13 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker ps
CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS                    PORTS                                                    NAMES
f0e36d3589d3        docksal/cli:1.3-php7      "/opt/startup.sh sup…"   44 hours ago        Up 28 minutes (healthy)   22/tcp, 9000/tcp                                         sbdmaster_cli_1
b93c84c9a3a3        docksal/ssh-agent:1.0     "/run.sh ssh-agent"      44 hours ago        Up 29 minutes                                                                      docksal-ssh-agent
91ce00eb35fa        docksal/dns:1.0           "/opt/entrypoint.sh …"   44 hours ago        Up 29 minutes             192.168.64.100:53->53/udp                                docksal-dns
ae867cca0f21        docksal/vhost-proxy:1.1   "docker-entrypoint.s…"   44 hours ago        Up 29 minutes             192.168.64.100:80->80/tcp, 192.168.64.100:443->443/tcp   docksal-vhost-proxy
10:13:17 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker stop f0e36d3589d3
^C
10:16:03 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER
$ docker kill f0e36d3589d3
^C
10:30:51 Alexei-Workstation /Users/alexei.chekulaev/Projects/SBD-MASTER

(Вы можете видеть, что прошло несколько минут, прежде чем я нажал Ctrl-C)

В другом Терминале я попытался запустить еще один проект docker-compose, это то, что я увидел в выводе в первый раз:

$ docker-compose up
rm: can't remove '/.ssh/id_rsa.pub': Stale file handle
rm: can't remove '/.ssh/authorized_keys': Stale file handle
rm: can't remove '/.ssh/id_rsa2.pub': Stale file handle
rm: can't remove '/.ssh/known_hosts': Stale file handle
rm: can't remove '/.ssh/id_test': Stale file handle
rm: can't remove '/.ssh/id_test.pub': Stale file handle
rm: can't remove '/.ssh/id_rsa2': Stale file handle
rm: can't remove '/.ssh/id_dsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker': Stale file handle
rm: can't remove '/.ssh/id_sbd.pub': Stale file handle
rm: can't remove '/.ssh/id_sbd': Stale file handle
rm: can't remove '/.ssh/id_rsa': Stale file handle
rm: can't remove '/.ssh/id_boot2docker.pub': Stale file handle
rm: can't remove '/.ssh': Directory not empty
Starting services...
Creating network "demonodb_default" with the default driver
Creating demonodb_cli_1 ... done
Creating demonodb_cli_1 ... 
Creating demonodb_web_1 ... done

Другой проект начался нормально, но с указанными выше ошибками о устаревших именах файлов. Последующие остановки и запуски другого проекта не вызывали ошибок и работали нормально.

Эти файлы находятся на именованном томе. Том монтируется как ro в docker-compose, поэтому я не уверен, почему появляются сообщения «Невозможно удалить».

Перезапуск демона Docker решает проблему ... временно. Я забыл сделать docker inspect и уже перезапустил демон, но я думаю, что inspect просто зависнет, как stop и kill do.

ОБНОВЛЕНИЕ: хотел отметить, что контейнер с проблемами имеет проверку работоспособности. Похоже, в этом может быть виноват.

achekulaev 11 янв. 2018

👍2

У меня такая же проблема. Можно воспроизводить его каждый раз в разных средах:
Docker для Mac версии 17.12.0-ce-mac46 (зависание после обновления)
или используя docker изначально в Arch linux (ядро 4.14.14-1-ARCH), невозможно перезапустить службу docker с помощью systemctl restart docker.service , он тоже зависает. docker info

Client:
 Version:       18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:       linux/amd64
 Experimental:  false
 Orchestrator:  swarm
Server:
 Engine:
  Version:      18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:        Sun Jan 14 23:11:14 2018
  OS/Arch:      linux/amd64
  Experimental: false

journalctl показывает

dockerd[26382]: time="2018-01-25T12:39:22.289082720+03:00" level=error msg="stream copy error: reading from a closed fifo"

crossdot 25 янв. 2018

Также увидев это 18.01. Повесьте контейнер, осмотрите.

Client:
 Version:   18.01.0-ce
 API version:   1.35
 Go version:    go1.9.2
 Git commit:    03596f51b1
 Built: Sun Jan 14 23:10:39 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.01.0-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.2
  Git commit:   03596f51b1
  Built:    Sun Jan 14 23:11:14 2018
  OS/Arch:  linux/amd64
  Experimental: false

compose.cli.command.get_client: Docker version: Platform={'Name': ''}, Components=[{'Name': 'Engine', 'Version': '18.01.0-ce', 'Details': {'ApiVersion': '1.35', 'Arch': 'amd64', 'BuildTime': '2018-01-14T23:11:14.000000000+00:00', 'Experimental': 'false', 'GitCommit': '03596f51b1', 'GoVersion': 'go1.9.2', 'KernelVersion': '4.14.15-1-ARCH', 'MinAPIVersion': '1.12', 'Os': 'linux'}}], Version=18.01.0-ce, ApiVersion=1.35, MinAPIVersion=1.12, GitCommit=03596f51b1, GoVersion=go1.9.2, Os=linux, Arch=amd64, KernelVersion=4.14.15-1-ARCH, BuildTime=2018-01-14T23:11:14.000000000+00:00
compose.cli.verbose_proxy.proxy_callable: docker containers <- (all=False, filters={'label': ['com.docker.compose.project=discord']})
urllib3.connectionpool._make_request: http://localhost:None "GET /v1.24/containers/json?limit=-1&all=0&size=0&trunc_cmd=0&filters=%7B%22label%22%3A+%5B%22com.docker.compose.project%3Ddiscord%22%5D%7D HTTP/1.1" 200 1762
compose.cli.verbose_proxy.proxy_callable: docker containers -> (list with 1 items)
compose.cli.verbose_proxy.proxy_callable: docker inspect_container <- ('59760b63049318f7b0bef2605e63d0fd8b13f4e134a7aea435db9eb1bdf2b389')

enkoder 25 янв. 2018

Мы полностью перестали использовать 17.12 и откатились до 17.09 из-за этой проблемы 17.12 (macOS и, очевидно, Linux тоже).

Это критическая, постоянная проблема.

И, к сожалению, я не нашел способа воссоздать его, кроме частого использования докера.

rfay 30 янв. 2018

👍6

У меня такая же проблема на нескольких серверах, использующих 17.12. Как сказал @rfay , 17.09.

При проверке журнала изменений основное различие между 17.12 и 17.09 заключается в том, что с 17.11 Docker основан на containerd. Итак, поскольку свидетельства, кажется, указывают на то, что это проблема во время выполнения, возможно, было бы хорошо исследовать этот путь.

ay0o 30 янв. 2018

👍5

Ага, здесь то же самое. Я придерживаюсь 17.09 и рекомендую всем, кто использует docker-compose или swarm, придерживаться его, пока проблема не будет решена.

achekulaev 30 янв. 2018

Если вы можете получить трассировку стека из запущенного демона, это будет очень полезно.
Вы можете получить это, нажав GET /debug/pprof/goroutine?debug=2

Однако я подозреваю, что это недавняя ошибка, обнаруженная в runc, которая представляет собой гонку при обработке ввода-вывода контейнера ... которая, по-видимому, существует с незапамятных времен.
если да, то мы подозреваем, что это обнаруживается изменениями в ядре, и все недавно обновляют свое ядро для патчей Spectre / meltdown.

cpuguy83 30 янв. 2018

Здесь находится соответствующий патч runc, который вы можете попробовать, если не хотите ждать выпуска исправленного докера: https://github.com/opencontainers/runc/pull/1698

cpuguy83 30 янв. 2018

@ cpuguy83

You can get this by hitting GET /debug/pprof/goroutine?debug=2

Пожалуйста, предоставьте команды. Я не понимаю, как "попасть" по относительному URL-адресу и относительно чего он. Я использую Docker для Mac. Что я должен ударить?

achekulaev 30 янв. 2018

@achekulaev
Предполагая, что у вас есть докер, прослушивающий сокет unix в /var/run/docker.sock (по умолчанию):

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

или сокет TCP

curl http://<ip>:<port>/debug/pprof/goroutine?debug=2

cpuguy83 30 янв. 2018

Следующий файл является результатом этой команды, запущенной в экземпляре AWS Ubuntu 16.04 с использованием Docker версии 17.12.0-ce, build c97c6d6

moby 35933.txt

ay0o 30 янв. 2018

@ ay0o Спасибо!
Что-то заблокировано в системе прямо сейчас?
Я не вижу никаких текущих остановок / убийств, к сожалению, просто похоже на кучу запущенных контейнеров.

cpuguy83 30 янв. 2018

Я взял журналы на MacBook Pro под управлением macOS High Sierra 10.13.3, под управлением docker 18.01.0-ce-mac48, канал: edge ee2282129d.

docker_output.log

AlterEgo7 30 янв. 2018

@ AlterEgo7 Спасибо! Похоже, докер заблокирован в системном вызове для записи на диск и даже чтения с диска хотя бы в одном месте. Похоже, что-то не так с диском, выделенным для этой виртуальной машины docker в docker4mac.

cpuguy83 30 янв. 2018

Фактически, несколько системных вызовов, связанных с вводом-выводом, заблокированы на ~ 1 минуту.

cpuguy83 30 янв. 2018

@ cpuguy83 , это связано с тем, что тайм-аут docker-compose составляет 60 секунд. Есть ли какие-то особые настройки виртуальной машины, с которыми я могу поэкспериментировать? Однако, как упоминалось выше другими пользователями, такое поведение началось с обновления 17.12.

AlterEgo7 30 янв. 2018

Я тоже очень часто сталкиваюсь с этой проблемой. 17.12 Похоже, что в основном это происходит в контейнерах с подключенными томами. В нашем случае эти тома представляют собой nfs-ресурсы на хосте.

mborejdo 30 янв. 2018

@ cpuguy83 @mborejdo Если это имеет значение, ~ 10 контейнеров, запущенных на моем компьютере, используют унисонные тома docker-sync.

AlterEgo7 30 янв. 2018

Это действительно помогает. Может быть, docker-sync не работает после 17.12?
Это определенно объясняет блокировку записи, поскольку nfs не очень дружелюбен к отключенным серверным модулям.

cpuguy83 30 янв. 2018

То же самое при запуске одного и того же набора контейнеров без каких-либо томов или запущенных контейнеров для синхронизации докеров. Журнал pprof прилагается.

docker_output_no_volumes.log

AlterEgo7 30 янв. 2018

@ cpuguy83 , я тоже вижу эту проблему с docker 17.12 с использованием swarm - у меня кластер из 3 узлов, с 6 стеками докеров и около 30 сервисов. Docker swarm rm для каждого стека работает и очищает около 90% контейнеров, но даже через 5 минут docker ps -a прежнему показывает около 10 контейнеров в закрытом состоянии - я могу, если бы это была единственная проблема, потому что я добавил шаг в конце для вызова docker system prune -f на каждом узле. К сожалению, примерно в 25% случаев контейнеры все еще работают после команды stack rm (в некоторых случаях я ждал более 10 минут), поэтому сокращение системы докеров не сработает - и когда я вижу это , как и другие, большинство команд докеров зависают на этом узле. Мне нужно выполнить kill -15 на нарушающем PID, чтобы вернуть контроль

Как вы предположили, я попробовал https://github.com/opencontainers/runc/pull/1698 , но все равно не повезло. Прежде чем мы скажем, что https://github.com/opencontainers/runc/pull/1698 не работает, можете ли вы убедиться, что я исправил его правильно? Я вручную создаю биты docker-ce / engine (ветка 17.12), обновляя runc для фиксации: 9f9c96235cc97674e935002fc3d78361b696a69e, а затем перезаписываю / usr / bin / runc с помощью недавно созданного двоичного файла. Я сделал это на каждом узле кластера, перезапустил докер, запустил docker info | grep runc и увидел:

Default Runtime: runc
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

Стоит ли мне попробовать заменить все двоичные файлы докеров?

Я также прикрепил свою трассировку стека ( curl --unix-socket /var/run/docker.sock http://localhost/debug/pprof/goroutine?debug=2 ).
goroutine_debug.log

foleymic 30 янв. 2018

@foleymic Проблема, которую вы видите, действительно напоминает проблему с runc.
Замена dockerd - это не то, что нужно, а скорее замена двоичного файла docker-runc .

Обратите внимание, что для целей тестирования вы можете установить исправленный runc в настраиваемом месте и указать докеру, что он должен использовать его в качестве среды выполнения по умолчанию (или для каждого контейнера).
Для этого просто создайте runc с указанным выше коммитом, поместите его где-нибудь вроде /usr/local/bin/patched-runc а затем запустите докер с --add-runtime myrunc=/usr/local/bin/patched-runc --default-runtime=myrunc (их также можно поместить в /etc/docker/daemon.json ).

cpuguy83 30 янв. 2018

@ cpuguy83 - спасибо за быстрый ответ. Я просто заменил runc, но, собрав полный движок docker-ce из ветки 17.12, а затем изменил RUNC_COMMIT на b2567b37d7b75eb4cf325b77297b140ea686ce8f в binaries-commits и vendor.conf. В любом случае, я думаю, что то, что вы описываете, звучит намного лучше, поэтому позвольте мне просто собрать runc, заменить его и повторить свой тест. Еще раз спасибо!

foleymic 30 янв. 2018

@foleymic Замечательно . Возможно, вывод docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines будет разумным.

cpuguy83 30 янв. 2018

@ AlterEgo7 Ваша трассировка стека довольно ошибочна ... интересно ...
Есть несколько горутин (зеленые потоки), которые находятся в состоянии "runnable" ... что означает, что они ждут, пока реальный поток ОС действительно запустит их.

Можете ли вы получить список процессов от хоста? docker run --pid=host busybox ps aux надо делать.

cpuguy83 30 янв. 2018

@ cpuguy83 - я перестроил автономный runc (проверил commit 9f9c96235cc97674e935002fc3d78361b696a69e ) и развернул его, как вы предложили (фрагмент daemon.json ниже), и воспроизвел проблему. По запросу я приложил вывод docker-containerd-debug.sock goroutines

Я ценю вашу помощь, дайте мне знать, если вам нужно, чтобы я еще что-то сделал или попробовал.

docker-containerd-debug.log

cat /etc/docker/daemon.json
{
    "default-runtime":"patchedrunc",
    "runtimes": {
        "patchedrunc": {
             "path": "/usr/local/bin/patched-runc"
        }
    },
    ....

информация о докере

docker info | grep runc
Runtimes: patchedrunc runc
Default Runtime: patchedrunc
WARNING: bridge-nf-call-ip6tables is disabled
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e (expected: b2567b37d7b75eb4cf325b77297b140ea686ce8f)

foleymic 30 янв. 2018

Несколько человек в моей команде разработчиков сталкиваются с зависанием команд докеров в MacOS 10.13 и Docker для Mac 17.12. Это случилось со мной при попытке остановить / убить контейнеры, а также с другими командами, такими как docker inspect

Прилагается вывод curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2
docker-debug.log

Я взял его, ожидая docker-compose ps который зависал более 30 секунд. Интересно, что docker ps во время этого зависания работало нормально, но docker inspect на любом из контейнеров, возвращаемых docker ps зависает так же, как docker-compose ps .

Мы не используем docker-sync, но мы используем монтирование томов через файловую систему OSXFS из Docker для Mac.
Дайте мне знать, если я могу еще чем-нибудь помочь в расследовании.

itaylor 31 янв. 2018

@ cpuguy83 извините, я понял, что вам просто нужен журнал, независимо от того, был ли он сбой в данный момент.

В композиции, которую я использую сейчас, есть 36 контейнеров. Я попытался воспроизвести проблему, просто запустив docker-compose up и docker-compose down. Первый раз был отличным, но во второй раз 3 контейнера остались «вверху», а все остальные остались в «снятом состоянии». Вот результат журнала:

docker_debug.txt

Это ошибка, о которой сообщает docker-compose down:

ERROR: An HTTP request took too long to complete. Retry with --verbose to obtain debug information. If you encounter this issue regularly because of slow network conditions, consider setting COMPOSE_HTTP_TIMEOUT to a higher value (current value: 60).

Я заметил одну вещь: кажется, что это всего лишь один контейнер, блокирующий другие. В частности, в этом случае 3 контейнера, которые не были остановлены, были postgres, etcd и помощником для настройки etcd. Однако похоже, что postgres блокирует остальные. Например, я могу запустить docker inspect etcd и он работает, но docker inspect postgres не работает с тайм-аутом.

Обратите внимание, это всего лишь пример этого конкретного случая. Я не говорю, что виноват всегда postgres. Может быть, в следующий раз это будет redis или rabbitmq.

Также это происходит с использованием роя.

ay0o 31 янв. 2018

👍1

У меня такая же проблема.
В компании, в которой я работаю, у нас есть Docker Host со многими контейнерами, в которых запущены среды Java для разработки, и время от времени я не могу удалять изображения или контейнеры, я не могу проверять изображения или контейнеры, помимо других операций.

Я получаю много сообщений в journalctl, например:
Jan 31 11:31:51 DOCKER-DEV dockerd[1882]: time="2018-01-31T11:31:51.598987401Z" level=warning msg="unknown container" container=540456eed4104723a0d4e9d4628d436ec381f978738f83dda16f22430cc60094 module=libcontainerd namespace=plugins.moby

Я использую 17.12 CE в Ubuntu 16.04.3 LTS.

Большое спасибо за ваше время и помощь.

luisnabais 31 янв. 2018

@luisnabais Вопрос о Unknown container обсуждается здесь: https://github.com/moby/moby/issues/35891

sorenhansendk 31 янв. 2018

@sorenhansendk спасибо, я уже знал об этом, я слежу за обеими ветками, у меня обе проблемы с 17.12 ...

luisnabais 31 янв. 2018

Обновление - я установил новый трехузловой кластер (тот же шаблон виртуальной машины) и вручную установил RC 1 docker-18.02.0-ce (https://download.docker.com/linux/static/test/x86_64/docker -18.02.0-ce-rc1.tgz) и не смогли воспроизвести проблему. Вдобавок, благодаря # 35891, я больше не вижу сообщения Unknown container в моих журналах, и все мои неопределенные тома также удаляются. Я собираюсь провести еще несколько тестов, чтобы попытаться определить, какие двоичные файлы содержат исправление .

foleymic 31 янв. 2018

👍1

По крайней мере, для меня проблема носит временный характер.

richardjq 31 янв. 2018

На какой версии @richardjq?
Он существует во всех версиях Docker, потому что проблема в runc https://github.com/opencontainers/runc/pull/1698

sorenhansendk 31 янв. 2018

12.17.0-это

richardjq 31 янв. 2018

У меня такая же проблема с зависанием после обновления до последней версии Docker (Mac OS). Вот мои результаты отладки, если это поможет: https://gist.github.com/carlisia/780b008dd5ac0339522f8fbddd97d066

carlisia 1 февр. 2018

Всем спасибо, очень помогли.

@carlisia Это край или стабильный? (или, может быть, просто версия на экране about была бы лучше, просто из-за безумия версий).

cpuguy83 1 февр. 2018

@ cpuguy83 стабильный. Я просто запустил опцию обновления из пользовательского интерфейса.

carlisia 1 февр. 2018

Не уверен, поможет это или нет, но я заметил кое-что странное, и подумал, что добавлю к этому разговору. Проблема возникла снова (со стандартным докером 17.12.0-ce), поэтому я просмотрел журналы демона на узле, где был удален стек / служба, но контейнер остался в статусе healthy . docker ps показывает этот идентификатор контейнера как 8c5381ca6248 , я нашел этот идентификатор в журналах демона и увидел, что он был запущен с pid=94570 , но после того, как я вызвал stack rm command, я вижу ошибку в журнале, которая повторяется 3 раза - Ignoring Exit Event, no such exec command found для этого идентификатора контейнера, но каждое из этих трех сообщений журнала имеет разные PID, и ни одно из них не равно pid=94570 . Я также подтвердил, что pid 94570 является правильным PID (выполнялся ps ax | grep 8c5381ca6248 ).

Есть идеи, почему у роя неправильный PID?

Вот фрагмент логов демона:

$ journalctl | grep 8c538
Feb 01 12:03:12 xxx dockerd[38879]: time="2018-02-01T12:03:12-05:00" level=info msg="shim docker-containerd-shim started" address="/containerd-shim/moby/8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0/shim.sock" debug=false module="containerd/tasks" pid=94570
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.823039243-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:03:53 xxx dockerd[38879]: time="2018-02-01T12:03:53.879628386-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.143264783-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:04 xxx dockerd[38879]: time="2018-02-01T12:04:04.285288560-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:14 xxx dockerd[38879]: time="2018-02-01T12:04:14.685324737-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:24 xxx dockerd[38879]: time="2018-02-01T12:04:24.310513628-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:34 xxx dockerd[38879]: time="2018-02-01T12:04:34.520599061-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:04:44 xxx dockerd[38879]: time="2018-02-01T12:04:44.332650759-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:04:54 xxx dockerd[38879]: time="2018-02-01T12:04:54.666961688-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:04 xxx dockerd[38879]: time="2018-02-01T12:05:04.348300333-05:00" level=warning msg="Health check for container 8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 error: context cancelled"
Feb 01 12:05:14 xxx dockerd[38879]: time="2018-02-01T12:05:14.633386506-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813814668-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.813896784-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=9669e0bea74dbd90d56f61c3b8070fc043f6254d5b5b089d1562fdbfb154aa2b exec-pid=106625
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845301695-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.845372559-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=b637507387bcce7dcf3f270d48eaf75d4d5deccd00506d0ed656c78833ad8cda exec-pid=104564
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.877888876-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952730879-05:00" level=warning msg="unknown container" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 module=libcontainerd namespace=plugins.moby
Feb 01 12:05:20 xxx dockerd[38879]: time="2018-02-01T12:05:20.952805518-05:00" level=warning msg="Ignoring Exit Event, no such exec command found" container=8c5381ca6248dcbe199c56f87842c2cfd089e3ee5547895d7f037ed79e20dfc0 exec-id=2e5df9c74b29ca12fa9df0e14f095cf8524629564245107c4d8f0fb9d82adf9e exec-pid=103807

foleymic 1 февр. 2018

Извините за то, что продолжаю развивать эту тему, но я экспериментировал. Какой бы ни была проблема, похоже, что она была исправлена в демоне докеров ( 18.01.0-ce и 18.02.0-ce-rc1 . Установив последнюю версию с тестового канала и не имея возможности воспроизвести проблему, я начал экспериментировать. Возвращаясь к стабильному каналу, 17.12.0 , я заменил dockerd только из двоичных файлов, распределенных в пограничном и тестовом каналах, 18.01 , 18.02-rc1 и 18.02-rc2 , запуск нескольких тестов с каждой версией.

dockerd 17.12.0-ce НЕ СБОЙ
dockerd 18.01.0-ce НЕ СБОЙ
dockerd 18.02.0-ce-rc1 УСПЕХ

Чтобы прояснить ситуацию, когда я говорю FAILED, я говорю о проблеме, когда контейнеры, созданные docker stack deploy , остаются в состоянии Up после выполнения docker stack rm . По-прежнему существует проблема, даже в 18.02.0-ce-rc2, где docker stack rm остановит контейнеры, но не удалит их (контейнеры остаются в состоянии Exited ) - не идеально, но я могу смириться с этим, запустив обрезать после того, как команда docker stack rm завершится в каждом стеке (обратите внимание, что я жду 30 секунд перед выполнением обрезки, чтобы дать рою некоторое время для завершения очистки, прежде чем я возьму на себя управление).

Итак, хорошие новости: похоже, что в следующем выпуске это будет исправлено, но я действительно не хочу выпускать RC для своих команд. Я просматриваю коммиты между 18.01 и 18.02-rc1, чтобы узнать, смогу ли я найти исправление. @ cpuguy83 и @thaJeztah , любые идеи, которые приходят в голову. Есть ли что-нибудь, что вы хотите, чтобы я попробовал или предоставил журналы? Если вы можете помочь мне найти возможный коммит, я могу протестировать его на своей вилке.

Одно слово предостережения: выполнение этих тестов требует времени, и проблема не всегда воспроизводима, поэтому, хотя я не видел, чтобы это происходило с 18.02 (RC 1 или 2), я не могу быть на 100% уверен, что этого не произойдет. появятся в какой-то момент - я буду продолжать тестирование с RC1 и обновлю этот поток, если увижу какое-либо возникновение этой проблемы, но с 17.12 по 18.01 я видел, что эта проблема возникает примерно в 50% случаев, поэтому я довольно уверенно это исправлено в 18.02.

foleymic 1 февр. 2018

Я согласен с тобой @foleymic! Я обновил свои тестовые среды до последней версии Docker (кандидат на выпуск), и я также вижу очень хорошие результаты с ошибкой об остановке / уничтожении контейнеров. Я думаю, что обновленная версия runc решила проблему 👍

sorenhansendk 2 февр. 2018

Спасибо за отчет. Я думаю, что это полностью исправлено с помощью комбинации containerd 1.0.1 и пропатченного runc.

cpuguy83 2 февр. 2018

@sorenhansendk - рад, что вы тоже видите положительные результаты. @ cpuguy83 тоже подумал, что это было исправление runc связанное с Spectre / meltdown, но это определенно не было исправлением для меня. В настоящее время я использую все, включая runc на 17.12.0, и только dockerd на 18.02.0-rc1 .
И наоборот, если бы я обновил только runc я бы увидел проблему (я попытался вручную создать runc только с https://github.com/opencontainers/runc/pull/1698, а также взять версию из тестирования и крайние дистрибутивы).

foleymic 2 февр. 2018

@ cpuguy83 - Я работаю только с пропатченным dockerd. Containerd и runc все еще находятся на 17.12.0

информация о докере:

...
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 89623f28b87a6004d4b785663257362d1658a729 (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: b2567b37d7b75eb4cf325b77297b140ea686ce8f (expected: 9f9c96235cc97674e935002fc3d78361b696a69e)
...

foleymic 2 февр. 2018

Да, 18.02 поставляется с новым контейнером.
Мы работаем над выпуском нового патча для 17.12.

cpuguy83 2 февр. 2018

Итак, dockerd включает containerd? Я думал, что это отдельный двоичный файл - docker-containerd. В любом случае, рад слышать, что вы работаете над патчем для 17.12 - это отличные новости. Еще раз спасибо за вашу помощь в этом.

foleymic 2 февр. 2018

О, значит, вы буквально обновили только двоичный файл dockerd. Ах хорошо. Мне придется дважды проверить, какие патчи могут быть здесь задействованы, и убедиться, что они попали в выпуск 17.12.

cpuguy83 2 февр. 2018

:) - У меня сейчас франкен-докер! Все 17.12.0, кроме dockerd, который 18.02-rc1

foleymic 2 февр. 2018

К вашему сведению, я думаю, что исправление заключается в PR # 35748

foleymic 2 февр. 2018

Я все еще могу воспроизвести проблему с версией 18.02.0-ce-rc2-mac51 (22446)

linuxkit-025000000001:/# /usr/bin/containerd --version
containerd github.com/containerd/containerd v1.0.1 9b55aab90508bd389d7654c4baf173a981477d55

docker info

containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e

ximarx 5 февр. 2018

@ximarx Спасибо за отчет! Можно ли получить дампы стека из docker и containerd?
С докером вы можете делать

curl --unix-socket /var/run/docker.sock http:/./debug/pprof/goroutine?debug=2

Для containerd на Mac это немного сложнее ...

 docker run -it --rm -v /:/host alpine /host/usr/local/bin/docker-containerd-ctr pprof --debug-socket /host/run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 5 февр. 2018

@ximarx - когда вы говорите, что проблема все еще существует, вы говорите о том, где контейнеры остаются, но в закрытом состоянии, или вы все еще видите их в рабочем состоянии? Я только заметил, что с 18.02 я все еще вижу, что контейнеры остаются, но ни один из них не находится в рабочем состоянии, поэтому я могу обойтись с запуском prune после docker stack rm. Не идеально, но, по крайней мере, я могу вернуться в чистое состояние после того, как все выйдет из строя - до того, как взять 18.02, мне пришлось вручную убить процессы, чтобы удалить те контейнеры, которые все еще работали, но больше не были связаны со стеком.

Кстати, я объединил PR # 35748 в свой 12.17 в своей вилке и собрал - я не видел проблемы с тех пор, как применил эту сборку.

foleymic 5 февр. 2018

Можно ли получить дампы стека из docker и containerd?

@ cpuguy83 : К сожалению, я перезапустил докер. Я получу дамп стека, как только воспроизведу проблему еще раз.

когда вы говорите, что проблема все еще существует, вы говорите о том, где контейнеры остаются, но в закрытом состоянии, или вы все еще видите их в рабочем состоянии?

@foleymic Контейнер остается в рабочем состоянии, но команда docker inspect зависает навсегда (а также docker-compose ps и docker stop )

ximarx 5 февр. 2018

@ximarx - спасибо за подтверждение, я наблюдал точно такое же поведение в нескольких кластерах роя, но с момента обновления их до исправленной сборки мы не видели проблемы. Единственная разница, которую я вижу, заключается в том, что мы работаем на RHEL, а вы на Mac.

foleymic 7 февр. 2018

эта проблема уже исправлена?
Если да, то в какой версии он будет выпущен?

stmaute 9 февр. 2018

Я считаю, что исправлено с 18.02, но я жду их подтверждения

Timunas 9 февр. 2018

В «стабильной» канальной версии 17.12.0 эта ошибка по-прежнему присутствует; если это будет исправлено, можно ли перенести этот PR в патч 17.12.1? Стабильный канал довольно нестабилен, если людям приходится полностью возвращаться к 17.09 или прибегать к крайнему выпуску.

instantlinux 12 февр. 2018

👍15

+1 для выпуска патча 17.12.1

stmaute 12 февр. 2018

👍4

Над этим работают. Благодаря!

cpuguy83 12 февр. 2018

❤10 👍2

Извините, что разогреваю эту ветку - похоже, скоро исправление;) - но у меня быстрый вопрос:
Мы наблюдаем ту же проблему на docker-ce-17.12, так как мы добавили HEALTHCHECK в наши файлы Docker. Контейнеры без HEALTCHECK, указанные в их файлах Docker, останавливаются нормально.
Может ли это быть связано с ПРОВЕРКОЙ ЗДОРОВЬЯ или это просто совпадение?

Ура
Фил

PhilPhonic 16 февр. 2018

👍8

@PhilPhonic: да, может быть запущена проверка работоспособности

thaJeztah 16 февр. 2018

👍1

Решает ли https://github.com/moby/moby/pull/36097 (добавлен во вчерашний выпуск) эту проблему?

ay0o 28 февр. 2018

👍1

Я пришел из вопроса № 34213, не совсем уверен, что проблема та же, но меня направили сюда.

Для нас контейнер докера все еще застревает после этих исправлений и никогда не завершает его выполнение, но в этом случае я смог остановить его, не перезагружая демон докера.

версия докера

Client:
 Version:   17.12.1-ce
 API version:   1.35
 Go version:    go1.9.4
 Git commit:    7390fc6
 Built: Tue Feb 27 22:17:56 2018
 OS/Arch:   linux/amd64

Server:
 Engine:
  Version:  17.12.1-ce
  API version:  1.35 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   7390fc6
  Built:    Tue Feb 27 22:16:28 2018
  OS/Arch:  linux/amd64
  Experimental: false

информация о докере

Containers: 1
 Running: 1
 Paused: 0
 Stopped: 0
Images: 1
Server Version: 17.12.1-ce
Storage Driver: overlay2
 Backing Filesystem: tmpfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
Kernel Version: 4.4.0-64-generic
Operating System: Ubuntu 14.04 LTS
OSType: linux
Architecture: x86_64
CPUs: 6
Total Memory: 19.8GiB
Name: vm64-3
ID: OHED:ZYGD:4ZNG:QWGC:7VQ5:2KVU:YXP3:CKCR:AMV5:FVFF:PMJ6:ICXM
Docker Root Dir: /tmp/ramdisk/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 27
 Goroutines: 47
 System Time: 2018-03-01T07:57:09.565797691Z
 EventsListeners: 0
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

докер проверяет предварительную версию (контейнер, который застрял)

[
    {
        "Id": "34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a",
        "Created": "2018-02-28T19:22:54.823764324Z",
        "Path": "bash",
        "Args": [
            "-c",
            "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 6495,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-02-28T19:22:55.675976607Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:fa0591be5fc0613715fb2605264ff61967811262bdbc93d262faca23df1bf2fe",
        "ResolvConfPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/resolv.conf",
        "HostnamePath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hostname",
        "HostsPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/hosts",
        "LogPath": "/tmp/ramdisk/docker/containers/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a/34d42f7a8246de8c6eb4b3d9f8fe3a62c1b0ac8ce7a800f918538b33c35d282a-json.log",
        "Name": "/prerelease",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "unconfined",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts:/release_scripts",
                "/tmp/prerelease_out:/tmp/prerelease_out",
                "/home/hudson/pbuilder_ccache:/tmp/pbuilder_ccache",
                "/tmp/.X11-unix:/tmp/.X11-unix:rw",
                "/home/hudson/exchange:/home/user/exchange"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "host",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": true,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": [
                "label=disable"
            ],
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [
                {
                    "PathOnHost": "/dev/snd",
                    "PathInContainer": "/dev/snd",
                    "CgroupPermissions": "rwm"
                }
            ],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": [
                {
                    "Name": "nofile",
                    "Hard": 10240,
                    "Soft": 10240
                }
            ],
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4-init/diff:/tmp/ramdisk/docker/overlay2/b4f54a4bcf9693f50de7c5789597a12479edfd42d9b8fa2f449f9c6a3f09e580/diff:/tmp/ramdisk/docker/overlay2/ec49f1ad95aaa5088113b71e7894db1ce0229123457e8e63f76cde8d5501cc73/diff:/tmp/ramdisk/docker/overlay2/3bb76c8cef3b6466f1f57167c326a8b065e5f0133424f16b1c0be2510ec60574/diff:/tmp/ramdisk/docker/overlay2/77e87eeac5f5325031e0ababfe19e094c1a443593e4f849f5d79f3f15ef4a573/diff:/tmp/ramdisk/docker/overlay2/1ad76d631a387704468b365fddcc772596361c64e3085cd9efc50f514211024c/diff:/tmp/ramdisk/docker/overlay2/14ee3b713fb1cb48a8baa1c18c39bb85ebbd4acf23df18f146d1b2ddf2106772/diff:/tmp/ramdisk/docker/overlay2/0636682f487ae65c4123e0d281991fde9eeb207745556ead1aa605588df66053/diff:/tmp/ramdisk/docker/overlay2/635fe79b7fa395eb1171b4cb8a5b053643c152699e2e36711d219de92f32d44f/diff:/tmp/ramdisk/docker/overlay2/f5f559bda6b48218a145b81d505dc6bb7dd1dbd144c00eb8200884c20c541a16/diff:/tmp/ramdisk/docker/overlay2/fd6c90c91221f4395ee5d1fa6e6ce165d98cdb5e38edd00d4ef5aaf7bda9bdec/diff:/tmp/ramdisk/docker/overlay2/4198097e8c9bcdcc596434d269f39a2014049b9f62bbd9e259c6d0653371db6e/diff:/tmp/ramdisk/docker/overlay2/d9665613172c8ceb3cd6bfa5709bb05a38f5886322e9ba6f3b59604755670125/diff:/tmp/ramdisk/docker/overlay2/c3eec0a6317354680ed46e1883089fb345a91aada6d1bebc1585869e7497cfa2/diff:/tmp/ramdisk/docker/overlay2/f82163d218a43b50885139dfad1c5dedcd4d381fd76af4a38e0480d48e2ab32b/diff:/tmp/ramdisk/docker/overlay2/c72be8cddf53887e1c8c55207153d2b59e26e3327b60764d1dbe632d6db7b4ff/diff",
                "MergedDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/merged",
                "UpperDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/diff",
                "WorkDir": "/tmp/ramdisk/docker/overlay2/03efcd70b4e0faac571708859c2cfb0d43f7da1331702508980c6c49945ba1e4/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/hudson/.hudson/workspace/Mega-Integration/release_scripts",
                "Destination": "/release_scripts",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/prerelease_out",
                "Destination": "/tmp/prerelease_out",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/pbuilder_ccache",
                "Destination": "/tmp/pbuilder_ccache",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/tmp/.X11-unix",
                "Destination": "/tmp/.X11-unix",
                "Mode": "rw",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/home/hudson/exchange",
                "Destination": "/home/user/exchange",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "vm64-3",
            "Domainname": "",
            "User": "",
            "AttachStdin": false,
            "AttachStdout": true,
            "AttachStderr": true,
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "NIGHTLY_BUILD=1",
                "LOCAL_USER_ID=1001",
                "LOCAL_GROUP_ID=1001",
                "LOCAL_GROUP_NAME=hudson",
                "DISPLAY=:0",
                "QT_X11_NO_MITSHM=1",
                "PATH=/usr/local/nvidia/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LD_LIBRARY_PATH=/usr/local/nvidia/lib:/usr/local/nvidia/lib64:"
            ],
            "Cmd": [
                "bash",
                "-c",
                "./release_scripts/bootstrap_prerelease.sh /release_scripts/.rosinstall unused-version-argument git /release_scripts/.rosinstall erbium xenial kinetic index.yaml coverage true "
            ],
            "Image": "gitlab:4567/dockers/pal_docker_images/core-erbium-internal-staging",
            "Volumes": null,
            "WorkingDir": "",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {
                "com.nvidia.volumes.needed": "nvidia_driver",
                "maintainer": "[email protected]"
            }
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "57d9e5bf0c9e05f5351787befe065ef390dd39f39d2aa7681b28abfe4381a8d3",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/default",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "",
            "Gateway": "",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "",
            "IPPrefixLen": 0,
            "IPv6Gateway": "",
            "MacAddress": "",
            "Networks": {
                "host": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "39e3e5618a9dcb24f03e831dbe1929bacdca472fefa3542122bc217429d6914d",
                    "EndpointID": "eabbf4a17b6f92b564ff0303cbc8d3ec67744f9d0b90fe21d49f5b7aebca1d5c",
                    "Gateway": "",
                    "IPAddress": "",
                    "IPPrefixLen": 0,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "",
                    "DriverOpts": null
                }
            }
        }
    }
]

v-lopez 1 мар. 2018

Эти симптомы также наблюдались в 17.12.0-ce на Ubuntu 16.04.3 LTS с 3-узловым кластером Rancher (v1.6.14). Любопытно, что проблема периодически возникает только на одном из узлов (от 1 до 7 дней), хотя все они используют одни и те же версии docker / ubuntu / rancher. Хотя узел, на котором это происходит, работает с наибольшим количеством контейнеров и, следовательно, имеет наибольшую нагрузку.

Планируется обновить этот кластер до 17.12.1-CE в эти выходные, чтобы посмотреть, поможет ли это решить проблему, скрестив пальцы

Кому-нибудь еще не повезло 17.12.1-в.

mauriceteunissen 3 мар. 2018

@mauriceteunissen 17.12.1-ce решил проблему за меня!

lawrenceadams 3 мар. 2018

К сожалению, 17.12.1-ce не решил проблему для меня.
Я все еще не могу остановить некоторые контейнеры с помощью HEALTHCHECK в их Dockerfile.

PhilPhonic 6 мар. 2018

@ cpuguy83

на его воспроизведение ушло больше времени, чем ожидалось. ZIP-архив содержит два требуемых дампа.

$ docker info
Containers: 21
 Running: 21
 Paused: 0
 Stopped: 0
Images: 42
Server Version: 18.03.0-ce-rc1
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 6c55f98695e902427906eed2c799e566e3d3dfb5
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.75-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 3.363GiB
Name: linuxkit-025000000001
ID: EDQO:EXVD:FYS7:R47M:V4UC:H63J:NKHU:T466:DLMW:VXSO:C7XE:BROD
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 185
 Goroutines: 197
 System Time: 2018-03-07T15:05:02.215912835Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

dumps.zip

ximarx 7 мар. 2018

Это часто происходило со мной с 17.12.0-ce. Я перешел на 18.03.0-ce-rc1-mac54, и это случается гораздо реже, хотя иногда все же случается. У меня есть ЗДОРОВЬЕ на всех контейнерах, с которыми случается.

itaylor 7 мар. 2018

Привет, извините, если это решенная проблема, которая просто ждет, пока исправление войдет в стабильную сборку, но я не уверен, есть ли у меня немного другой вариант. Я запускаю Docker для Windows в режиме Swarm, чтобы соответствовать моей производственной среде, и у меня нет проблем с развернутыми стеками, но контейнеры, которые я запускаю отдельно, иногда застревают в неубиваемых состояниях. Это продолжается по крайней мере несколько недель (возможно, месяцев, я не уверен).

Обычно у меня развернут один стек, это приложение, над которым я работаю. В дополнение к этому я запускаю задачи разработки с помощью команд docker run --rm при этом мой проект привязан к контейнеру. Например, команда сборки Webpack будет выглядеть так: docker run --rm -t --env "NODE_ENV = development" -v $ (pwd): / srv --workdir / srv node: alpine node_modules / .bin / webpack - config webpack.config.js --progress.

Иногда сборка Webpack зависает (примерно на 10-12%), и мне нужно ctrl + c из нее. Я пробовал оставить его на 30 минут или около того, он никогда не размораживается (мое типичное время сборки <25 секунд). В таких ситуациях, когда я нажимаю ctrl + c , иногда контейнер умирает так же, как и должен, но в других случаях он зависает, как будто ничего не произошло. Когда контейнер зависает, docker ps показывает, что он все еще работает, но docker kill и docker rm просто зависают, пока я их не отменю (опять же, я попытался оставить его на добрые 20 минут). или так без выполнения команд kill и rm ).

Я подозревал проблему с памятью, поэтому попытался увеличить объем памяти, выделенной для Docker, насколько это возможно, не делая Windows нестабильной, но это не повлияло на частоту возникновения этой проблемы. Затем я попытался посмотреть статистику докеров во время работы моих сборок, и, похоже, она достигает пика около 150 МБ (из моих доступных 2,5 ГБ). Даже со всеми другими контейнерами, которые я использовал для моей среды разработки, общая сумма не превышает 20%, поэтому кажется, что проблема не в OOM.

Другой момент заключается в том, что всякий раз, когда контейнер переходит в это состояние, если я попытаюсь повторно запустить неудавшуюся команду в новом контейнере (например, повторно запустить ту же команду docker run которую я опубликовал для сборки Webpack), новый контейнер просто зависает без вывода журнала и тоже становится неубиваемым. Это заставляет меня подозревать, что это связано с файловой системой.

Простой перезапуск Docker для Windows возвращает все в рабочее состояние. Обычно повторение моей команды сборки Webpack после перезагрузки работает нормально.

djbingham 8 мар. 2018

Я тоже сомневаюсь, что застрял в этой проблеме.

Я отлаживал с помощью lsof / strace, я обнаружил, что containerd застрял с записью чего-то в канал stdout / stderr.

% sudo ls -l /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49
total 0
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr
prwx------ 1 root root 0 Mar  8 21:46 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
prwx------ 1 root root 0 Mar  8 20:10 init-stderr
prwx------ 1 root root 0 Mar  9 11:17 init-stdout

Я обнаружил, что 2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49 - это идентификатор контейнера, но 0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08 неизвестен.
Между прочим, я обнаружил выход из контейнера после чтения двух неизвестных каналов с порядком stdout -> stderr.

% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stdout
% sudo cat /var/run/docker/containerd/2456b59776d918e0e07ae9259a54229a8f0985ae7b6ad2be7d25fccf8fdd5b49/0048bf0b619804896d3b70ccab859221bf8d318415b26cedfc096b80f4f9ed08-stderr

Я подозреваю, что dockerd содержит какое-то состояние гонки, но я не смог его найти.

tanoda 9 мар. 2018

Докер на моем хосте работал без сбоев. Но поскольку я обновился с Docker 17.12.0 до 17.12.1, я иногда сталкиваюсь с проблемой, что я не могу остановить или перезапустить контейнер, особенно если у них есть настройка проверки работоспособности. Поэтому, когда я обнаружил эту проблему, я был озадачен, поскольку 17.12.1 должен был решить эту проблему, а не вызвать ее.

Странно, если перезагрузка хоста сильно помогает «очистить» Dockerd, чтобы я мог снова останавливать или перезапускать определенные контейнеры. Но после нескольких дней / недель работы он перестанет этого делать. Для тех контейнеров, которые терпят неудачу, оба с использованием docker-compose или напрямую docker cli терпят неудачу (поэтому docker-compose down или docker stop <name> терпят неудачу одинаково, аналогично перезапуску).

$ docker info
Containers: 13
 Running: 7
 Paused: 0
 Stopped: 6
Images: 93
Server Version: 17.12.1-ce
Storage Driver: btrfs
 Build Version: Btrfs v4.4
 Library Version: 101
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: 9b55aab90508bd389d7654c4baf173a981477d55
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 apparmor
 seccomp
  Profile: default
 userns
Kernel Version: 4.13.0-36-generic
Operating System: Ubuntu 16.04.4 LTS
OSType: linux
Architecture: x86_64
CPUs: 2
Total Memory: 7.544GiB
Name: malmur
Docker Root Dir: /var/lib/docker/235536.235536
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

jcberthon 12 мар. 2018

У меня аналогичная проблема с версией 18.02. Я думаю, что смогу воспроизвести это довольно легко, запустив тест в Jenkins. Это происходит каждый раз, когда я запускаю свой тест.

Вот моя информация.

докер стоп 5a28870c74e1

Error response from daemon: cannot stop container: 5a28870c74e1: Cannot kill container 5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd: connection error: desc = "transport: dial unix /var/run/docker/containerd/docker-containerd.sock: connect: connection refused": unknown

Вывод информации о докере:

Containers: 6
 Running: 3
 Paused: 0
 Stopped: 3
Images: 8
Server Version: 18.02.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)
runc version: 9f9c96235cc97674e935002fc3d78361b696a69e
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 3.10.0-693.11.6.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 1
Total Memory: 992.3MiB
Name: docker
ID: 5WRP:X7CW:ATNU:2UAT:RSKA:4BX7:R4T6:B5DT:HGF4:YRTF:BXGK:NON5
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

версия докера

Client:
 Version:   18.02.0-ce
 API version:   1.36
 Go version:    go1.9.3
 Git commit:    fc4de44
 Built: Wed Feb  7 21:14:12 2018
 OS/Arch:   linux/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.02.0-ce
  API version:  1.36 (minimum version 1.12)
  Go version:   go1.9.3
  Git commit:   fc4de44
  Built:    Wed Feb  7 21:17:42 2018
  OS/Arch:  linux/amd64
  Experimental: false

докер осмотреть

 [
    {
        "Id": "5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd",
        "Created": "2018-03-13T09:38:27.546391905Z",
        "Path": "cat",
        "Args": [],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22458,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:38:27.977365052Z",
            "FinishedAt": "0001-01-01T00:00:00Z"
        },
        "Image": "sha256:0d90898532210246893d448740ee6ad83ad351f71dc188d4a5705d193cb3a580",
        "ResolvConfPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hostname",
        "HostsPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/hosts",
        "LogPath": "/var/lib/docker/containers/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd/5a28870c74e166152b4fa57a95691969eb0fb85185504dee43e495168e179bdd-json.log",
        "Name": "/reverent_lovelace",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": [
            "6fab9a929239a9659834a3975f11e73662d238c56f2ab994bed0b0df35e45d3b"
        ],
        "HostConfig": {
            "Binds": null,
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": [
                "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa"
            ],
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1-init/diff:/var/lib/docker/overlay2/7816f6aae89ff8e103e90e971e70cdc3a5bda0722d89fa361fce259e169c8aa8/diff:/var/lib/docker/overlay2/72f3b10b691778a8838270b9548a52dfabb11f28b2f520f1a24981dd416d3a25/diff:/var/lib/docker/overlay2/40cbb59d56e7583545b375636d8b99666071d3511c7acc1edc87f8e175ff5df0/diff:/var/lib/docker/overlay2/e0f0d655a2a8e3d518e966d0bd90d8e1de6ea06cd99f27ca7a5716c5be2faa19/diff:/var/lib/docker/overlay2/367dc44c14f8ad44319a439436966e9e1b00779b51c819307eb3ab47422f0b36/diff:/var/lib/docker/overlay2/e04892a8d5d028c713f10f0cdbb5d0be6854b4c90b3fa9c2bee3f0fc7217bad9/diff",
                "MergedDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/merged",
                "UpperDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/diff",
                "WorkDir": "/var/lib/docker/overlay2/78b8c2d7843b9374c55d939ccb028e27bedb1bbba34032c38609eb57f32e74a1/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5a28870c74e1",
            "Domainname": "",
            "User": "1000:1000",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "Tty": true,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "BUILD_NUMBER=12",
                "GIT_PREVIOUS_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "JOB_NAME=pipeline test/master",
                "RUN_CHANGES_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect?page=changes",
                "BUILD_DISPLAY_NAME=#12",
                "BUILD_TAG=jenkins-pipeline test-master-12",
                "GIT_URL=https://github.com/miwa911/jenkins-pipeline.git",
                "JOB_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/display/redirect",
                "NODE_NAME=master",
                "BUILD_ID=12",
                "GIT_BRANCH=master",
                "GIT_COMMIT=91873d6d120f13daf6ea243a7b8a97e0f982c6be",
                "HUDSON_HOME=/var/jenkins_home",
                "HUDSON_SERVER_COOKIE=76488b4fc4db183f",
                "JENKINS_SERVER_COOKIE=76488b4fc4db183f",
                "RUN_DISPLAY_URL=http://unconfigured-jenkins-location/job/pipeline%20test/job/master/12/display/redirect",
                "WORKSPACE=/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
                "BRANCH_NAME=master",
                "EXECUTOR_NUMBER=1",
                "GIT_PREVIOUS_SUCCESSFUL_COMMIT=145052192787cd88a307e67777367e6f3c90cb81",
                "JENKINS_NODE_COOKIE=911ca1f2-c7cc-41ba-a1d1-78df2155e65b",
                "JOB_BASE_NAME=master",
                "NODE_LABELS=master",
                "CLASSPATH=",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "NPM_CONFIG_LOGLEVEL=info",
                "NODE_VERSION=6.3.1"
            ],
            "Cmd": [
                "cat"
            ],
            "Image": "node:6.3",
            "Volumes": null,
            "WorkingDir": "/var/jenkins_home/workspace/pipeline_test_master-U6GGLXKIF4VESPPHZ475TWN76LB4NUH5VZJ6SPHWOEU6N7DL5ICA",
            "Entrypoint": null,
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "16d1c596372cdd66415d9e738f493207f7fc8ee4444e936b08b40d273b05de1b",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {},
            "SandboxKey": "/var/run/docker/netns/16d1c596372c",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.4",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:04",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "baec7581c0a8f19708e82d87ff98016b89309ef9b2c7717e92c28742f218fa4c",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.4",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:04",
                    "DriverOpts": null
                }
            }
        }
    }
]


[
    {
        "Id": "5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa",
        "Created": "2018-03-12T09:37:38.9422449Z",
        "Path": "/sbin/tini",
        "Args": [
            "--",
            "/usr/local/bin/jenkins.sh"
        ],
        "State": {
            "Status": "running",
            "Running": true,
            "Paused": false,
            "Restarting": false,
            "OOMKilled": false,
            "Dead": false,
            "Pid": 22088,
            "ExitCode": 0,
            "Error": "",
            "StartedAt": "2018-03-13T09:33:50.029083326Z",
            "FinishedAt": "2018-03-13T09:27:43.347300762Z"
        },
        "Image": "sha256:6844ee63019e341fa7c06a90ce1455200bad2f919738d12e44eaff03198c91d0",
        "ResolvConfPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/resolv.conf",
        "HostnamePath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hostname",
        "HostsPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/hosts",
        "LogPath": "/var/lib/docker/containers/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa/5049a01b4358233471daa74fb11996a6b8e3acfd9c00b33ea7a52a3c24264eaa-json.log",
        "Name": "/wonderful_carson",
        "RestartCount": 0,
        "Driver": "overlay2",
        "Platform": "linux",
        "MountLabel": "",
        "ProcessLabel": "",
        "AppArmorProfile": "",
        "ExecIDs": null,
        "HostConfig": {
            "Binds": [
                "/home/docker/jenkins/jenkins_home:/var/jenkins_home",
                "/var/run/docker.sock:/var/run/docker.sock"
            ],
            "ContainerIDFile": "",
            "LogConfig": {
                "Type": "json-file",
                "Config": {}
            },
            "NetworkMode": "default",
            "PortBindings": {},
            "RestartPolicy": {
                "Name": "no",
                "MaximumRetryCount": 0
            },
            "AutoRemove": false,
            "VolumeDriver": "",
            "VolumesFrom": null,
            "CapAdd": null,
            "CapDrop": null,
            "Dns": [],
            "DnsOptions": [],
            "DnsSearch": [],
            "ExtraHosts": null,
            "GroupAdd": null,
            "IpcMode": "shareable",
            "Cgroup": "",
            "Links": null,
            "OomScoreAdj": 0,
            "PidMode": "",
            "Privileged": false,
            "PublishAllPorts": false,
            "ReadonlyRootfs": false,
            "SecurityOpt": null,
            "UTSMode": "",
            "UsernsMode": "",
            "ShmSize": 67108864,
            "Runtime": "runc",
            "ConsoleSize": [
                0,
                0
            ],
            "Isolation": "",
            "CpuShares": 0,
            "Memory": 0,
            "NanoCpus": 0,
            "CgroupParent": "",
            "BlkioWeight": 0,
            "BlkioWeightDevice": [],
            "BlkioDeviceReadBps": null,
            "BlkioDeviceWriteBps": null,
            "BlkioDeviceReadIOps": null,
            "BlkioDeviceWriteIOps": null,
            "CpuPeriod": 0,
            "CpuQuota": 0,
            "CpuRealtimePeriod": 0,
            "CpuRealtimeRuntime": 0,
            "CpusetCpus": "",
            "CpusetMems": "",
            "Devices": [],
            "DeviceCgroupRules": null,
            "DiskQuota": 0,
            "KernelMemory": 0,
            "MemoryReservation": 0,
            "MemorySwap": 0,
            "MemorySwappiness": null,
            "OomKillDisable": false,
            "PidsLimit": 0,
            "Ulimits": null,
            "CpuCount": 0,
            "CpuPercent": 0,
            "IOMaximumIOps": 0,
            "IOMaximumBandwidth": 0
        },
        "GraphDriver": {
            "Data": {
                "LowerDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f-init/diff:/var/lib/docker/overlay2/c1db031b078fccca2c4ecb9c08f02a12a166a19fbbb07d709fc7f909e543224b/diff:/var/lib/docker/overlay2/e87a5e9585cf46649068fd2804e9b0077586798e8817b635e9cdb27d604c9de3/diff:/var/lib/docker/overlay2/3aaf41fa890140b773a497f75e1e230249c9a50ef9e637807046bd2645d47383/diff:/var/lib/docker/overlay2/b3042667faad116fa7c1fda0ade770be4b7f3d980ec0c1fdaa3b7141590bce1a/diff:/var/lib/docker/overlay2/061f3bf09589109b981a0b1e4d1e033eda2e69ef0b93ee5d7b7219288392c75e/diff:/var/lib/docker/overlay2/ff2306ca7c4b29c85b102e4274968da89c04335ecbb436c348a2129aadaf5554/diff:/var/lib/docker/overlay2/f82ff9ece6eac85cacb3b39129ea89afe9f59b4729c85a06af7277f357a1800e/diff:/var/lib/docker/overlay2/486e2412d67fc87781f0bd6890402915bf1270ab6b9553c603427e671a2bb01d/diff:/var/lib/docker/overlay2/5a80be543bbabb904d8bc75cdee2788f58988b86bbe6e0b7cafa4f23a1afd08f/diff:/var/lib/docker/overlay2/a80d6b1c1895a11ac66cdb30aabf17cfe912f05b87260d435a53b2199b90bae5/diff:/var/lib/docker/overlay2/ee85443de96d6090613ca21303bb168e3d11f717424fbb2c198e8d9ad315ca7a/diff:/var/lib/docker/overlay2/b4bb1975a154aa01a6d293e6346bece8fca12ecf2390153a1c9b236aec5df008/diff:/var/lib/docker/overlay2/b57c6c33340dae437b79a51f24524821796e8dee73e1cb5499834e8cc08f3e81/diff:/var/lib/docker/overlay2/0e0e4140d22655500ea9580a3f5a3bf69b4a6e3f1880bf0896406aeea17cdb8a/diff:/var/lib/docker/overlay2/d49d5d848055333df33351aeeb4c7a9ed967515ef433ee875d5dbfc6edb14c17/diff:/var/lib/docker/overlay2/a87e0ee4bf32e82943b4e38375131867e0fa6fb5a524ad2a4835223588785a9d/diff:/var/lib/docker/overlay2/a6f8827918230ce42c9988c190c229030a62426de6ebc6de1e905573ef60ae9e/diff:/var/lib/docker/overlay2/5c6b6e85d0f568307e7514e51b736c50a5dbf12f3d8ba971067f4acfa02609bb/diff:/var/lib/docker/overlay2/a79d301bc255744c54ccdaa9c440494dfadec50106b0e3d6d0f7461c7a490742/diff:/var/lib/docker/overlay2/f6f53d9320fee3231a646cbc71bdffc571162368ee123ff3270ba39b2d70691a/diff:/var/lib/docker/overlay2/5930cbcb8f8133c83755f1e2c509a8cd51e7b5ba9a76dc0c581973129d3aa35d/diff",
                "MergedDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/merged",
                "UpperDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/diff",
                "WorkDir": "/var/lib/docker/overlay2/b3474fead85ba8317d2f19aecb9d13128c3660d9fa4b4a0d785480477a8e627f/work"
            },
            "Name": "overlay2"
        },
        "Mounts": [
            {
                "Type": "bind",
                "Source": "/home/docker/jenkins/jenkins_home",
                "Destination": "/var/jenkins_home",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            },
            {
                "Type": "bind",
                "Source": "/var/run/docker.sock",
                "Destination": "/var/run/docker.sock",
                "Mode": "",
                "RW": true,
                "Propagation": "rprivate"
            }
        ],
        "Config": {
            "Hostname": "5049a01b4358",
            "Domainname": "",
            "User": "jenkins",
            "AttachStdin": false,
            "AttachStdout": false,
            "AttachStderr": false,
            "ExposedPorts": {
                "50000/tcp": {},
                "8080/tcp": {}
            },
            "Tty": false,
            "OpenStdin": false,
            "StdinOnce": false,
            "Env": [
                "[email protected]",
                "LETSENCRYPT_HOST=jenkins.miwashop.com",
                "VIRTUAL_HOST=jenkins.miwashop.com",
                "VIRTUAL_PORT=8080",
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
                "LANG=C.UTF-8",
                "JAVA_HOME=/docker-java-home",
                "JAVA_VERSION=8u151",
                "JAVA_DEBIAN_VERSION=8u151-b12-1~deb9u1",
                "CA_CERTIFICATES_JAVA_VERSION=20170531+nmu1",
                "JENKINS_HOME=/var/jenkins_home",
                "JENKINS_SLAVE_AGENT_PORT=50000",
                "JENKINS_VERSION=2.111",
                "JENKINS_UC=https://updates.jenkins.io",
                "JENKINS_UC_EXPERIMENTAL=https://updates.jenkins.io/experimental",
                "COPY_REFERENCE_FILE_LOG=/var/jenkins_home/copy_reference_file.log"
            ],
            "Cmd": null,
            "ArgsEscaped": true,
            "Image": "jenkins/jenkins:latest",
            "Volumes": {
                "/var/jenkins_home": {}
            },
            "WorkingDir": "",
            "Entrypoint": [
                "/sbin/tini",
                "--",
                "/usr/local/bin/jenkins.sh"
            ],
            "OnBuild": null,
            "Labels": {}
        },
        "NetworkSettings": {
            "Bridge": "",
            "SandboxID": "1dcd94febb0a76606f80777174e45b3fd7bfc4d90676b9b2a3bb2c3226aa2904",
            "HairpinMode": false,
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "Ports": {
                "50000/tcp": null,
                "8080/tcp": null
            },
            "SandboxKey": "/var/run/docker/netns/1dcd94febb0a",
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
            "Gateway": "172.17.0.1",
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.3",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
            "MacAddress": "02:42:ac:11:00:03",
            "Networks": {
                "bridge": {
                    "IPAMConfig": null,
                    "Links": null,
                    "Aliases": null,
                    "NetworkID": "669f5d230c893729c633095f59ad01885c689028f4379aba3621f239f734e46b",
                    "EndpointID": "1bd793b1aad29922934758049725101de03b9284bb48774d3fd6012d7cbbbb2b",
                    "Gateway": "172.17.0.1",
                    "IPAddress": "172.17.0.3",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,
                    "MacAddress": "02:42:ac:11:00:03",
                    "DriverOpts": null
                }
            }
        }
    }
]

danghung-dev 13 мар. 2018

@ miwa911 на основе;

containerd version: N/A (expected: 9b55aab90508bd389d7654c4baf173a981477d55)

Похоже, containerd мог выйти / перезапуститься. Я вижу, что у этой машины не так много памяти;

Total Memory: 992.3MiB

Может быть, во время теста закончилась память, и ядро OOM убило некоторые процессы? Я бы рекомендовал проверить демон и системные журналы, чтобы узнать, содержат ли они дополнительную информацию.

thaJeztah 13 мар. 2018

@thaJeztah Спасибо, ThaJeztah,
Я новичок, поэтому не знаю, где проверить. Я прикрепил свою трассировку стека (curl --unix-socket /var/run/docker.sock http: // localhost / debug / pprof / goroutine? Debug = 2).

goroutine_debug.log

danghung-dev 13 мар. 2018

Я думаю, у меня есть связанная проблема

На прошлой неделе я обновил нашу среду разработки до последней версии 17.12.1-ce, build 7390fc6, и впервые вижу эту ошибку.

Я разработчик попытался обновить приложение, но Swarm не может удалить старый контейнер предыдущей версии на определенном узле кластера. Я узнал об этом, потому что разработчики начали периодически жаловаться на синдром белой страницы.

Когда я делаю докер-сервис ps на сервисе, вот что я вижу: https://www.screencast.com/t/LXAfmddRDp
Старый контейнер работает, но в выключенном состоянии.

На узле я вижу контейнер, как если бы он работал нормально:
https://www.screencast.com/t/ABKVYxNUQ

А от "docker service ls" у меня контейнеров больше, чем ожидалось
https://www.screencast.com/t/0Po8Sqs0Jr

Я попытался запустить docker kill и docker inspect на контейнере с узла, но он не работает.
У меня в dmesg нет конкретного мессенджера.

Это все, что я могу сказать с этого момента: я удалю стек и снова запущу его, чтобы разработчики могли продолжить свою работу.

Надеюсь, поможет

РЕДАКТИРОВАТЬ:

Stack rm не устранил проблему, контейнер зомби все еще находился на узле
Установка доступности узла для слива НЕ устранила проблему, на узле остался только контейнер зомби.
перезапуск службы докера не отвечает
Наконец, перезагрузил узел, и всех контейнеров больше не было.

Я увидел такую ошибку на узле во время процесса

ar 13 10:04:10 имя-сервера dockerd: time = "2018-03-13T10: 04: 10.406196465-04: 00" level = error msg = "Не удалось загрузить контейнер f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764facb24 / open / var / контейнеры / docker /f5d6bb74d6b37871b72b5f27d46f8705a6b66cba7afb50706bbf68b764facb24/config.v2.json: нет такого файла или каталога "
13 марта 10:04:10 имя-сервера dockerd: time = "2018-03-13T10: 04: 10.408039262-04: 00" level = error msg = "Не удалось загрузить контейнер fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0bcker7cb7a / libs / var / lib /fd5ac869991b263a28c36bddf9b2847a8a26e2b7d59fa033f85e9616b0b7cb7a/config.v2.json: нет такого файла или каталога "

РЕДАКТИРОВАТЬ2:
Нашел кого-то еще с той же проблемой: https://github.com/moby/moby/issues/36553

JnMik 13 мар. 2018

👍2

/ cc @stevvooe @dmcgowan, если вы знаете, что нужно искать со стороны контейнера

thaJeztah 15 мар. 2018

@mauriceteunissen у нас проблема с 17.12.1-ce

vce-xx 17 мар. 2018

👍1

Интересно, используется ли Tini: All Tini does is spawn a single child (Tini is meant to be run in a container), and wait for it to exit all the while reaping zombies and performing signal forwarding.

https://github.com/krallin/tini, эта проблема и https://github.com/moby/moby/issues/34213 будут исправлены!

loretoparisi 21 мар. 2018

@loretoparisi Сомневаюсь.

Но вы всегда устанавливаете docker run --init чтобы увидеть ... --init использует tini.

cpuguy83 21 мар. 2018

@ cpuguy83 Я говорю, что, поскольку во всех моих проблемах и выводах (см. https://github.com/moby/moby/issues/34213), связанных с Java, основная проблема может быть адресована зомби-процессам в JVM (например, Многопоточные приложения Java с не перехваченными неперехваченными исключениями) и / или заблокированными ресурсами ввода-вывода (в основном те же процессы java, которые сохраняли открытыми некоторые сокеты / файлы) ИЛИ та же проблема, но для некоторых исполняемых файлов C ++, запущенных через child_process вилка. Но это всего лишь гипотеза, поскольку я не смог воспроизвести ее, чтобы убедиться в этом ...

loretoparisi 21 мар. 2018

У нас такая же проблема 17.12.1-в.

Со временем контейнеры переходят в состояние, при котором зависает docker ps и docker inspect .
Принуждение роя к повторному развертыванию службы переводит контейнер в состояние зомби (желаемое состояние: выключение, текущее состояние: выполнение).

docker kill не работает. Один из способов убить контейнер - ps aux | grep [container_id] а затем kill [process_id]

Могу ли я предоставить какую-либо информацию?

mhaamann 21 мар. 2018

👍4

@mhaamann Если команды docker зависают, не могли бы вы получить трассировку стека из dockerd?

Вы можете сделать это, нажав конечную точку /debug/pprof/goroutines?debug=2
Пример:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

cpuguy83 21 мар. 2018

Конечно @ cpuguy83.
Опишу это так, чтобы быть уверенным, что делаю правильно. Открыты два терминала.
В первом я выполнил docker inspect [container_id] . Подождал несколько секунд, чтобы убедиться, что он застрял. ( Обычно inspect возвращает результат в течение 1 секунды. )
Затем во втором терминале я выполнил:

curl --unix-socket /var/run/docker.sock http://./debug/pprof/goroutines?debug=2

След можно найти здесь: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6

mhaamann 21 мар. 2018

@mhaamann Можете ли вы выполнить следующую команду, чтобы получить стек containerd?

docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:17.12.1 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

В качестве альтернативы, если вы находитесь на хосте, вы можете просто запустить:

docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

cpuguy83 22 мар. 2018

(btw) Соответствующая застрявшая горутина выглядит как вызов containerd: https://gist.github.com/mhaamann/f63ad6a0b8f70a8c47e030fae1cdd1f6#file -stack-trace-from-dockerd-L5213-L5241

cpuguy83 22 мар. 2018

Вот стек с хоста, сгенерированный с использованием: docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines

https://gist.github.com/mhaamann/215c3c6f77af89972b6eace4d09866fc

mhaamann 22 мар. 2018

@mhaamann Спасибо! Копать глубже...

Похоже, он застрял, получая состояние контейнера из процесса прокладки.
Можете ли вы запустить трассировку стека на прокладке? kill -SIGUSR1 ${PID_OF_SHIM}
Это должно генерировать трассировку стека и распространяться до журналов dockerd.
Вы должны понять, что такое pid, поскольку это родительский процесс для процесса контейнера.

cpuguy83 22 мар. 2018

👍1

@ cpuguy83

Мы использовали ps faux | grep docker и нашли родительскую прокладку. Здесь скопирована соответствующая часть:

root      2624  2.3  2.5 5621140 829884 ?      Ssl  Feb28 782:08 /usr/bin/dockerd
root      2634  0.3  0.1 1694516 47684 ?       Ssl  Feb28 105:32  \_ docker-containerd --config /var/run/docker/containerd/containerd.toml
...

Затем мы выполнили kill -SIGUSR1 2634 . Журналы прикреплены сюда:

https://gist.github.com/mhaamann/e245e9a8dedf264ae0343af1322bdf66

mhaamann 23 мар. 2018

@mhaamann Спасибо, но я думаю, нам нужен дамп из docker-containerd-shim а не из docker-containerd

cpuguy83 23 мар. 2018

Я снова застрял с этой проблемой. На этот раз при попытке обновления с 17.12.1 на 18.03.0. Процесс обновления завис, большинство контейнеров все еще работают (потому что приложение все еще запущено, но docker ps зависло).

Я сделал дамп сокета docker-containerd, вот суть: https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6

Не знаю как сделать дамп docker-containerd-shim .

jcberthon 23 мар. 2018

👍1

@jcberthon Спасибо, это похоже на ту же проблему, что и выше, на первый взгляд.
Чтобы получить дамп стека из docker-containerd-shim do kill -s SIGUSR1 <docker-containerd-shim-pid> . Это должно создать трассировку стека в журналах для dockerd.

cpuguy83 23 мар. 2018

👍1

Привет @ cpuguy83 Мне пришлось перезагрузить хост (до того, как я увидел ваше сообщение), потому что перезапуск службы docker.service не сработал, и убийство процессов не помогло впоследствии перезапустить контейнеры. Поэтому я прошел полный цикл перезагрузки, а не возился, пока не вернусь в чистое состояние.

Поэтому мне нужно дождаться следующей блокировки, прежде чем я смогу сообщить о дампе стека для docker-containerd-shim. Я сейчас на 18.03.0 ...

В любом случае спасибо, что быстро ответили мне :-)

jcberthon 23 мар. 2018

👍1

Был 17.12.1 в течение 21 дня, и с тех пор эта проблема повторялась со мной дважды (в том числе сегодня). У меня редко бывает время на устранение неполадок, так как он работает на критически важном компьютере, и немедленная перезагрузка часто является решением. Как отметил @jcberthon , перезапуск службы

Если я смогу получить точную последовательность команд, которые необходимо запустить, и журналы, которые необходимо сбросить, я смогу записать их в следующий раз, когда это произойдет, но я также воспользовался необходимостью перезагрузки и обновления до 18.03.0 как сегодня надеясь, что это может решить эту проблему для меня.

mauriceteunissen 24 мар. 2018

@ cpuguy83 kill -SIGUSR1 в docker-containerd-shim не генерирует трассировку стека. Ничего не произошло.

mhaamann 24 мар. 2018

Это должно быть в логах для dockerd?

В субботу, 24 марта 2018 г., в 14:15, Маттиас Хааманн [email protected]
написал:

@ cpuguy83 https://github.com/cpuguy83 kill -SIGUSR1 на прокладке делает
не генерировать трассировку стека. Ничего не произошло.
-
Вы получаете это, потому что вас упомянули.
Ответьте на это письмо напрямую, просмотрите его на GitHub
https://github.com/moby/moby/issues/35933#issuecomment-375913621 или отключить звук
нить
https://github.com/notifications/unsubscribe-auth/AAwxZtxfxj8i-AmbzffFqR1SSLIvYzbcks5tho1YgaJpZM4RTNnH
.

-

Брайан Гофф

cpuguy83 24 мар. 2018

Кому-нибудь удалось правильно запустить 17.12.1 в продакшене?

JnMik 27 мар. 2018

За последние (почти) 5 дней (то есть когда я обновился до Docker CE 18.03.0) я не столкнулся с этой проблемой.

Это не значит, что она будет решена в 18.03.0, об этом еще рано говорить. Но, по крайней мере, это происходит реже. Раньше у меня были проблемы, по крайней мере, каждые 2 или 3 дня. 🤞

jcberthon 28 мар. 2018

👍1

@jcberthon действительно интересует результат. Потому что я вижу людей, у которых тоже есть проблемы с 18.03.0. @JnMik Мы решили понизить версию до 17.09.1, пока эта проблема не будет решена, так как это часто происходило 17.12 и 18.02.

jordijansen 28 мар. 2018

👍3

Мы также придерживаемся версии 17.09.1, потому что более новые версии у нас не работают.

huepf 28 мар. 2018

👍2

Это интересно, потому что для моей первоначальной проблемы решением было обновление до 18.02. Ну, по крайней мере, пока все хорошо.

Timunas 28 мар. 2018

👍1

Буквально сегодня я создал новый кластер с докером 17.12.1 и столкнулся с этой проблемой.
Через 8 часов, выполняя скользящее обновление службы, я заметил, что контейнер «зависает», и я не могу docker inspect это.

Вот дамп из containerd-shim, полученный как объяснил @ cpuguy83 .

https://gist.github.com/mion00/7ff75e04d6ac21de353cef3e8c64fcd1

Изменить: обновить (надеюсь) правильную трассировку стека из containerd-shim из другого контейнера, который также застрял.

mion00 28 мар. 2018

@ mion00 Это похоже на дамп контейнера, а не прокладку контейнера :(

cpuguy83 30 мар. 2018

@ cpuguy83 Я обновил свой предыдущий комментарий,

mion00 31 мар. 2018

К сожалению, это случилось снова, но после более чем недели работы безупречно, так что это выигрыш по сравнению с 17.12.1. Копия: @jordijansen

Во всяком случае, я пытался создать дамп для docker-containerd-shim . Я перечислил все такие процессы и выбрал тот, который соответствует одному застрявшему контейнеру (я не могу вести журналы докеров, docker exec и т. Д. В этом контейнере). Итак, я выполнил sudo kill -s SIGUSER1 <pid> , однако, когда я пытаюсь проверить журналы dockerd (используя sudo journalctl -u docker.service ), последняя дата сообщений журнала была получена более 12 часов назад. Поэтому я подозреваю, что dockerd завис и больше ничего не регистрирует ... Так что никакого дампа ... если где-то нет неизвестного файла ...

Я обновил суть (https://gist.github.com/jcberthon/143c3e6b7c9e5fc8f18c9204ca1bedf6) последней информацией. В конце я добавил команды, которые запускаю, чтобы попытаться выяснить, какой docker-containerd-shim я должен отправить сигнал SIGUSR1. В моем застрявшем контейнере работает база данных MongoDB, поэтому я ищу его PID, а затем, используя proc FS, ищу группы, к которым он принадлежит. Используя идентификаторы cgroup, я идентифицировал PID docker-containerd-shim.

jcberthon 1 апр. 2018

@jcberthon У меня тоже была такая же проблема, dockerd не регистрировал трассировку стека. Я решил, что добавив "debug": true в конфигурацию json в /etc/docker/daemon.json и выполнив service docker reload чтобы получить новую конфигурацию. Это включает журналы отладки в dockerd, а затем вы можете найти трассировку стека после kill -s SIGUSER1

mion00 1 апр. 2018

Спасибо @ mion00 , добавив эту опцию и перезагрузив демон, теперь я могу видеть некоторые журналы, когда делаю sudo journalctl -u docker.service . Однако при отправке сигнала USR1 процессу docker-containerd-shim я не вижу новых журналов, поэтому у меня нет дампов :-(

jcberthon 1 апр. 2018

@ mion00 @jcberthon Вы хотите попробовать патч в https://github.com/moby/moby/pull/36751 и сообщить мне, поможет ли это?

stevvooe 3 апр. 2018

18.03.0 все еще страдает

По-прежнему возникает эта проблема 18.03.0 для Mac ... реже ... но все еще существует.

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764393 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc420741ce0, 0x0, 0xc420419ad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc420741ce0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc420741ce0, 0x2, 0xc420741ce0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc42052f4b1, 0x9, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc420741ce0, 0xc4207e0000)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206f6280, 0x1469fe0, 0xc4206e26c0)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select, 1 minutes]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall, 1 minutes]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc4206f6300, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206f6280, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8008, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8008)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x4acb760201fcbb8, 0x5ac36c5e, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x111349c75d3a6, 0x14a7a60, 0xbea8f8f784a7d948)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4201c8ce0, 0xc4201c8ce0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select, 1 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x7add264201febb8, 0x5ac36c5e, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x111349f76e9fa, 0x14a7a60, 0xbea8f8f787ab9e54)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc4202bf260, 0xc4202bf260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select, 1 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire, 1 minutes]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f35)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select, 1 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 764394 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56970, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee698, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee698, 0xc4205a7600, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee680, 0xc4205a7661, 0x1, 0x1, 0x0, 0xc420545a00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e398, 0xc4205a7661, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4205a7650)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671746 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764368 [syscall, 1 minutes]:
syscall.Syscall6(0xf7, 0x1, 0x36fe, 0xc42049d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4204f9c00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc4207ebe90, 0x0, 0xc42049d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc4207ebe90, 0xc42049d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc4207ebe90, 0xc420523400, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4203138c0, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4203138c0, 0xc420568320)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 592291 [IO wait, 42 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764369 [select, 1 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc42065c540)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671647 [select, 42 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764402 [IO wait, 1 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4898, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4898, 0xc42073d000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4880, 0xc42073d000, 0x1000, 0x1000, 0xc42041ee78, 0x43ebf4, 0xc4201be7e0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0370, 0xc42073d000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xc42041efac, 0x0, 0xc42041efa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0xa, 0xc4201f6100, 0x0, 0xc42041ef48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc42065c4e0, 0xc420774420, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc420774420, 0xa, 0xa, 0x145c760, 0xc42065c4e0, 0xc42041ef48, 0x2, 0x2, 0xc42041efa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc420774400, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4204a7060, 0x6, 0xb, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be840, 0xc42065c540, 0xc420265220, 0xc4201be7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

И снова (чтобы упростить фильтрацию переходных процессов от зависаний)

$ docker run -it --rm -v /run/docker/containerd:/run/docker/containerd docker:18.03.0 docker-containerd-ctr pprof --debug-socket /run/docker/containerd/docker-containerd-debug.sock goroutines
goroutine 764428 [running]:
runtime/pprof.writeGoroutineStacks(0x145e720, 0xc4200ac7e0, 0x0, 0xc4205ccad0)
    /usr/local/go/src/runtime/pprof/pprof.go:608 +0xa9
runtime/pprof.writeGoroutine(0x145e720, 0xc4200ac7e0, 0x2, 0x30, 0x1026340)
    /usr/local/go/src/runtime/pprof/pprof.go:597 +0x46
runtime/pprof.(*Profile).WriteTo(0x1448700, 0x145e720, 0xc4200ac7e0, 0x2, 0xc4200ac7e0, 0xc4201b8750)
    /usr/local/go/src/runtime/pprof/pprof.go:310 +0x3ad
net/http/pprof.handler.ServeHTTP(0xc4205620d1, 0x9, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:237 +0x1ba
net/http/pprof.Index(0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/pprof/pprof.go:248 +0x1dd
net/http.HandlerFunc.ServeHTTP(0x10b0ee8, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:1918 +0x46
net/http.(*ServeMux).ServeHTTP(0xc4201b8750, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2254 +0x132
net/http.serverHandler.ServeHTTP(0xc4201c0410, 0x1469220, 0xc4200ac7e0, 0xc42057b200)
    /usr/local/go/src/net/http/server.go:2619 +0xb6
net/http.(*conn).serve(0xc4206328c0, 0x1469fe0, 0xc4202fa300)
    /usr/local/go/src/net/http/server.go:1801 +0x71f
created by net/http.(*Server).Serve
    /usr/local/go/src/net/http/server.go:2720 +0x28a

goroutine 1 [chan receive, 5006 minutes]:
main.main.func1(0xc4200aedc0, 0xc4200aedc0, 0xc4201adb4f)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:132 +0x871
github.com/containerd/containerd/vendor/github.com/urfave/cli.HandleAction(0xf9bc00, 0x10b0b60, 0xc4200aedc0, 0xc420058ba0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:502 +0xd4
github.com/containerd/containerd/vendor/github.com/urfave/cli.(*App).Run(0xc420182a80, 0xc420010090, 0x3, 0x3, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/urfave/cli/app.go:268 +0x655
main.main()
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:135 +0x53d

goroutine 13 [select, 12 minutes]:
main.handleSignals.func1(0xc420058c60, 0xc420058c00, 0x146a0a0, 0xc4201739b0, 0xc420070420)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:30 +0xf7
created by main.handleSignals
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main_unix.go:27 +0x8b

goroutine 12 [syscall, 12 minutes]:
os/signal.signal_recv(0x14640a0)
    /usr/local/go/src/runtime/sigqueue.go:131 +0xa8
os/signal.loop()
    /usr/local/go/src/os/signal/signal_unix.go:22 +0x24
created by os/signal.init.0
    /usr/local/go/src/os/signal/signal_unix.go:28 +0x43

goroutine 14 [select, 5006 minutes, locked to thread]:
runtime.gopark(0x10b1368, 0x0, 0xba26f3, 0x6, 0x18, 0x1)
    /usr/local/go/src/runtime/proc.go:287 +0x132
runtime.selectgo(0xc420200f50, 0xc4200704e0)
    /usr/local/go/src/runtime/select.go:395 +0x114f
runtime.ensureSigM.func1()
    /usr/local/go/src/runtime/signal_unix.go:511 +0x226
runtime.goexit()
    /usr/local/go/src/runtime/asm_amd64.s:2337 +0x1

goroutine 34 [select]:
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Broadcaster).run(0xc4201a23c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:117 +0x414
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewBroadcaster
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/broadcast.go:39 +0x1b1

goroutine 35 [select]:
github.com/containerd/containerd/gc/scheduler.(*gcScheduler).run(0xc4201ec3c0, 0x146a0a0, 0xc42024eb10)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:243 +0x21d
created by github.com/containerd/containerd/gc/scheduler.init.0.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/gc/scheduler/scheduler.go:107 +0x4bf

goroutine 36 [syscall]:
syscall.Syscall6(0xe8, 0x5, 0xc4206439b8, 0x80, 0xffffffffffffffff, 0x0, 0x0, 0x1, 0x80, 0x0)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
github.com/containerd/containerd/vendor/golang.org/x/sys/unix.EpollWait(0x5, 0xc4206439b8, 0x80, 0x80, 0xffffffffffffffff, 0x1, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/sys/unix/zsyscall_linux_amd64.go:1518 +0x79
github.com/containerd/containerd/metrics/cgroups.(*oomCollector).start(0xc42020d3c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:98 +0x7d
created by github.com/containerd/containerd/metrics/cgroups.newOOMCollector
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/metrics/cgroups/oom.go:34 +0x125

goroutine 50 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56f70, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee118, 0x72, 0xc420203b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee118, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee100, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee100, 0xc420632940, 0xfb2160, 0xc420203d78)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7920, 0x7f8e9a, 0x45ad10, 0xc420203dc0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7920, 0x10b0d00, 0xc4206328c0, 0x146a0a0, 0xc4201b8840)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
net/http.(*Server).Serve(0xc4201c0410, 0x1468fe0, 0xc4202c7920, 0x0, 0x0)
    /usr/local/go/src/net/http/server.go:2695 +0x1b4
net/http.Serve(0x1468fe0, 0xc4202c7920, 0x145e360, 0xc4201b8750, 0x10b0f00, 0xc420268720)
    /usr/local/go/src/net/http/server.go:2323 +0x75
github.com/containerd/containerd/server.(*Server).ServeDebug(0xc4201aef40, 0x1468fe0, 0xc4202c7920, 0xc420268738, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:159 +0x1c8
github.com/containerd/containerd/server.(*Server).ServeDebug-fm(0x1468fe0, 0xc4202c7920, 0xc4202c7920, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:115 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7920, 0xc4202bb620, 0x146a0a0, 0xc4202c79e0, 0xc4202c0380, 0x37)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 51 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56eb0, 0x72, 0xffffffffffffffff)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee298, 0x72, 0xc420033b00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee298, 0xffffffffffffff00, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Accept(0xc4202ee280, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:335 +0x1e4
net.(*netFD).accept(0xc4202ee280, 0xc4202b8000, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:238 +0x44
net.(*UnixListener).accept(0xc4202c7a70, 0x89339b, 0x45ad10, 0xc420033da0)
    /usr/local/go/src/net/unixsock_posix.go:162 +0x34
net.(*UnixListener).Accept(0xc4202c7a70, 0x10b07e8, 0xc4201f8140, 0x146d6c0, 0xc4202b8000)
    /usr/local/go/src/net/unixsock.go:241 +0x4b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve(0xc4201f8140, 0x1468fe0, 0xc4202c7a70, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:463 +0x198
github.com/containerd/containerd/server.(*Server).ServeGRPC(0xc4201aef40, 0x1468fe0, 0xc4202c7a70, 0xc420268f38, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:138 +0x55
github.com/containerd/containerd/server.(*Server).ServeGRPC-fm(0x1468fe0, 0xc4202c7a70, 0xc4202c7a70, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:129 +0x40
main.serve.func1(0x1468fe0, 0xc4202c7a70, 0xc4202bb730, 0x146a0a0, 0xc4202c7b30, 0xc4202c0480, 0x31)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:146 +0x77
created by main.serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/cmd/containerd/main.go:144 +0x1c8

goroutine 52 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56df0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee618, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee618, 0xc4203f2000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee600, 0xc4203f2000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8028, 0xc4203f2000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x9, 0x227a0234201fcbb8, 0x5ac36c69, 0xc4201fcbc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202da660, 0xc4203021f8, 0x9, 0x9, 0x1113749e9ca22, 0x14a7a60, 0xbea8f8fa62751fd0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203021f8, 0x9, 0x9, 0x145c760, 0xc4202da660, 0x0, 0x7070e0900000000, 0xc4202e6798, 0xc4201fcce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4203021c0, 0xc4202bff20, 0xc4202bff20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404000, 0xc4203ef9e0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8028, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8028)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 53 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203ed840, 0xc4203ef980, 0xc42041cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 54 [select, 88 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 56 [select, 5006 minutes]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e93c0, 0x146d000, 0xc4203f0550, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e93a0, 0xc4202e6d20, 0xc4202a2000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202ee800, 0xc4203e9380, 0x10af408, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4200157f0, 0xc4201f8140, 0x146d1e0, 0xc4200aef20, 0xc4202f0400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 15 [IO wait, 74 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56d30, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420012498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420012498, 0xc420428000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420012480, 0xc420428000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e138, 0xc420428000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x9, 0xc420038bb8, 0x400f10, 0xc420038c67)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420058cc0, 0xc4200ac3b8, 0x9, 0x9, 0x83ce2d, 0xc42048414c, 0xc42043a000)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4200ac3b8, 0x9, 0x9, 0x145c760, 0xc420058cc0, 0x0, 0x0, 0xc420484140, 0xc420038ce8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc4200ac380, 0xc420484140, 0xc420484140, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc4200aef20, 0xc420173bc0, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc42000e138, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc42000e138)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 16 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc420054cc0, 0xc420173b60, 0xc42041dfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 66 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc4200aef20)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 57 [semacquire, 5006 minutes]:
sync.runtime_notifyListWait(0xc4203edbd0, 0xc400000000)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edbc0)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204382d0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204382d0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 58 [select, 5006 minutes]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438330, 0xc4203e93e0, 0xc42040a120, 0x1469fe0, 0xc4203edb80, 0xc4202da7e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 67 [select]:
github.com/containerd/containerd/services/events.(*service).Subscribe(0xc4201b0088, 0xc4203e9700, 0x146d000, 0xc4203f06f0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/events/service.go:61 +0x213
github.com/containerd/containerd/api/services/events/v1._Events_Subscribe_Handler(0xff7e20, 0xc4201b0088, 0x146c580, 0xc4203e96e0, 0xc4202e7090, 0xc420029400)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/events/v1/events.pb.go:288 +0x110
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.StreamServerInterceptor(0xff7e20, 0xc4201b0088, 0x146c640, 0xc4202eeb80, 0xc4203e96c0, 0x10af408, 0x0, 0xc420268ec8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:40 +0x13b
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processStreamingRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0xc4202c7470, 0x1447fc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:940 +0x2ea
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1027 +0x14c3
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42019a200)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 60 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56c70, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee918, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee918, 0xc420458000, 0x8000, 0x8000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee900, 0xc420458000, 0x8000, 0x8000, 0x11, 0x0, 0x0)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4202b8040, 0xc420458000, 0x8000, 0x8000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x0, 0x0)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x9, 0x22856124201febb8, 0x5ac36c69, 0xc4201febc0)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4202daae0, 0xc4203023b8, 0x9, 0x9, 0x1113749f52782, 0x14a7a60, 0xbea8f8fa62803e4c)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/golang.org/x/net/http2.readFrameHeader(0xc4203023b8, 0x9, 0x9, 0x145c760, 0xc4202daae0, 0x0, 0x7070e0900000000, 0xc4202e6fb8, 0xc4201fece8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:237 +0x7d
github.com/containerd/containerd/vendor/golang.org/x/net/http2.(*Framer).ReadFrame(0xc420302380, 0xc420204d20, 0xc420204d20, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/golang.org/x/net/http2/frame.go:492 +0xa6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).HandleStreams(0xc420404840, 0xc420438900, 0x10b0820)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:393 +0x317
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams(0xc4201f8140, 0x146d1e0, 0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:568 +0x142
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveHTTP2Transport(0xc4201f8140, 0x146d6c0, 0xc4202b8040, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:561 +0x473
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleRawConn(0xc4201f8140, 0x146d6c0, 0xc4202b8040)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:526 +0x499
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).Serve
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:495 +0x5bb

goroutine 61 [select]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.loopyWriter(0x7f97623111a8, 0xc4203eddc0, 0xc4204388a0, 0xc42046cfb8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/transport.go:750 +0x2e6
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server.func1(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:227 +0x60
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:226 +0x8fb

goroutine 62 [select, 74 minutes]:
github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.(*http2Server).keepalive(0xc420404840)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:935 +0x266
created by github.com/containerd/containerd/vendor/google.golang.org/grpc/transport.newHTTP2Server
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/transport/http2_server.go:230 +0x920

goroutine 63 [semacquire]:
sync.runtime_notifyListWait(0xc4203edf50, 0xc400009f39)
    /usr/local/go/src/runtime/sema.go:507 +0x114
sync.(*Cond).Wait(0xc4203edf40)
    /usr/local/go/src/sync/cond.go:56 +0x82
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).next(0xc4204389c0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:103 +0x87
github.com/containerd/containerd/vendor/github.com/docker/go-events.(*Queue).run(0xc4204389c0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:68 +0x34
created by github.com/containerd/containerd/vendor/github.com/docker/go-events.NewQueue
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/docker/go-events/queue.go:29 +0x14d

goroutine 64 [select]:
github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe.func3(0xc420438a20, 0xc4203e9720, 0xc42040a3c0, 0x1469fe0, 0xc4203edf00, 0xc4202daf00)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:155 +0x15f
created by github.com/containerd/containerd/events/exchange.(*Exchange).Subscribe
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/events/exchange/exchange.go:149 +0x291

goroutine 592290 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc4201a6360)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 671746 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xc420345a80, 0xc4201daa60, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc4204eee70, 0xbbc2cb, 0x25, 0xba0ec1, 0x5, 0x1046a60, 0xc4201a1ee0, 0x1046b40, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).State(0xc42000e068, 0x146a0a0, 0xc4204eee70, 0xc4201a1ee0, 0x0, 0xc42016b298, 0xc42059f578)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1729 +0xbf
github.com/containerd/containerd/linux.(*Process).State(0xc4201daa40, 0x146a0a0, 0xc4204eee70, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:45 +0xc7
github.com/containerd/containerd/services/tasks.processFromContainerd(0x7f9762311168, 0xc4204eee70, 0x146d0c0, 0xc4201daa40, 0x40, 0x146d0c0, 0xc4201daa40)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:225 +0xbe
github.com/containerd/containerd/services/tasks.(*service).Get(0xc4202c6e70, 0x7f9762311168, 0xc4204eee70, 0xc4201da800, 0xc4202c6e70, 0xbbd46b, 0x3)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:268 +0xef
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler.func1(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc420079ae0, 0x14cdcb0, 0xf87860, 0xc4201a1e30)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:680 +0x88
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc4204eee70, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x50, 0x48, 0xc4201da7e0, 0xc42059f968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc4204eedb0, 0x10444c0, 0xc4201da800, 0xc4201da820, 0xc4201da840, 0x4354a6, 0xc42059f9e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Get_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc42044fbc0, 0xc420079900, 0x10af920, 0x0, 0x0, 0xc42001d900, 0x46)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:682 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0xc4202c77d0, 0x1452dc0, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc42021d700)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 764452 [select]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run(0xc420169500)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:171 +0x342
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.NewClient
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:46 +0x2ab

goroutine 592291 [IO wait, 43 minutes]:
internal/poll.runtime_pollWait(0x7f9762b56af0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4201b4398, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4201b4398, 0xc4202ea000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4201b4380, 0xc4202ea000, 0x1000, 0x1000, 0xc420201e78, 0x43ebf4, 0xc42040a720)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e060, 0xc4202ea000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xc420201fac, 0x0, 0xc420201fa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0xa, 0xc42021e300, 0x0, 0xc420201f48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc4201a6300, 0xc4202fa060, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4202fa060, 0xa, 0xa, 0x145c760, 0xc4201a6300, 0xc420201f48, 0x2, 0x2, 0xc420201fa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4202fa040, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc4201b6070, 0x6, 0x6, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc42040a780, 0xc4201a6360, 0xc42003ba20, 0xc42040a720)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

goroutine 764451 [syscall]:
syscall.Syscall6(0xf7, 0x1, 0x3778, 0xc42026d5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc42019af00)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc42052ed80, 0x0, 0xc42026d6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc42052ed80, 0xc42026d770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc42052ed80, 0xc420128d00, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc4200ae580, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc4200ae580, 0xc4202f6410)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764429 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b56bb0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc420230818, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc420230818, 0xc4204def00, 0x1, 0x1)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc420230800, 0xc4204defa1, 0x1, 0x1, 0x0, 0xc4204deb00, 0x42b91b)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc4201b0230, 0xc4204defa1, 0x1, 0x1, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
net/http.(*connReader).backgroundRead(0xc4204def90)
    /usr/local/go/src/net/http/server.go:660 +0x64
created by net/http.(*connReader).startBackgroundRead
    /usr/local/go/src/net/http/server.go:656 +0xda

goroutine 671647 [select, 43 minutes]:
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).dispatch(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xc4203440c0, 0xc420306260, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:102 +0x282
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).Call(0xc4201a6360, 0x146a0a0, 0xc42024e5a0, 0xbbc2cb, 0x25, 0xba0ebc, 0x5, 0x10468a0, 0xc4201ae640, 0x1046980, ...)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:73 +0x15d
github.com/containerd/containerd/linux/shim/v1.(*shimClient).Start(0xc42000e068, 0x146a0a0, 0xc42024e5a0, 0xc4201ae640, 0x1001ae0, 0x7f9762311101, 0xc420571660)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/v1/shim.pb.go:1745 +0xbf
github.com/containerd/containerd/linux.(*Process).Start(0xc4203061e0, 0x146a0a0, 0xc42024e5a0, 0x146a0a0, 0xc42024e5a0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/process.go:109 +0x91
github.com/containerd/containerd/services/tasks.(*service).Start(0xc4202c6e70, 0x7f9762311168, 0xc42024e5a0, 0xc42000c560, 0xc4202c6e70, 0xbbea93, 0x5)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/services/tasks/service.go:175 +0x14e
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler.func1(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc4202f64b0, 0x14cdcb0, 0xf87860, 0xc4201ae630)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:626 +0x8b
github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus.UnaryServerInterceptor(0x7f9762311168, 0xc42024e5a0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x50, 0x48, 0xc42000c540, 0xc420571968)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/grpc-ecosystem/go-grpc-prometheus/server.go:29 +0xd4
github.com/containerd/containerd/server.interceptor(0x7f9762311168, 0xc42024e4b0, 0x1044f40, 0xc42000c560, 0xc42000c580, 0xc42000c5a0, 0x8000000000000000, 0xc4205719e0, 0x41228a, 0x50)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/server/server.go:267 +0x1d2
github.com/containerd/containerd/api/services/tasks/v1._Tasks_Start_Handler(0x1097ee0, 0xc4202c6e70, 0x7f9762311168, 0xc420471a70, 0xc4202f62d0, 0x10af920, 0x0, 0x0, 0x0, 0x145e9e0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/api/services/tasks/v1/tasks.pb.go:628 +0x16f
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).processUnaryRPC(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0xc4202c77d0, 0x1452d78, 0x0, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:826 +0xab6
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).handleStream(0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:1023 +0x152a
github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1.1(0xc4202c8860, 0xc4201f8140, 0x146d1e0, 0xc420404840, 0xc4202f0000)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:572 +0xa1
created by github.com/containerd/containerd/vendor/google.golang.org/grpc.(*Server).serveStreams.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/google.golang.org/grpc/server.go:570 +0xa3

goroutine 592225 [syscall, 68 minutes]:
syscall.Syscall6(0xf7, 0x1, 0xb0e, 0xc42026a5b8, 0x1000004, 0x0, 0x0, 0x146d1e0, 0xc420404840, 0xc4202f5000)
    /usr/local/go/src/syscall/asm_linux_amd64.s:44 +0x5
os.(*Process).blockUntilWaitable(0xc420016d50, 0x0, 0xc42026a6b0, 0x5268aa)
    /usr/local/go/src/os/wait_waitid.go:31 +0xa7
os.(*Process).wait(0xc420016d50, 0xc42026a770, 0x8943d5, 0x146a0a0)
    /usr/local/go/src/os/exec_unix.go:22 +0x44
os.(*Process).Wait(0xc420016d50, 0xc42034b300, 0x42b91b, 0xc400000008)
    /usr/local/go/src/os/exec.go:115 +0x2d
os/exec.(*Cmd).Wait(0xc420262160, 0x45e611, 0xc4202c8860)
    /usr/local/go/src/os/exec/exec.go:446 +0x64
github.com/containerd/containerd/linux/shim/client.WithStart.func1.2(0xc420262160, 0xc420440280)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:59 +0x2d
created by github.com/containerd/containerd/linux/shim/client.WithStart.func1
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/linux/shim/client/client.go:58 +0x2d5

goroutine 764453 [IO wait]:
internal/poll.runtime_pollWait(0x7f9762b567f0, 0x72, 0x0)
    /usr/local/go/src/runtime/netpoll.go:173 +0x59
internal/poll.(*pollDesc).wait(0xc4202ee498, 0x72, 0xffffffffffffff00, 0x1460960, 0x145adf0)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:85 +0xb0
internal/poll.(*pollDesc).waitRead(0xc4202ee498, 0xc420777000, 0x1000, 0x1000)
    /usr/local/go/src/internal/poll/fd_poll_runtime.go:90 +0x3f
internal/poll.(*FD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/internal/poll/fd_unix.go:126 +0x18c
net.(*netFD).Read(0xc4202ee480, 0xc420777000, 0x1000, 0x1000, 0xc42041fe78, 0x43ebf4, 0xc4201be300)
    /usr/local/go/src/net/fd_unix.go:202 +0x54
net.(*conn).Read(0xc42000e1f0, 0xc420777000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
    /usr/local/go/src/net/net.go:176 +0x6f
bufio.(*Reader).Read(0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xc42041ffac, 0x0, 0xc42041ffa8)
    /usr/local/go/src/bufio/bufio.go:213 +0x30d
io.ReadAtLeast(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0xa, 0xc4200b4180, 0x0, 0xc42041ff48)
    /usr/local/go/src/io/io.go:309 +0x88
io.ReadFull(0x145c760, 0xc420169440, 0xc4203453e0, 0xa, 0xa, 0x2, 0x2, 0x0)
    /usr/local/go/src/io/io.go:327 +0x5a
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.readMessageHeader(0xc4203453e0, 0xa, 0xa, 0x145c760, 0xc420169440, 0xc42041ff48, 0x2, 0x2, 0xc42041ffa8)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:38 +0x62
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*channel).recv(0xc4203453c0, 0x146a020, 0xc420014048, 0x0, 0x2, 0xc42073a000, 0x6, 0x1b9, 0x0, 0x0)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/channel.go:86 +0x6f
github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run.func1(0xc4201be360, 0xc420169500, 0xc420664ec0, 0xc4201be300)
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:144 +0x9a
created by github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc.(*Client).run
    /tmp/tmp.AD0Uaz9KtF/src/github.com/containerd/containerd/vendor/github.com/stevvooe/ttrpc/client.go:139 +0x164

$ docker info
Containers: 5
 Running: 1
 Paused: 0
 Stopped: 4
Images: 323
Server Version: 18.03.0-ce
Storage Driver: overlay2
 Backing Filesystem: extfs
 Supports d_type: true
 Native Overlay Diff: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: bridge host ipvlan macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: cfd04396dc68220d1cecbe686a6cc3aa5ce3667c
runc version: 4fc53a81fb7c994640722ac585fa9ca548971871
init version: 949e6fa
Security Options:
 seccomp
  Profile: default
Kernel Version: 4.9.87-linuxkit-aufs
Operating System: Docker for Mac
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 7.786GiB
Name: linuxkit-025000000001
ID: UUJI:BHCD:4SFP:CCSM:H5QT:VZQL:E6AH:UXGU:5VMJ:P525:VYIK:YWOH
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 42
 Goroutines: 70
 System Time: 2018-04-03T11:59:08.2610107Z
 EventsListeners: 2
HTTP Proxy: docker.for.mac.http.internal:3128
HTTPS Proxy: docker.for.mac.http.internal:3129
Registry: https://index.docker.io/v1/
Labels:
Experimental: true
Insecure Registries:
 127.0.0.0/8
Live Restore Enabled: false

$ docker version
Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:06:22 2018
 OS/Arch:   darwin/amd64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:14:32 2018
  OS/Arch:  linux/amd64
  Experimental: true

Изображение, которое я получаю, это всегда docker.elastic.co/elasticsearch/elasticsearch:6.0.1 (или любое из изображений elasticsearch ... Я просто постоянно использую 6.0.1)

У меня есть 23 других изображения, которые я запускаю и останавливаю несколько раз каждый день, но один из elasticsearch постоянно умирает ... и это будет не тот же экземпляр контейнера elasticsearch (потому что я запускаю более одного, но все с одинаковыми образ)...

Зависание может быть в любое время от 1-2 минут после запуска до 2-3 часов ...

stephenc 3 апр. 2018

Я также вижу, что кажется этой проблемой в нескольких роях. Был ли прогресс в определении первопричины?

Люди откатываются на предыдущие версии? (Упоминалось 17.09)

Проблема отмечена как требующая дополнительной информации. Какая дополнительная информация требуется?

timdau 4 апр. 2018

@timdau Мы все еще 17.09 в производстве, потому что это самая стабильная версия для нас из-за этих «неудержимых контейнеров»

PhilPhonic 4 апр. 2018

👍7

У меня то же самое происходит в docker-CE 17.12.0 (в 3 кластерах), откатываюсь на 17.09.
Невероятно, что у Docker теперь есть такие критические ошибки в двух версиях LTS, и они не исправляют их ...
Я понимаю, что, может быть, это сложно воспроизвести, но такое случается со многими ...

¿Это потому, что сейчас есть версия EE, и сейчас есть усилия в этой версии EE 2.2.x (Docker 17.06.x)?

marcomsousa 5 апр. 2018

👍2 ❤1

Здесь есть несколько проблем, и было несколько исправлений, которые касаются разных областей.

То же самое происходит со мной в docker-CE 17.12.0

17.12.1 уже давно отсутствует. Это не решает всех проблем, но кое-что исправляет.
Пожалуйста обновите.
В 18.03.0 доступны и другие исправления, но, возможно, стоит дождаться версии 18.03.1, которая скоро должна выйти.

Эта проблема все еще открыта, потому что мы понимаем, что она не исправлена и над ней работают.
Если вы хотите помочь, есть несколько способов внести свой вклад, помимо сужения кейсов ... например, конкретные / согласованные шаги воспроизведения, трассировки стека из обновленного экземпляра докера (а также containerd и containerd-shim) и т. Д.

Приходить сюда и делать ложные заявления и глупые позерства совершенно бесполезно.

cpuguy83 5 апр. 2018

❤3

У меня эта проблема в другом кластере:
docker service ls

ID NAME MODE REPLICAS IMAGE PORTS
2uy2rdh3cu7e arxx_rxx replicated 5/4 xx/arxx_rxx:latest-SNAP *:80->80/tcp,*:443->443/tcp
Смотрите 5 контейнеров из 4 ....> (всегда установлено 4 реплики)

docker service ps arxx_rxx
показать только 4 бега

docker ps
покажите также лишний контейнер, который нельзя остановить
69364e4293d1 xx/arxx_rxx:latest-SNAP "java -jar app-all.j…" 13 days ago Up 13 days (healthy) 80/tcp, 443/tcp arxx_rxx.1.bayrllx65489r7e1vh5te3plp

все команды, относящиеся к этому контейнеру, зависают
docker inspect 69364e4293d1

Контейнер также нарушает работу служб.

¿Можете ли вы показать мне точные команды, которые я должен выполнить, чтобы дать вам информацию, необходимую для поиска ошибки?

Ubuntu 16.04
Докер 17.12.0-ce

Если у вас есть Skype / Hangouts, я могу позволить вам сделать это самостоятельно.
@ cpuguy83

marcomsousa 6 апр. 2018

Мы столкнулись с той же проблемой. Один из контейнеров завис, поэтому другие команды, такие как docker rmi / logs, не работают.

кот / и т.д. / Redhat-релиз

CentOS Linux версии 7.4.1708 (Core)

версия докера

Клиент:
Версия: 17.12.0-ce
Версия API: 1.35
Версия Go: go1.9.2
Git commit: c97c6d6
Построен: Ср 27 Дек, 20:10:14 2017
ОС / Arch: Linux / amd64

Сервер:
Двигатель:
Версия: 17.12.0-ce
Версия API: 1.35 (минимальная версия 1.12)
Версия Go: go1.9.2
Git commit: c97c6d6
Построен: Ср 27 Дек, 20:12:46 2017
ОС / Arch: Linux / amd64
Экспериментальный: ложь

Горутин

(curl --unix-socket /var/run/docker.sock http: /./ debug / pprof / goroutine? debug = 2)
goroutine.log

Я вижу в журнале большое ожидание ввода-вывода ..
На данный момент мы вернулись к версии докера: 17.09.1-ce

Любые идеи были бы очень признательны.

victorvarza 6 апр. 2018

@victorvarza см. предыдущие комментарии: https://github.com/moby/moby/issues/35933#issuecomment -378957035 - если вы на 17.12; по крайней мере, обновитесь до 17.12.1, но, учитывая, что 17.12 достиг EOL, рассмотрите 18.03 (но вы можете дождаться 18.03.1, в котором будут некоторые исправления)

thaJeztah 6 апр. 2018

👍2

Я внес некоторые изменения в свою инфраструктуру, чтобы позволить себе роскошь потратить некоторое время на сбор журналов / информации в следующий раз, когда это произойдет в моих производственных системах.

В настоящее время я использую Ubuntu 16.04.4 LTS с docker-ce 18.03.1 и Linux Kernel 4.13.0-39-generic x86_64.

Может ли кто-нибудь подтвердить, что это вся информация, которую необходимо собрать, чтобы предоставить достаточно информации, которая поможет устранить эту проблему?

docker inspect {container-id} > docker-inspect-container.log
ps -aux | grep {container-id} чтобы получить pid-код docker-containerd-shim
Чтобы получить дамп стека из docker-containerd-shim, выполните kill -s SIGUSR1 {docker-containerd-shim-pid} . Это должно создать трассировку стека в журналах для dockerd.
sudo journalctl -u docker.service --since today > docker-service-log.txt
docker info
docker version

mauriceteunissen 5 мая 2018

👍2

Здесь та же проблема. Контейнер застрял. Невозможно остановить, убить, рм и т. Д.
Предоставляет всю сопутствующую информацию в прикрепленных файлах.

Client:
 Version:   18.03.0-ce
 API version:   1.37
 Go version:    go1.9.4
 Git commit:    0520e24
 Built: Wed Mar 21 23:04:48 2018
 OS/Arch:   linux/arm64
 Experimental:  false
 Orchestrator:  swarm

Server:
 Engine:
  Version:  18.03.0-ce
  API version:  1.37 (minimum version 1.12)
  Go version:   go1.9.4
  Git commit:   0520e24
  Built:    Wed Mar 21 23:10:22 2018
  OS/Arch:  linux/arm64
  Experimental: false

strace-pid.log
docker-version.txt
docker-service-log.txt
docker-inspect-container.log
docker-info.txt
Docker-containerd-shim-cmd-pid.txt
contanerd-stack.log

slavikme 5 мая 2018

У меня была такая же проблема с 18.03.0-ce, но похоже, что это было связано с томами NFS, установленными на хосте. Я уже читал несколько похожих настроек в этой теме. Может быть, проблема в NFS?

Finkes 5 мая 2018

У нас нет NFS, задействованного в нашей настройке, и мы сталкиваемся с той же проблемой.

PhilPhonic 5 мая 2018

18.03.1 отсутствует с некоторыми смягчениями для этого. Пожалуйста, дайте нам знать, если проблема в этом выпуске не исчезла.

cpuguy83 5 мая 2018

@ cpuguy83 Докер для AWS все еще был 18.03.0, когда я последний раз проверял. И последняя версия, указанная в примечаниях к выпуску, - 18.03.0. Я очень хочу проверить. Есть идеи, когда Docker for AWS stable обновится до 18.03.1?

vce-xx 5 мая 2018

Осторожно при обновлении кластера роя, ошибка: # 36961, кластер может стать мертвым.

marcomsousa 7 мая 2018

@ cpuguy83 18.03.1 еще нет на странице выпуска: https://docs.docker.com/release-notes/docker-ce/ или я слепой?

tnguyenns1 7 мая 2018

18.03.1 еще нет на странице релиза: https://docs.docker.com/release-notes/docker-ce/ или я слепой?

Этот документ устарел, вы можете увидеть здесь: https://github.com/docker/docker-ce/releases/tag/v18.03.1-ce
выпущен 11 дней назад.

marcomsousa 7 мая 2018

👍2

@marcomsousa, спасибо, что заметили это; примечания к выпуску теперь также добавляются на сайт документации; https://docs.docker.com/release-notes/docker-ce/#18031 -ce-2018-04-26

thaJeztah 8 мая 2018

@ cpuguy83 Есть ли где-нибудь список всех проблем, связанных с этой проблемой? Таким образом, мы можем точно знать, когда эта проблема будет решена и ее можно будет безопасно обновить.

timdau 9 мая 2018

👍2

@timdau Это смягчается https://github.com/containerd/containerd/commit/d235ae9439c7a22b96a0d66cb15dd8808d978e8f

cpuguy83 9 мая 2018

Этот коммит containerd / containerd @ d235ae9 был выпущен в containerd 1.0.3.
Docker-ce 18.03.1 включает эту версию containerd.

Поэтому нам нужно проверить, исправлена ли эта ошибка в версии 18.03.1.

marcomsousa 9 мая 2018

Похоже, что 18.03.1 устранил проблему для меня. Я использую его в течение недели на местном уровне, но не столкнулся с проблемой, в противном случае ее можно было легко воспроизвести в течение дня.

achekulaev 15 мая 2018

👍1

Версия 18.03.1, похоже, исправила эту проблему. (или смягчено было сказано @ cpuguy83)

Тестировал в 4 кластерах.

marcomsousa 22 мая 2018

👍2 🎉1

Спасибо всем за подтверждение; Я закрою этот вопрос.

Если вы все еще сталкиваетесь с этим на Docker 18.03.1 или выше; пожалуйста, откройте новый выпуск с подробностями

thaJeztah 22 мая 2018

🎉4 👍4 ❤2 😄2

@mavogel У меня была такая же проблема с замораживанием контейнеров

casperWWW 10 сент. 2018

👍5

Мое (временное) решение в версиях 18.06.1-ce и 18.09 было похоже на @casperWWW. В моем случае я снизил уровень лога приложений, выполняемых внутри контейнеров, и они перестали зависать.

EduJGURJC 21 нояб. 2018

поэтому кажется, что контейнер не может освободить выделенные ресурсы ввода-вывода.

loretoparisi 21 нояб. 2018

У меня такая же проблема, но без использования docker-compose. Я использую докер рой. То же самое, но иногда я получаю контейнеры, которые ни докер рой, ни я с докером не могу остановить. Это приводит к тому, что Docker Swarm собирает больше реплик, чем хотелось бы, и не может масштабироваться. Иногда эти реплики все еще могут обслуживать запросы и получать трафик. Единственный способ удалить контейнеры - перезапустить докер на затронутом узле.

Я то же самое с вами, кроме перезапуска докера на затронутом узле ， любым другим способом решения проблемы？

wh0am111 6 мая 2019

У меня такая же проблема, но без использования docker-compose. Я использую докер рой. То же самое, но иногда я получаю контейнеры, которые ни докер рой, ни я с докером не могу остановить. Это приводит к тому, что Docker Swarm собирает больше реплик, чем хотелось бы, и не может масштабироваться. Иногда эти реплики все еще могут обслуживать запросы и получать трафик. Единственный способ удалить контейнеры - перезапустить докер на затронутом узле.
Я то же самое с вами, кроме перезапуска докера на затронутом узле ， любым другим способом решения проблемы？

См. Мой комментарий, который я отправил здесь ранее - https://github.com/moby/moby/issues/35933#issuecomment -419863541
Надеюсь, это поможет и вам.

casperWWW 6 мая 2019

У меня такая же проблема, но без использования docker-compose. Я использую докер рой. То же самое, но иногда я получаю контейнеры, которые ни докер рой, ни я с докером не могу остановить. Это приводит к тому, что Docker Swarm собирает больше реплик, чем хотелось бы, и не может масштабироваться. Иногда эти реплики все еще могут обслуживать запросы и получать трафик. Единственный способ удалить контейнеры - перезапустить докер на затронутом узле.

Моя версия докера v17.12.1.
У меня такая же проблема. это приводит к тому, что баланс нагрузки моей службы для разных версий образа и контейнеров больше, чем набор реплик. Я считаю это большой ошибкой докера. Это серьезно повлияло на мою службу в производстве. Пожалуйста, помогите решить. @thaJeztah

sunkeysun 18 июн. 2019

Docker 17.12 достиг EOL более года назад; вы можете воспроизвести на текущей версии?

thaJeztah 18 июн. 2019

Moby: Не могу остановить докер-контейнер

Самый полезный комментарий

Все 146 Комментарий

докер стоп 5a28870c74e1

Вывод информации о докере:

версия докера

докер осмотреть

18.03.0 все еще страдает

¿Можете ли вы показать мне точные команды, которые я должен выполнить, чтобы дать вам информацию, необходимую для поиска ошибки?

кот / и т.д. / Redhat-релиз

версия докера

Горутин

Смежные вопросы