Kubernetes: `فشل في جمع القمامة المطلوبة الكمية المطلوبة من الصور. مطلوب لتحرير 473842483 بايت ، لكن تم تحريره 0 بايت

تم إنشاؤها على ٨ ديسمبر ٢٠١٨  ·  30تعليقات  ·  مصدر: kubernetes/kubernetes

الرجاء استخدام هذا النموذج أثناء الإبلاغ عن خطأ وتقديم أكبر قدر ممكن من المعلومات. قد يؤدي عدم القيام بذلك إلى عدم معالجة الخطأ الخاص بك في الوقت المناسب. شكر!

ما حدث : لقد رأيت عددًا من عمليات الإخلاء مؤخرًا ويبدو أنها ناجمة عن ضغط القرص:

$$$ kubectl get pod kumo-go-api-d46f56779-jl6s2 --namespace=kumo-main -o yaml
apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: 2018-12-06T10:05:25Z
  generateName: kumo-go-api-d46f56779-
  labels:
    io.kompose.service: kumo-go-api
    pod-template-hash: "802912335"
  name: kumo-go-api-d46f56779-jl6s2
  namespace: kumo-main
  ownerReferences:
  - apiVersion: extensions/v1beta1
    blockOwnerDeletion: true
    controller: true
    kind: ReplicaSet
    name: kumo-go-api-d46f56779
    uid: c0a9355e-f780-11e8-b336-42010aa80057
  resourceVersion: "11617978"
  selfLink: /api/v1/namespaces/kumo-main/pods/kumo-go-api-d46f56779-jl6s2
  uid: 7337e854-f93e-11e8-b336-42010aa80057
spec:
  containers:
  - env:
    - redacted...
    image: gcr.io/<redacted>/kumo-go-api<strong i="8">@sha256</strong>:c6a94fc1ffeb09ea6d967f9ab14b9a26304fa4d71c5798acbfba5e98125b81da
    imagePullPolicy: Always
    name: kumo-go-api
    ports:
    - containerPort: 5000
      protocol: TCP
    resources: {}
    terminationMessagePath: /dev/termination-log
    terminationMessagePolicy: File
    volumeMounts:
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: default-token-t6jkx
      readOnly: true
  dnsPolicy: ClusterFirst
  nodeName: gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s
  restartPolicy: Always
  schedulerName: default-scheduler
  securityContext: {}
  serviceAccount: default
  serviceAccountName: default
  terminationGracePeriodSeconds: 30
  tolerations:
  - effect: NoExecute
    key: node.kubernetes.io/not-ready
    operator: Exists
    tolerationSeconds: 300
  - effect: NoExecute
    key: node.kubernetes.io/unreachable
    operator: Exists
    tolerationSeconds: 300
  volumes:
  - name: default-token-t6jkx
    secret:
      defaultMode: 420
      secretName: default-token-t6jkx
status:
  message: 'The node was low on resource: nodefs.'
  phase: Failed
  reason: Evicted
  startTime: 2018-12-06T10:05:25Z

بإلقاء نظرة على kubectl get events ، أرى هذه التحذيرات:

$$$ kubectl get events
LAST SEEN   FIRST SEEN   COUNT     NAME                                                                   KIND      SUBOBJECT   TYPE      REASON          SOURCE                                                         MESSAGE
2m          13h          152       gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s.156e07f40b90ed91   Node                  Warning   ImageGCFailed   kubelet, gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s   (combined from similar events): failed to garbage collect required amount of images. Wanted to free 473948979 bytes, but freed 0 bytes
37m         37m          1         gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s.156e3127ebc715c3   Node                  Warning   ImageGCFailed   kubelet, gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s   failed to garbage collect required amount of images. Wanted to free 473674547 bytes, but freed 0 bytes

الحفر أعمق قليلا:

$$$ kubectl get event gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s.156e07f40b90ed91 -o yaml
apiVersion: v1
count: 153
eventTime: null
firstTimestamp: 2018-12-07T11:01:06Z
involvedObject:
  kind: Node
  name: gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s
  uid: gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s
kind: Event
lastTimestamp: 2018-12-08T00:16:09Z
message: '(combined from similar events): failed to garbage collect required amount
  of images. Wanted to free 474006323 bytes, but freed 0 bytes'
metadata:
  creationTimestamp: 2018-12-07T11:01:07Z
  name: gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s.156e07f40b90ed91
  namespace: default
  resourceVersion: "381976"
  selfLink: /api/v1/namespaces/default/events/gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s.156e07f40b90ed91
  uid: 65916e4b-fa0f-11e8-ae9a-42010aa80058
reason: ImageGCFailed
reportingComponent: ""
reportingInstance: ""
source:
  component: kubelet
  host: gke-kumo-customers-n1-standard-1-pree-0cd7990c-jg9s
type: Warning

في الواقع ، يوجد القليل بشكل ملحوظ هنا. لا تذكر هذه الرسالة أي شيء بخصوص سبب بدء ImageGC أو سبب عدم تمكنها من استعادة مساحة أكبر.

ما كنت تتوقع حدوثه : Image GC تعمل بشكل صحيح ، أو على الأقل تفشل في جدولة البودات على العقد التي لا تحتوي على مساحة قرص كافية.

كيفية إعادة إنتاجه (بأدنى حد ممكن وبدقة قدر الإمكان) : قم بتشغيل وإيقاف أكبر عدد ممكن من القرون على العقدة من أجل تشجيع ضغط القرص. ثم لاحظ هذه الأخطاء.

أي شيء آخر نحن بحاجة إلى معرفته؟ : غير متوفر

البيئة :

  • إصدار Kubernetes (استخدم kubectl version ):
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.7", GitCommit:"0c38c362511b20a098d7cd855f1314dad92c2780", GitTreeState:"clean", BuildDate:"2018-08-20T10:09:03Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"10+", GitVersion:"v1.10.7-gke.11", GitCommit:"fa90543563c9cfafca69128ce8cd9ecd5941940f", GitTreeState:"clean", BuildDate:"2018-11-08T20:22:21Z", GoVersion:"go1.9.3b4", Compiler:"gc", Platform:"linux/amd64"}
  • مزود السحابة أو تكوين الأجهزة: GKE
  • نظام التشغيل (على سبيل المثال من / etc / os-release): أنا أقوم بتشغيل macOS 10.14 ، تعمل العقد بنظام تشغيل Container-Optimized OS (cos).
  • Kernel (على سبيل المثال uname -a ): Darwin D-10-19-169-80.dhcp4.washington.edu 18.0.0 Darwin Kernel Version 18.0.0: Wed Aug 22 20:13:40 PDT 2018; root:xnu-4903.201.2~1/RELEASE_X86_64 x86_64
  • أدوات التثبيت: n / a
  • آخرون: غير متوفر


/ نوع الخطأ

areprovidegcp kinbug sinode
مصدر
picture samuela
👍21

التعليق الأكثر فائدة

واجهت نفس المشكلة.

kubectl drain --delete-local-data --ignore-daemonsets $NODE_IP && kubectl uncordon $NODE_IP كافيًا لتنظيف مساحة تخزين القرص.

picture KIVagant في ٣١ يناير ٢٠٢٠
👍5 😕4

ال 30 كومينتر

/ sig gcp

samuela picture samuela في ٨ ديسمبر ٢٠١٨

لقد قمت للتو بترقية الإصدار الرئيسي والعقد الخاصة بي إلى 1.11.3-gke.18 لمعرفة ما إذا كان ذلك سيكون مفيدًا ، لكنني ما زلت أرى نفس الشيء بالضبط.

samuela picture samuela في ٩ ديسمبر ٢٠١٨

تم ضبط FWIW "حجم قرص التمهيد بالجيجابايت (لكل عقدة)" على 10 جيجا بايت كحد أدنى.

samuela picture samuela في ٩ ديسمبر ٢٠١٨
👀1 🚀1 ❤1 🎉1 👍1

samuela أي تحديث عن القضية؟ أرى نفس المشكلة.

hgokavarapuz picture hgokavarapuz في ١١ ديسمبر ٢٠١٨

hgokavarapuz لا يوجد تحديث بقدر ما سمعت. يبدو أن Def يمثل مشكلة خطيرة لـ GKE.

samuela picture samuela في ١٢ ديسمبر ٢٠١٨

samuela لقد رأيت هذه المشكلة على AWS ولكن تمكنت من

hgokavarapuz picture hgokavarapuz في ١٢ ديسمبر ٢٠١٨

hgokavarapuz مثير للاهتمام ... ربما يكون لهذا علاقة بنظام تشغيل / إعداد العقدة بعد ذلك.

samuela picture samuela في ١٢ ديسمبر ٢٠١٨

يجب تصحيح المزيد مما يسبب هذه المشكلة بالضبط.

يوم الأربعاء ، 12 ديسمبر 2018 الساعة 1:23 مساءً ، كتب samuela [email protected] :

hgokavarapuz https://github.com/hgokavarapuz مثيرة للاهتمام ... ربما هذا
له علاقة بنظام تشغيل / إعداد العقدة بعد ذلك.

-
أنت تتلقى هذا لأنه تم ذكرك.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/kubernetes/kubernetes/issues/71869#issuecomment-446748663 ،
أو كتم الخيط
https://github.com/notifications/unsubscribe-auth/AmWWLdQjFnWgM5jeutfY6YqJBQ9l2l8gks5u4XO2gaJpZM4ZJWSq
.

-
شكرا لك
هيمانث

hgokavarapuz picture hgokavarapuz في ١٢ ديسمبر ٢٠١٨

hgokavarapuz تحقق من سجلات kubelet بحثًا عن أدلة

dims picture dims في ٢٦ ديسمبر ٢٠١٨

تمكنت من إصلاح مشكلتي ، لقد كانت مشكلة في AMI التي كنت أستخدمها والتي تحتوي على مجلد / var مثبت على وحدة تخزين EBS ذات حجم مقيد ، مما تسبب في مشكلة إنشاء حاويات Docker. لم يكن واضحًا بشكل مباشر من السجلات ولكن التحقق من المساحة والأشياء الأخرى أوضح ذلك.

hgokavarapuz picture hgokavarapuz في ٢٦ ديسمبر ٢٠١٨

hgokavarapuz هل أنت متأكد من أن هذا يعمل بالفعل على إصلاح المشكلة ولا يتطلب فقط تنزيلات أكثر للصور حتى يحدث الخطأ؟

في حالتي ، كان هذا يحدث داخل أحجام الأقراص المسموح بها في GKE ، لذلك أقول بالتأكيد لا يزال هناك نوع من الأخطاء في GKE هنا على الأقل.

سيكون من الجيد أيضًا أن يكون لديك نوع من الموقف الرسمي بشأن الحد الأدنى لحجم القرص المطلوب لتشغيل kubernetes على عقدة دون الحصول على هذا الخطأ. وإلا فليس من الواضح بالضبط حجم الأحجام التي يجب أن تكون ضمن المواصفات لتشغيل kubernetes.

samuela picture samuela في ٢٧ ديسمبر ٢٠١٨

samuela لم أحاول استخدام GKE ولكن كانت هذه هي المشكلة على AWS مع بعض AMI. ربما أن هناك مشكلة في GKE.

hgokavarapuz picture hgokavarapuz في ٢٧ ديسمبر ٢٠١٨

نحن نحقق شيئًا مشابهًا في GKE v1.11.5-gke.4. يبدو أن هناك مشكلة في عدم مواكبة GC ، كما يتضح من الأحداث التالية:

Events:
  Type     Reason                 Age                 From                                               Message
  ----     ------                 ----                ----                                               -------
  Warning  FreeDiskSpaceFailed    47m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 758374400 bytes, but freed 375372075 bytes
  Warning  FreeDiskSpaceFailed    42m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 898760704 bytes, but freed 0 bytes
  Warning  ImageGCFailed          42m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 898760704 bytes, but freed 0 bytes
  Normal   NodeHasDiskPressure    37m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  Node gke-v11-service-graph-pool-c6e93d11-k6h6 status is now: NodeHasDiskPressure
  Warning  FreeDiskSpaceFailed    37m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 1430749184 bytes, but freed 0 bytes
  Warning  ImageGCFailed          37m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 1430749184 bytes, but freed 0 bytes
  Warning  EvictionThresholdMet   36m (x21 over 37m)  kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  Attempting to reclaim ephemeral-storage
  Warning  ImageGCFailed          32m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 1109360640 bytes, but freed 0 bytes
  Warning  FreeDiskSpaceFailed    27m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 1367126016 bytes, but freed 0 bytes
  Warning  ImageGCFailed          22m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 1885589504 bytes, but freed 0 bytes
  Warning  FreeDiskSpaceFailed    17m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 2438008832 bytes, but freed 0 bytes
  Warning  FreeDiskSpaceFailed    12m                 kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 2223022080 bytes, but freed 0 bytes
  Warning  ImageGCFailed          7m                  kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  failed to garbage collect required amount of images. Wanted to free 2358378496 bytes, but freed 0 bytes
  Normal   NodeHasNoDiskPressure  2m (x4 over 4h)     kubelet, gke-v11-service-graph-pool-c6e93d11-k6h6  Node gke-v11-service-graph-pool-c6e93d11-k6h6 status is now: NodeHasNoDiskPressure

بمسح سجلات kubelet ، أرى الإدخالات التالية:

Feb 07 21:15:31 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:31.447179    1594 image_gc_manager.go:300] [imageGCManager]: Disk usage on image filesystem is at 99% which is over the high threshold (85%). Trying to free 2358378496 byte
Feb 07 21:15:31 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: E0207 21:15:31.452366    1594 kubelet.go:1253] Image garbage collection failed multiple times in a row: failed to garbage collect required amount of images. Wanted to free 2358378496 b
Feb 07 21:15:31 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:31.711566    1594 kuberuntime_manager.go:513] Container {Name:metadata-agent Image:gcr.io/stackdriver-agents/stackdriver-metadata-agent:0.2-0.0.21-1 Command:[] Args:[-o Kub
Feb 07 21:15:32 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:32.004882    1594 cloud_request_manager.go:89] Requesting node addresses from cloud provider for node "gke-v11-service-graph-pool-c6e93d11-k6h6"
Feb 07 21:15:32 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:32.008529    1594 cloud_request_manager.go:108] Node addresses from cloud provider for node "gke-v11-service-graph-pool-c6e93d11-k6h6" collected
Feb 07 21:15:34 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:34.817530    1594 kube_docker_client.go:348] Stop pulling image "gcr.io/stackdriver-agents/stackdriver-logging-agent:0.8-1.6.2-1": "e807eb07af89: Extracting [==============
Feb 07 21:15:34 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: E0207 21:15:34.817616    1594 remote_image.go:108] PullImage "gcr.io/stackdriver-agents/stackdriver-logging-agent:0.8-1.6.2-1" from image service failed: rpc error: code = Unknown desc
Feb 07 21:15:34 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: E0207 21:15:34.817823    1594 kuberuntime_manager.go:733] container start failed: ErrImagePull: rpc error: code = Unknown desc = failed to register layer: Error processing tar file(exi
Feb 07 21:15:35 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: W0207 21:15:35.057924    1594 kubelet_getters.go:264] Path "/var/lib/kubelet/pods/652e958e-2b1d-11e9-827c-42010a800fdc/volumes" does not exist
Feb 07 21:15:35 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: I0207 21:15:35.058035    1594 eviction_manager.go:400] eviction manager: pods fluentd-gcp-v3.1.1-spdfd_kube-system(652e958e-2b1d-11e9-827c-42010a800fdc) successfully cleaned up
Feb 07 21:15:35 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: E0207 21:15:35.091740    1594 pod_workers.go:186] Error syncing pod 7e06145a-2b1d-11e9-827c-42010a800fdc ("fluentd-gcp-v3.1.1-bgdg6_kube-system(7e06145a-2b1d-11e9-827c-42010a800fdc)"),
Feb 07 21:15:35 gke-v11-service-graph-pool-c6e93d11-k6h6 kubelet[1594]: W0207 21:15:35.179545    1594 eviction_manager.go:329] eviction manager: attempting to reclaim ephemeral-storage

يبدو أن شيئًا ما يحمل GC لاستعادة التخزين بسرعة كافية. تبدو العقدة وكأنها تتعافى في النهاية ، ولكن يتم طرد بعض القرون في هذه العملية.

kyessenov picture kyessenov في ٧ فبراير ٢٠١٩

أنا أواجه نفس المشكلة. لقد قمت بنشر المكدس مع kops على AWS وإصدار k8s الخاص بي هو 1.11.6. المشكلة هي أن لدي تطبيق تعطل في الأسبوع عندما حدث ضغط القرص.

angegar picture angegar في ٢٢ فبراير ٢٠١٩

نفس المشكلة هنا. قمت بتوسيع مجلدات ebs معتقدًا أن ذلك من شأنه إصلاحها.
باستخدام
ami k8s-1.10-debian-jessie-amd64-hvm-ebs-2018-08-17 (ami-009b9699070ffc46f)

deathrizzo picture deathrizzo في ٤ مارس ٢٠١٩
👍1

واجهت مشكلة مماثلة ولكن على AKS. عندما نقوم بتصغير الكتلة باستخدام az cli ثم زيادة ، أعتقد أن العقد الجديدة نظيفة ، أعني بدون أي قمامة ولكن

$ kubectl get no
NAME                       STATUS   ROLES   AGE   VERSION
aks-agentpool-11344223-0   Ready    agent   77d   v1.12.4
aks-agentpool-11344223-1   Ready    agent   9h    v1.12.4
aks-agentpool-11344223-2   Ready    agent   9h    v1.12.4
aks-agentpool-11344223-3   Ready    agent   9h    v1.12.4
aks-agentpool-11344223-4   Ready    agent   9h    v1.12.4
aks-agentpool-11344223-5   Ready    agent   9h    v1.12.4

وعندما أشاهد أحدهم يمكنني رؤية الكثير من الصور القديمة مثل

$ docker images | grep addon-resizer
k8s.gcr.io/addon-resizer                               1.8.4               5ec630648120        6 months ago        38.3MB
k8s.gcr.io/addon-resizer                               1.8.1               6c0dbeaa8d20        17 months ago       33MB
k8s.gcr.io/addon-resizer                               1.7                 9b0815c87118        2 years ago         39MB

أو

$ docker images | grep k8s.gcr.io/cluster-autoscaler
k8s.gcr.io/cluster-autoscaler                          v1.14.0             ef6c40006faf        7 weeks ago         142MB
k8s.gcr.io/cluster-autoscaler                          v1.13.2             0f47d27d8e0d        2 months ago        137MB
k8s.gcr.io/cluster-autoscaler                          v1.12.3             9119261ec106        2 months ago        232MB
k8s.gcr.io/cluster-autoscaler                          v1.3.7              c711df426ac6        2 months ago        217MB
k8s.gcr.io/cluster-autoscaler                          v1.12.2             d67faca6c0aa        3 months ago        232MB
k8s.gcr.io/cluster-autoscaler                          v1.13.1             39c073d73c1e        5 months ago        137MB
k8s.gcr.io/cluster-autoscaler                          v1.3.4              6168be341178        6 months ago        217MB
k8s.gcr.io/cluster-autoscaler                          v1.3.3              bd9362bb17a5        7 months ago        217MB
k8s.gcr.io/cluster-autoscaler                          v1.2.2              2378f4474aa3        11 months ago       209MB
k8s.gcr.io/cluster-autoscaler                          v1.1.2              e137f4b4d451        14 months ago       198MB

وهو أمر جنوني لأنني أرى الكثير من الأخطاء أدناه

  Type     Reason               Age    From                               Message
  ----     ------               ----   ----                               -------
  Warning  FreeDiskSpaceFailed  15m    kubelet, aks-agentpool-11344223-5  failed to garbage collect required amount of images. Wanted to free 1297139302 bytes, but freed 0 bytes
  Warning  FreeDiskSpaceFailed  10m    kubelet, aks-agentpool-11344223-5  failed to garbage collect required amount of images. Wanted to free 1447237222 bytes, but freed 0 bytes
  Warning  ImageGCFailed        10m    kubelet, aks-agentpool-11344223-5  failed to garbage collect required amount of images. Wanted to free 1447237222 bytes, but freed 0 bytes
widgetpl picture widgetpl في ٨ مايو ٢٠١٩

samuela : لا توجد تسميات سيج على هذه المسألة. الرجاء إضافة ملصق سيج إما عن طريق:

  1. الإشارة إلى علامة التوقيع: @kubernetes/sig-<group-name>-<group-suffix>
    على سبيل المثال ، @kubernetes/sig-contributor-experience-<group-suffix> لإخطار تجربة المساهم sig، OR

  2. تحديد التسمية يدويًا: /sig <group-name>
    على سبيل المثال ، /sig scalability لتطبيق التصنيف sig/scalability

ملاحظة: ستؤدي الطريقة الأولى إلى إرسال بريد إلكتروني إلى المجموعة. انظر قائمة المجموعة .
يجب استبدال <group-suffix> في الطريقة 1 بأحد هذه: _ الأخطاء ، طلبات الميزات ، مراجعات العلاقات العامة ، إخفاقات الاختبار ، المقترحات _.

تعليمات للتفاعل معي باستخدام تعليقات العلاقات العامة متوفرة هنا . إذا كانت لديك أسئلة أو اقتراحات تتعلق بسلوكي ، فالرجاء رفع قضية ضد

k8s-ci-robot picture k8s-ci-robot في ٦ أغسطس ٢٠١٩

أنا أضرب هذا على Openstack باستخدام v1.11.10

العقدة خارج مساحة القرص تمامًا وأصبحت سجلات kubelet الآن حلقة من:

E1029 06:41:37.397348    8907 remote_runtime.go:278] ContainerStatus "redacted" from runtime service failed: rpc error: code = Unknown desc = unable to inspect docker image "sha256:redacted" while inspecting docker container "redacted": no such image: "sha256:redacted"
Oct 29 06:41:37 node-name bash[8907]: E1029 06:41:37.397378    8907 kuberuntime_container.go:391] ContainerStatus for redacted error: rpc error: code = Unknown desc = unable to inspect docker image "sha256:redacted" while inspecting docker container "redacted": no such image: "sha256:redacted"
Oct 29 06:41:37 node-name bash[8907]: E1029 06:41:37.397388    8907 kuberuntime_manager.go:873] getPodContainerStatuses for pod "coredns-49t6c_kube-system(redacted)" failed: rpc error: code = Unknown desc = unable to inspect docker image "sha256:redacted" while inspecting docker container "redacted": no such image: "sha256:redacted"
Oct 29 06:41:37 node-name bash[8907]: E1029 06:41:37.397404    8907 generic.go:241] PLEG: Ignoring events for pod coredns-49t6c/kube-system: rpc error: code = Unknown desc = unable to inspect docker image "sha256:redacted" while inspecting docker container "redacted": no such image: "sha256:redacted"
rubencabrera picture rubencabrera في ٢٩ أكتوبر ٢٠١٩

كانت المشكلة بالنسبة لي بسبب احتلال حاوية مساحة كبيرة على القرص في فترة زمنية قصيرة. حدث هذا في عدة عقد. تم إخلاء الحاوية (تم إخلاء كل جراب في العقدة) ، لكن لم يتم استرداد القرص بواسطة kubelet.

اضطررت إلى du /var/lib/docker/overlay -h | sort -h للعثور على الحاويات التي تقوم بذلك وحذفها يدويًا. أدى هذا إلى إخراج العقد من Disk Pressure واستعادوا عافيتهم (احتاج أحدهم إلى reboot -f ).

rubencabrera picture rubencabrera في ٣٠ أكتوبر ٢٠١٩
👍3 👀1

هذا يحدث لي أيضا لدي 8 عقد في مجموعة EKS ، ولسبب ما تواجه عقدة واحدة مشكلة GC هذه. لقد حدث هذا مرتين ، والخطوات أدناه هي ما فعلته لإصلاح المشكلة. هل يعرف أي شخص طريقة أفضل / مدعومة للقيام بذلك؟ https://kubernetes.io/docs/tasks/administer-cluster/cluster-management/#maintenance -on-a-node

  1. زيادة مجموعة القياس التلقائي لـ EKS بمقدار +1 (استبدال العقدة السيئة)
  2. كوردون العقدة السيئة (kubectl cordon)
  3. استنزاف العقدة السيئة (استنزاف kubectl) ، لطرد القرون من هذه العقدة وعلى إحدى العقد الأخرى
  4. أضف الحماية المصغرة لجميع العقد باستثناء العقدة التالفة
  5. قلل مجموعة القياس التلقائي لـ EKS بمقدار -1 (يؤدي هذا إلى حذف العقدة السيئة ، لأنها الوحيدة غير المحمية)
  6. قم بإزالة الحماية من تصغير الحجم من جميع العقد
dat-timfa picture dat-timfa في ٢٢ يناير ٢٠٢٠

واجهت نفس المشكلة.

kubectl drain --delete-local-data --ignore-daemonsets $NODE_IP && kubectl uncordon $NODE_IP كافيًا لتنظيف مساحة تخزين القرص.

KIVagant picture KIVagant في ٣١ يناير ٢٠٢٠
👍5 😕4

تم ضبط FWIW "حجم قرص التمهيد بالجيجابايت (لكل عقدة)" على 10 جيجا بايت كحد أدنى.

شكرا جزيلا. عملت معي

HayTran94 picture HayTran94 في ٣ مارس ٢٠٢٠

/ عقدة سيج

dims picture dims في ١٢ أبريل ٢٠٢٠

MustafaHosny اللهم امين يارب
realImageGCManager # freeSpace لديه سجل في المستوى 5 إذا كانت صورة معينة غير مؤهلة للحصول على GC.
على سبيل المثال

        if image.lastUsed.Equal(freeTime) || image.lastUsed.After(freeTime) {
            klog.V(5).Infof("Image ID %s has lastUsed=%v which is >= freeTime=%v, not eligible for garbage collection", image.id, image.lastUsed, freeTime)
            continue

هل يمكنك وضع مستوى السجل في 5 ومعرفة ما إذا كان هناك بعض الأدلة التي قدمها realImageGCManager # freeSpace؟

شكر

tedyu picture tedyu في ١٣ أبريل ٢٠٢٠

تضمين التغريدة
في السجل الذي نشرته:

no such image: "sha256:redacted"

هل سنحت لك الفرصة للتحقق مما إذا كانت الصورة الأساسية موجودة أم لا؟

شكر

tedyu picture tedyu في ١٣ أبريل ٢٠٢٠

من فضلك ابقني خارج هذه الحلقة.
لست متأكدًا من سبب نسخي في هذا البريد الإلكتروني

مع الشكر و التقدير،
أشوتوش سينغ

في الإثنين ، 13 أبريل 2020 ، 00:21 كتب Zhihong Yu [email protected] :

Rubencabrera https://github.com/rubencabrera
في السجل الذي نشرته:

لا توجد مثل هذه الصورة: "sha256: منقح"

هل أتيحت لك الفرصة للتحقق مما إذا كانت الصورة الأساسية موجودة أم
ليس ؟

شكر

-
أنت تتلقى هذا لأنك مشترك في هذا الموضوع.
قم بالرد على هذا البريد الإلكتروني مباشرة ، وقم بعرضه على GitHub
https://github.com/kubernetes/kubernetes/issues/71869#issuecomment-612684868 ،
أو إلغاء الاشتراك
https://github.com/notifications/unsubscribe-auth/ADS6CKHTR2QTDJOWNKMLX23RMI5FXANCNFSM4GJFMSVA
.

ashu2207 picture ashu2207 في ١٣ أبريل ٢٠٢٠

تضمين التغريدة
في السجل الذي نشرته:

no such image: "sha256:redacted"

هل سنحت لك الفرصة للتحقق مما إذا كانت الصورة الأساسية موجودة أم لا؟

شكر

مرحبًا ، tedyu

نعم ، لقد تحققت من ذلك ، فنحن نستخدم بعض المستودعات الخاصة والصور غير المتوفرة هي مشكلة متكررة ، لذلك كان هذا أول ما فكرت به عند رؤية هذا الخطأ. كانت الصورة متاحة وتعمل في العقد الأخرى من نفس المجموعة.

rubencabrera picture rubencabrera في ٢٠ أبريل ٢٠٢٠

هل اكتشف أي شخص طريقة لإقناع مجموعة القمامة k8s بالتشغيل على قرص ليس نظام ملفات الجذر؟ يجب علينا استخدام قرص ثانوي (SSD) لـ / var / lib / docker لمعالجة مشكلات أداء EKS (انظر https://github.com/awslabs/amazon-eks-ami/issues/454). لكن جمع القمامة لا يعمل وأحيانًا نتجاوز هذا القرص الثانوي.

jae-63 picture jae-63 في ١٣ يوليو ٢٠٢٠

تصبح المشكلات قديمة بعد 90 يومًا من الخمول.
ضع علامة على المشكلة على أنها حديثة مع /remove-lifecycle stale .
تتعفن المشكلات التي لا معنى لها بعد 30 يومًا إضافيًا من عدم النشاط وتغلق في النهاية.

إذا كان إغلاق هذه المشكلة آمنًا الآن ، فيرجى القيام بذلك باستخدام /close .

إرسال التعليقات إلى اختبار سيج ، kubernetes / test-infra و / أو fejta .
/ دورة الحياة التي لا معنى لها

fejta-bot picture fejta-bot في ١١ أكتوبر ٢٠٢٠

/ إزالة دورة الحياة التي لا معنى لها

لقد بدأنا نعاني من هذه المشكلة في الأسبوع الماضي. Kubernetes 1.17.9 ، الذي تم إنشاؤه باستخدام Kops 1.17.1 ، مستضاف ذاتيًا في AWS ، باستخدام k8s-1.17-debian-stretch-amd64-hvm-ebs-2020-01-17 AMI ، عامل ميناء 19.03.11.

حدث هذا في عقدتين منفصلتين خلال الأسبوع الماضي ، وكلاهما قدم ما يلي:

Events:
  Type     Reason               Age                  From                                                Message
  ----     ------               ----                 ----                                                -------
  Warning  FreeDiskSpaceFailed  10m (x204 over 17h)  kubelet, ip-10-224-54-0.us-west-2.compute.internal  (combined from similar events): failed to garbage collect required amount of images. Wanted to free 5877565849 bytes, but freed 101485977 bytes
  Warning  ImageGCFailed        18s (x205 over 17h)  kubelet, ip-10-224-54-0.us-west-2.compute.internal  (combined from similar events): failed to garbage collect required amount of images. Wanted to free 5886654873 bytes, but freed 0 bytes

لا يتفق du و df على العقدة على مقدار المساحة المستخدمة:

admin@ip-10-224-54-0:~$ df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p2   57G   48G  5.8G  90% /

admin@ip-10-224-54-0:~$ sudo du -sh /
du: cannot access '/proc/9856/task/9856/fd/3': No such file or directory
du: cannot access '/proc/9856/task/9856/fdinfo/3': No such file or directory
du: cannot access '/proc/9856/fd/4': No such file or directory
du: cannot access '/proc/9856/fdinfo/4': No such file or directory
11G     /

admin@ip-10-224-54-0:~$ sudo du -sh --one-file-system /
6.6G    /

يؤدي تثبيت الجهاز الجذر إلى نقطة تحميل أخرى للتخلص من أنظمة الملفات المثبتة الأخرى إلى الحصول على du للموافقة باستمرار على المساحة المستخدمة ، ولكن لا يزال هناك اختلاف مع df :

admin@ip-10-224-54-0:~$ mkdir tmproot
admin@ip-10-224-54-0:~$ sudo mount /dev/nvme0n1p2 /home/admin/tmproot
admin@ip-10-224-54-0:~$ df -h tmproot/
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p2   57G   48G  5.8G  90% /home/admin/tmproot
admin@ip-10-224-54-0:~$ sudo du -sh tmproot/
6.6G    tmproot/
admin@ip-10-224-54-0:~$ sudo du -sh --one-file-system tmproot/
6.6G    tmproot/

أعتقد أن هذا قد يكون بسبب العمليات التي تحتفظ بملفات محذوفة مفتوحة. لكن إعادة تشغيل kubelet لا يحرر هذه المساحة ، وستكون هذه هي العملية التي أشك في أنها تسبب هذا. إعادة تشغيل عامل الإرساء أيضًا لم يفرغ المساحة.

في المرة الأولى التي حدث فيها ذلك ، انتهى بي الأمر بإنهاء Node بعد عدة ساعات من التحقيق غير المجدي ، ولكن الآن بعد أن حدث ذلك مرة أخرى ، لا يمكنني أن أجعل هذا الحل الدائم للمشكلة.

نقطة بيانات مثيرة للاهتمام: لقد حذف containerd الملفات المفتوحة:

admin@ip-10-224-54-0:~$ sudo lsof 2>&1| grep -v "no pwd entry" |  grep deleted
container 12469           root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469           root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469           root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469           root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469           root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12470     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12470     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12470     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12470     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12470     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12471     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12471     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12471     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12471     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12471     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12472     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12472     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12472     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12472     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12472     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12473     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12473     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12473     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12473     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12473     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12474     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12474     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12474     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12474     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12474     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12475     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12475     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12475     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12475     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12475     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12476     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12476     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12476     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12476     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12476     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12477     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 12477     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12477     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 12477     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 12477     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 19325     root  cwd       DIR               0,19        40 1180407868 /run/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12 (deleted)
container 12469 19325     root    4u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 19325     root    6u     FIFO              259,2       0t0    2097336 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stdout.log (deleted)
container 12469 19325     root    7u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)
container 12469 19325     root    8u     FIFO              259,2       0t0    2097337 /var/lib/containerd/io.containerd.runtime.v1.linux/moby/34089ad41629df20f181ed191acec724c79fc879dc49287d29184f2fedfaba12/shim.stderr.log (deleted)

إعادة تشغيل Containerd.service أيضًا لم يحرر المساحة أو التخلص من معالجات الملفات هذه.

geekofalltrades picture geekofalltrades في ١٣ أكتوبر ٢٠٢٠
هل كانت هذه الصفحة مفيدة؟
0 / 5 - 0 التقييمات

القضايا ذات الصلة

mml picture mml  ·  3تعليقات
arun-gupta picture arun-gupta  ·  3تعليقات
sanjana-bhat picture sanjana-bhat  ·  3تعليقات
jason-riddle picture jason-riddle  ·  3تعليقات
jadhavnitind picture jadhavnitind  ·  3تعليقات