Kubernetes: k8s: v1.3.10, gpu पर कंटेनर चलाने के लिए gpu का उपयोग कैसे करें?

को निर्मित 27 फ़र॰ 2017 · 3टिप्पणियाँ · स्रोत: kubernetes/kubernetes

अब मेरे पास इस प्रश्न पर काम करने के लिए लगभग एक सप्ताह का समय है। लेकिन मैं असफल रहा।
पर्यावरण: रेडहैट7.2
k8s:v1.3.10 cuda:v7.5 कर्नेल संस्करण:367.44 t ensorflow:0.11 gpu:1080
टेंसरफ़्लो और k8s पर आधारित हमारा प्लेटफ़ॉर्म, यह ML के बारे में प्रशिक्षण के लिए है।
सीपीयू का उपयोग करते समय, यह ठीक है, लेकिन जीपीयू पर काम नहीं कर सकता, मैं जानना चाहता हूं कि क्यों।
मैंने आपके द्वारा कहे गए कई उदाहरणों का परीक्षण किया, लेकिन फिर भी असफल रहा
मेरा क्लस्टर: 1 मास्टर 2 नोड। प्रत्येक नोड में एक GPU कार्ड होता है, केवल मास्टर के पास नहीं होता है
पहले मैंने परीक्षण किया जैसे @ हुई-झी ने कहा:

vim  test.yaml
apiVersion: v1
kind: Pod
metadata:
  name: nvidia-gpu-test
spec:
  containers:
  - name: nvidia-gpu
    image: nginx
    resources:
      limits:
        alpha.kubernetes.io/nvidia-gpu: 1

हाँ, मैंने परीक्षण किया, और यह काम करता है। अगर मैं एनवीडिया-जीपीयू बदलता हूं: 1 से 2, असफल रहा। फली लंबित रखना। और वर्णन पाया गया: कोई नोड इसे संतुष्ट नहीं कर सकता है। क्योंकि प्रत्येक नोड में केवल एक जीपीयू कार्ड होता है, मुझे लगता है कि यह काम करता है।
लेकिन सवाल आ रहा है: जीपीयू पर कैसे चलें? यह उदाहरण केवल यह साबित करता है कि k8s gpu प्राप्त कर सकता है, और gpu को जान सकता है, लेकिन उस पर कैसे चलना है? मैं कैसे gpu संसाधन पर एक पॉड रन बनाने के लिए yaml फ़ाइल का उपयोग कर सकता हूँ?

फिर, मुझे एक और तरीका मिला: nvidia-docker
मैं gpu-छवि खींचता हूं : gcr.io/tensorflow/t
लेकिन असफल रहा। कुछ त्रुटि जैसे "CUDA libarary libcuda.so नहीं खोल सकता, libcuda.so नहीं ढूंढ सकता",
क्या किसी को एक ही समस्या का सामना करना पड़ा है?
तब मैंने पाया कि किसी ने कहा: जीपीयू को एनवीडिया-डॉकर का उपयोग करने की आवश्यकता है
सौभाग्य से मैंने टेंसरफ़्लो के रूप में स्थापित किया: https://www.tensorflow.org/install/install_linux#gpu_support ने कहा, nvidia-docker के अनुसार मैंने अपना प्रशिक्षण gpu पर चलाया, और gpu मेमोरी लगभग 7g, लगभग 70%
मैं इस तरह दौड़ता हूँ: nvidia-docker run -it ${image} /bin/bash
अजगर mnist.py
हाँ, यह काम करता है। लेकिन एक नया प्रश्न आ रहा है: क्या मुझे सीपीयू पर चलने के लिए डॉकर का उपयोग करना चाहिए, और जीपीयू पर एनवीडिया-डॉकर का उपयोग करना चाहिए? मैं सिर्फ gpu पर केवल docker , शायद nvidia-docker पर चलता हूं, लेकिन k8s पर gpu कैसे चलाना है।
k8s कंटेनर ने डॉकटर का इस्तेमाल किया, लेकिन एनवीडिया-डॉकर का नहीं, तो मैं इसे उसी तरह से कैसे कर सकता हूं, क्या आप मेरी मदद कर सकते हैं? मैं जानना चाहता हूं कि k8s पर gpu कैसे चलाना है, न कि केवल एक डेमो या परीक्षण yaml k8s समर्थन gpu को साबित करने के लिए।
उम्मीद है कि आप मुझे जवाब दे सकते हैं, मैं इंतज़ार कर रहा हूँ ....
धन्यवाद।

स्रोत

tbchj

😄2

सबसे उपयोगी टिप्पणी

मैंने अभी परीक्षण किया, यह काम किया। मैं जो वॉल्यूम माउंट करता हूं वह पहले गलत था। मैं नीचे के रूप में इस्तेमाल किया नया यमल

apiVersion: v1
kind: Pod
metadata:
  name: gpu-test
spec:
  volumes:
  - name: nvidia-driver
    hostPath:
      path: /var/lib/nvidia-docker/volumes/nvidia_driver/367.44
  containers:
  - name: tensorflow
    image: tensorflow:0.11.0-gpu
    ports:
    - containerPort: 8000
    resources:
      limits:
        alpha.kubernetes.io/nvidia-gpu: 1
    volumeMounts:
    - name: nvidia-driver
      mountPath: /usr/local/nvidia/
      readOnly: true

मैं अपनी समस्या का समाधान करता हूँ, धन्यवाद

tbchj 3 मार्च 2017

👍3

सभी 3 टिप्पणियाँ

@tbchj #42116 अब मर्ज हो गया है और इसे 1.6 . के साथ रिलीज़ किया जाना चाहिए

cmluciano 2 मार्च 2017

🎉1

@cmluciano हाँ, धन्यवाद, शायद आप सही हैं। मैंने अभी पूरी तरह #42116 पढ़ा है, ऐसा लगता है कि मुझे कुछ चाहिए।

tbchj 3 मार्च 2017

apiVersion: v1
kind: Pod
metadata:
  name: gpu-test
spec:
  volumes:
  - name: nvidia-driver
    hostPath:
      path: /var/lib/nvidia-docker/volumes/nvidia_driver/367.44
  containers:
  - name: tensorflow
    image: tensorflow:0.11.0-gpu
    ports:
    - containerPort: 8000
    resources:
      limits:
        alpha.kubernetes.io/nvidia-gpu: 1
    volumeMounts:
    - name: nvidia-driver
      mountPath: /usr/local/nvidia/
      readOnly: true

मैं अपनी समस्या का समाधान करता हूँ, धन्यवाद

tbchj 3 मार्च 2017

👍3

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Kubernetes: k8s: v1.3.10, gpu पर कंटेनर चलाने के लिए gpu का उपयोग कैसे करें?

सबसे उपयोगी टिप्पणी

सभी 3 टिप्पणियाँ

संबंधित मुद्दों