Pyradiomics: मल्टीथ्रेड ठीक से काम नहीं कर रहा है

को निर्मित 4 जन॰ 2020 · 7टिप्पणियाँ · स्रोत: AIM-Harvard/pyradiomics

प्रिय सभी, इस अच्छे टूल के लिए धन्यवाद, मैं वास्तव में इसकी सराहना कर रहा हूं।

मैं आपके लिए अपनी शंका करता हूं, क्योंकि मुझे इसका उत्तर कहीं और नहीं मिल रहा है:

मैं लगभग 400 छवि + मुखौटा कॉम्बो (एक सीएसवी फ़ाइल में) के एक बैच के साथ काम कर रहा हूं और मैं गणना के लिए एक छोटे कंप्यूटर का उपयोग कर रहा हूं। चूंकि मैं लगभग 50 बिनविड्थ/बिनकाउंट स्कैन करना चाहता हूं, इसलिए मैं समानांतर में निष्कर्षण को अनुकूलित करने का प्रयास कर रहा हूं।

विशेष रूप से मैंने विभिन्न विन्यासों को स्कैन करने के लिए एक बैश स्क्रिप्ट लिखी और मैं इसे -j 24 पैरामीटर (24 श्रमिकों के लिए) के साथ चलाता हूं। मेरे पास 2x Xeon 6Core HT (कुल तार्किक कोर = 24) और लगभग 200GB RAM है।

हालाँकि मैंने देखा कि CPU समय के एक अंश में ही 100% पर काम कर रहा है ... क्या यह सामान्य है? क्या कुछ लिपियों के उपयोग में कोई अड़चन है जिसे समानांतर में निष्पादित नहीं किया जा सकता है?

जाहिर है मैं अलग-अलग पैरामीटर के साथ गणना शुरू करता हूं, समानांतर में नहीं, यानी मैं अगले पैरामीटर के साथ गणना तभी शुरू करता हूं जब पहला बैच समाप्त हो जाता है।
उदाहरण:

bC="8 12 16 22 32 64 43 128 171 256 341 512 682 1024"
for i in $bC
do
  pyradiomics ./input/input_dyn.csv --param ./json/RadiomicsLogicParams_all.json --setting 
  "binCount:${i}" --setting "normalize:false" -o ./output/all_stackedOut.csv -f csv -j 24 -v 4
done

स्क्रीन
Screenshot 2020-01-04 at 13 20 14

ध्यान देने के लिए आपका धन्यवाद!!

स्रोत

GiulioBen

सभी 7 टिप्पणियाँ

हालाँकि मैंने देखा कि CPU समय के एक अंश में ही 100% पर काम कर रहा है ... क्या यह सामान्य है? क्या कुछ लिपियों के उपयोग में कोई अड़चन है जिसे समानांतर में निष्पादित नहीं किया जा सकता है?

हाँ यह सामान्य है। यह PyRadiomics से असंबंधित है।

jvanlunenburg 4 जन॰ 2020

हाँ यह सामान्य है। यह PyRadiomics से असंबंधित है।

गुप्त प्रतिक्रिया के लिए धन्यवाद। क्या इसे हल करने का कोई तरीका है? क्या कोई कारण है?
क्या यह आम है?

GiulioBen 4 जन॰ 2020

हाँ उन तीनों प्रश्नों के लिए। गूढ़ के लिए यह कैसा है?

jvanlunenburg 4 जन॰ 2020

👀1

मैं उबंटू 19.4 का उपयोग कर रहा हूं। क्या यह ओएस से संबंधित है? इस मामले में मैं धागा बंद कर सकता हूं।
मैंने पहले ही UEFI को अक्षम करने के लिए पॉवरसेविंग सेटिंग्स देखने के लिए जाँच कर ली है ....

मैं क्या कर सकता था? धन्यवाद और नया गुप्त वर्ष मुबारक।

GiulioBen 4 जन॰ 2020

यह संबंधित है कि सीपीयू और सॉफ्टवेयर सामान्य रूप से कैसे काम करते हैं।

100% CPU कोर उपयोग असामान्य है क्योंकि प्रक्रियाओं को आम तौर पर एक दूसरे के लिए प्रतीक्षा करने की आवश्यकता होती है। यदि आपके पास एक सिंगल कोर मशीन होती तो शायद यह लगातार 100% तक नहीं पहुंच पाती, क्योंकि कोड को मेमोरी एक्सेस, नेटवर्क इत्यादि के लिए इंतजार करना पड़ता है। और आपकी पायथन लिपि के मामले में कोर को शायद अन्य प्रक्रियाओं में भी बदल दिया जा रहा है। कर्नेल (या आपकी स्क्रीन जम जाएगी आदि)।

संक्षेप में: सिर्फ इसलिए कि आप 100% उपयोग नहीं देखते हैं इसका मतलब यह नहीं है कि कोड समानांतर नहीं चल रहा है। अंत में, कोड और समस्या के आधार पर, समानांतर लाभ शायद ही कभी थ्रेडकाउंट के साथ रैखिक संबंध रखते हैं।

jvanlunenburg 4 जन॰ 2020

तो आप मुझे बता रहे हैं कि अगर मैं -j 1 के साथ 24 अलग-अलग पाइरेडियोमिक्स इंस्टेंस शुरू करता हूं तो मुझे वही प्रभाव मिलेगा, है ना?
मैं इसके बारे में इतना निश्चित नहीं हूं, मुझे लगता है कि यह पढ़ने/लिखने या कुछ और के लिए डिस्क एक्सेस से संबंधित कुछ है ..

GiulioBen 4 जन॰ 2020

👎2

अंत में मैंने सीपीयू के 70% से नीचे गिरने पर हर बार एक नया पाइराडियोमिक्स निष्कर्षण शुरू करने के लिए एक मैनुअल चेक का उपयोग करने का निर्णय लिया।
अब मेरे पास हमेशा एक उचित CPU उपयोग होता है (>सभी तार्किक इकाइयों के साथ 50%, अर्थात हमेशा 100% उपयोग)

wait4CpuReady () {
  cpuUsed=5 #debouncer
  while  [ ${cpuUsed} -gt 0 ] || [ $(top -b -n1 | grep "Cpu(s)" | awk '{print $2 + $4}') -ge 70 ]
  do
    sleep 5
    if [ ${cpuUsed} -gt 0 ] && [ $(top -b -n1 | grep "Cpu(s)" | awk '{print $2 + $4}') -ge 70 ]
    then
      cpuUsed=5
    else
      ((cpuUsed--))
      echo "CPU not used, debouncer = ${cpuUsed}"
    fi
  done
}

bW="$(seq -s ' ' 1 1 9) $(seq -s ' ' 10 2 28) $(seq -s ' ' 30 3 60)"


for i in $bW
do
  wait4CpuReady

  echo -e "\e[41m#########################################################################################\e[0m"
  echo -e "\e[41m#### Starting computing all features for all_times and SUB - NONnorm and binWidth $i ####\e[0m"
  echo -e "\e[41m#########################################################################################\e[0m"

  pyradiomics ./input/input_all_msub.csv --param ./json/RadiomicsLogicParams_all_noWarningGLCM.json --setting "binWidth:${i}.0" --setting "normalize:false" -o ./output/manualOut/all_allTmSub_stackedOut_bw${i}.csv -f csv -j 3 -v 4 &
done

Screenshot 2020-01-05 at 21 12 25

GiulioBen 5 जन॰ 2020

क्या यह पृष्ठ उपयोगी था?

0 / 5 - 0 रेटिंग्स

Pyradiomics: मल्टीथ्रेड ठीक से काम नहीं कर रहा है

सभी 7 टिप्पणियाँ

संबंधित मुद्दों