Pyradiomics: 멀티스레드가 제대로 작동하지 않음

그러나 CPU가 100%로 작동하는 시간은 극히 일부에 불과하다는 것을 알았습니다... 정상입니까? 병렬로 실행할 수 없는 일부 스크립트의 사용에 병목 현상이 있습니까?

네, 정상입니다. 이것은 PyRadiomics와 관련이 없습니다.

네, 정상입니다. 이것은 PyRadiomics와 관련이 없습니다.

비밀스러운 답변 감사합니다. 해결할 수 있는 방법이 있습니까? 이유가 있나요?
흔한가요?

이 세 가지 질문에 모두 그렇습니다. 어떻게 비밀을 위해?

우분투 19.4를 사용하고 있습니다. OS와 관련이 있습니까? 이 경우 스레드를 닫을 수 있습니다.
비활성화할 절전 설정을 찾기 위해 UEFI를 이미 확인했습니다....

무엇을 할 수 있습니까? 감사합니다. 새해 복 많이 받으세요.

CPU 및 소프트웨어가 일반적으로 작동하는 방식과 관련이 있습니다.

프로세스가 일반적으로 서로를 기다려야 하기 때문에 100% CPU 코어 사용률은 일반적이지 않습니다. 단일 코어 시스템이 있는 경우 코드가 메모리 액세스, 네트워크 등을 기다려야 하기 때문에 영구적인 100%에 도달하지 못할 것입니다. 그리고 파이썬 스크립트의 경우 코어는 아마도 다음을 통해 다른 프로세스로 스왑될 것입니다. 커널(또는 화면이 정지되는 등).

요약하면, 100% 활용도가 보이지 않는다고 해서 코드가 병렬로 실행되지 않는다는 의미는 아닙니다. 마지막으로 코드 및 문제에 따라 병렬화 이점이 스레드 수와 선형 관계를 갖는 경우는 거의 없습니다.

그래서 당신은 내가 -j 1로 24개의 다른 pyradiomics 인스턴스를 시작하면 같은 효과를 얻을 것이라고 말하고 있는 것입니다. 그렇지 않습니까?
나는 그것에 대해 잘 모르겠지만 읽기/쓰기 또는 다른 것에 대한 디스크 액세스와 관련된 것 같습니다.

결국 나는 CPU가 70% 아래로 떨어질 때마다 새로운 피라미드형 추출을 시작하기 위해 수동 검사를 사용하기로 결정했습니다.
이제 나는 항상 합리적인 CPU 사용률을 가지고 있습니다(모든 논리 단위에서 >50%, 즉 항상 100% 사용률)

wait4CpuReady () {
  cpuUsed=5 #debouncer
  while  [ ${cpuUsed} -gt 0 ] || [ $(top -b -n1 | grep "Cpu(s)" | awk '{print $2 + $4}') -ge 70 ]
  do
    sleep 5
    if [ ${cpuUsed} -gt 0 ] && [ $(top -b -n1 | grep "Cpu(s)" | awk '{print $2 + $4}') -ge 70 ]
    then
      cpuUsed=5
    else
      ((cpuUsed--))
      echo "CPU not used, debouncer = ${cpuUsed}"
    fi
  done
}

bW="$(seq -s ' ' 1 1 9) $(seq -s ' ' 10 2 28) $(seq -s ' ' 30 3 60)"


for i in $bW
do
  wait4CpuReady

  echo -e "\e[41m#########################################################################################\e[0m"
  echo -e "\e[41m#### Starting computing all features for all_times and SUB - NONnorm and binWidth $i ####\e[0m"
  echo -e "\e[41m#########################################################################################\e[0m"

  pyradiomics ./input/input_all_msub.csv --param ./json/RadiomicsLogicParams_all_noWarningGLCM.json --setting "binWidth:${i}.0" --setting "normalize:false" -o ./output/manualOut/all_allTmSub_stackedOut_bw${i}.csv -f csv -j 3 -v 4 &
done