Pyradiomics: 특징 추출 중 메모리 오류 (많은 이미지 또는 큰 마스크)

에 만든 2017년 09월 27일 · 16코멘트 · 출처: AIM-Harvard/pyradiomics

PyRadiomics를 사용하여 루프의 많은 이미지에서 특징을 추출하려고 할 때 메모리 오류가 발생했습니다. 간단한 스크립트와 하나의 이미지와 마스크로 두 가지 유형의 메모리 오류를 재현 할 수 있었으며 동일한 이미지에서 특징 추출을 반복적으로 호출했습니다.

여기 에 오류를 재현하는 코드를 요점에 넣었습니다.
여기에서 스크립트를 실행하기위한 테스트 이미지 데이터 (스크립트 파일 자체도 포함)를 찾을 수 있습니다.

두 가지 다른 오류 사례가 있습니다.

다소 큰 마스크 (-> numpy의 "MemoryError")에서 특성 추출 시도
루프의 많은 이미지에 대해 작은 마스크에서 특징 추출 시도 (-> SimpleITK의 "이미지에 대한 메모리 할당 실패")

사용할 마스크를 정의하는 줄에 주석을 추가 (해제)하여 재현 할 수 있습니다 (스크립트의 상단 설명 주석 참조).

사례 1 오류 세부 정보 :

Traceback (most recent call last):
  File "d:/Test/PyRadiomicsMemoryExceptionTest.py", line 26, in <module>
    featureVector = extractor.execute(testImage, testMask, label = 1)
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\featureextractor.py", line 354, in execute
    shapeClass = self.featureClasses['shape'](croppedImage, croppedMask, **self.settings)
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\shape.py", line 62, in __init__
    physicalCoordinates -= numpy.mean(physicalCoordinates, axis=0)  # Centered at 0
  File "C:\Python36\lib\site-packages\numpy\core\fromnumeric.py", line 2909, in mean
    out=out, **kwargs)
  File "C:\Python36\lib\site-packages\numpy\core\_methods.py", line 54, in _mean
    arr = asanyarray(a)
  File "C:\Python36\lib\site-packages\numpy\core\numeric.py", line 583, in asanyarray
    return array(a, dtype, copy=False, order=order, subok=True)
MemoryError

사례 2 오류 세부 정보 :

Traceback (most recent call last):
  File "d:/Test/PyRadiomicsMemoryExceptionTest.py", line 27, in <module>
    featureVector = extractor.execute(testImage, testMask, label = 1)
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\featureextractor.py", line 346, in execute
    featureVector.update(self.getProvenance(imageFilepath, maskFilepath, mask))
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\featureextractor.py", line 440, in getProvenance
    for k, v in six.iteritems(generalinfoClass.execute()):
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\generalinfo.py", line 56, in execute
    generalInfo[el] = getattr(self, 'get%sValue' % el)()
  File "C:\Python36\lib\site-packages\pyradiomics-1.2.0.post25.dev0+g13274ff-py3.6-win32.egg\radiomics\generalinfo.py", line 139, in getVolumeNumValue
    ccif.Execute(labelMap)
  File "C:\Python36\lib\site-packages\SimpleITK\SimpleITK.py", line 20584, in Execute
    return _SimpleITK.ConnectedComponentImageFilter_Execute(self, *args)
RuntimeError: Exception thrown in SimpleITK ConnectedComponentImageFilter_Execute: c:\d\vs14-win32-pkg\simpleitk-build\itk-prefix\include\itk-4.11\itkImportImageContainer.hxx:199:
Failed to allocate memory for image.

bug installation

출처

michaelschwier

모든 16 댓글

@JoostJM 은 무슨 일이 일어나고 있는지 알고 있거나 추가 조사가

fedorov 에 2017년 09월 27일

@michaelschwier , 어떤 종류의 하드웨어를 사용하고 있습니까? 특히 스크립트를 실행할 때 사용할 수있는 RAM의 양은 얼마입니까?
내 컴퓨터 (Intel Xeon E3-1241, 16GB RAM)에서 스크립트를 테스트했으며 큰 마스크에 문제가 없었습니다 (11 번 반복, 메모리 변동, 최대 약 2GB 필요). 또한 작은 마스크 스크립트 (현재 최대 600 회 반복, 여전히 약 200MB의 RAM 만 필요)를 실행하고 있지만 이것도 잘 실행되는 것으로 보입니다.

발열체 학을 실행하는 데 사용할 수있는 RAM이 충분하지 않을 수 있습니다. 기능 추출 전에 세분화의 경계 상자에서 자르기와 같이 기능을 추출 할 때 메모리 사용량을 줄이기위한 개선 사항을 이미 통합했습니다. 그러나 특히 큰 마스크를 사용할 때 텍스처 매트릭스를 생성하려면 많은 메모리가 필요합니다. 추가 확인을 위해 스크립트 시간에 따라 메모리 프로파일 링을 실행합니다.

당신의 작은 가면은 흥미로운 경우가됩니다. 나중에 RAM이 처음 몇 번의 반복에는 충분하지만 결과 벡터가 너무 커지면 소모되기 때문에 충돌이 발생할 수 있습니다 (이 벡터는 발열체 학의 전체 메모리 사용량에 비해 상대적으로 작지만).

솔루션에 관해서. 첫 번째 연결된 구성 요소 이미지 필터에서 이미 실패한 경우 (대형 마스크의 경우처럼) 어떻게해야할지 모르겠습니다. 당신은 추가 정보를 비활성화하여 코드의 일부를 제거 할 수 있습니다 (매개 변수 additionalInfo 로 설정 False ),하지만 난 그것을 코드의 다른 부분 (집약적 가장 많이 메모리에 실패 할 것이라고 생각 함수는 텍스처 매트릭스의 생성입니다).
작은 마스크 케이스의 경우 예제에 포함 된 배치 스크립트를 확인하십시오. 이 스크립트는 각 사례의 결과를 파일에 추가하여 기록하므로 대용량 배치를 추출 할 때 메모리 사용량이 증가하는 것을 방지합니다. 이론적으로 배치 스크립트는 하나의 케이스가 추출하기에 너무 큰 경우에만 메모리 부족으로 인해 실패해야합니다 (이전에 추출 된 케이스 수에 관계없이).

JoostJM 에 2017년 10월 02일

다음은 대규모 (~ 20 회 반복) 및 소규모 (~ 200 회 반복)의 시간 경과에 따른 메모리 사용량 그래프입니다. 메모리 오류가 발생하지 않고 프로세스를 중단했습니다.

큰 마스크
large mask memory usage

작은 마스크
small mask memory usage

여전히 메모리 오류가 발생하면 유사한 그래프를 만들 수 있습니까?
mprof ( pip install memory_profiler )라는 간단한 파이썬 패키지를 사용한 다음 python C:\Python27\scripts\mprof run PyRadiomicsMemoryExceptionTest.py 사용하여 스크립트를 실행했습니다. 이 작업이 끝나면 python C:\Python27\scripts\mprof plot 실행하여 그래프를 볼 수 있습니다.

JoostJM 에 2017년 10월 02일

@JoostJM 귀하의 답변과 컴퓨터 확인에 감사드립니다.
내 시스템은 16GB RAM의 Win 10입니다. 모든 테스트 중에 항상 최소 7GB RAM을 사용할 수있었습니다. 불행히도 mprof 도구는 나를 위해 작동하지 않습니다 (Windows) 소스 코드에 액세스 할 수 없다는 예외가 발생합니다!?

그래서 작업 관리자에서 프로세스의 메모리 사용량을 확인하여 "수동"메모리 관찰을 수행했습니다. 큰 마스크가있는 경우 약 1.4GB의 메모리를 사용할 때 프로세스가 충돌합니다. 작은 마스크가있는 경우 프로세스는 350MB 이상의 메모리를 사용하지 않습니다.

그러나 저는 32 비트 Python을 사용하고있었습니다. 따라서 대형 마스크의 경우 메모리를 실행한다는 것을 이해할 수 있습니다 (1.4에서 여전히 약간의 헤드 룸이 있어야 함). 작은 마스크 케이스의 경우 문제가되지 않아야합니다.

이제 64 비트 Python도 병렬로 설치했으며 지금까지 오류를 재현 할 수 없습니다 (작은 마스크에서> 1200 회 반복). 그래서 그것은 해결책이 될 수 있습니다. 그럼에도 불구하고 32 비트에서 작은 마스크의 충돌은 여전히 나를 당혹스럽게합니다 ...

michaelschwier 에 2017년 10월 02일

32 비트 파이썬을 명시 적으로 지원하지 않는 것에 대해 생각해야합니다. 메모리 관련 오류가 너무 많기 때문에 슬라이서에서 32 비트 플랫폼을 명시 적으로 지원하지 않습니다.

pieper 에 2017년 10월 02일

이 문제를 32 비트로 디버깅하는 데 시간을 낭비하지 말고 64 비트 파이썬을 사용해야한다는 메모를 사용자 가이드에 추가하는 것이 좋습니다.

fedorov 에 2017년 10월 02일

32 비트 파이썬을 감지 할 때 발열체 학 설치 중에 경고를 추가 할 수도 있습니다!?

michaelschwier 에 2017년 10월 02일

32 비트 파이썬을 감지 할 때 발열체 학 설치 중에 경고를 추가 할 수도 있습니다!?

확실히, 또는 심지어 실패.

fedorov 에 2017년 10월 02일

👍1

안녕하세요,

radiomics가 작동하는지 확인하기 위해 test.py를 실행하려고 시도했지만 radiomics에서 featureextractor를 가져올 수 없다고 계속 말합니다. 같은 문제가있는 사람이 있습니까?

미리 감사드립니다

CristianIzquierdoLitii 에 2018년 03월 06일

비슷한 문제가 있습니다.
모델을 실행하려고 할 때 메모리 오류가 발생합니다. 각각 7 개의 캡션이 포함 된 6500 개의 이미지를 훈련 용으로 보냅니다.
Ubuntu를 사용하고 있습니다.

Yukti-09 에 2019년 07월 11일

@ Yukti-09, 어떤 특정 버전의 PyRadiomics를 사용하고 있습니까? 어떤 매개 변수? 시스템에 얼마나 많은 RAM이 있습니까?

JoostJM 에 2019년 07월 11일

발열체 학을 사용하지 않음

Yukti-09 에 2019년 07월 11일

👎1

안녕하세요! 특징 추출을 위해 2D 초음파 이미지에 pyradiomics를 사용하고 있습니다. 갑상선 초음파 이미지의 개방형 데이터베이스를 사용하고 있습니다 (사용 가능 : thyroid http://cimalab.intec.co/applications/thyroid/). 마스크에서 특징을 추출하기 위해 발열체 학을 사용할 때 16GB 이상의 RAM이 필요합니다. 메모리 사용량을 제한하기 위해 발열체 학을 처리하는 데 필요한 설정이 있습니까? 전체 이미지에 비해 마스크가 작습니다. 마스크에서 특징 추출이 이렇게 많은 메모리를 차지한다면 전체 이미지에 대해 동일한 작업을 수행하면 어떻게 될까요? 친절하게 안내하십시오.

ReemaParekh 에 2020년 06월 16일

@ReemaParekh 추출을 수행 할 때 어떤 종류의 설정을 사용하고 있습니까?

JoostJM 에 2020년 06월 16일

360x560 크기의 USG 이미지가 있고 전체 이미지에 적용되는 복셀 기반 기능 추출을 사용하고 모든 기능 클래스가 켜져 있습니다. 이 경우 메모리 사용량은 경우에 따라 20GB에 도달했습니다. 동일한 설정을 사용하고 있습니다.
featureVector = extractor.execute (image3D, mask, label = 1, voxelBased = True)
설정 = {}
설정 [ 'binWidth'] = 25

settings [ 'force2D'] = True

settings [ 'force2Ddimension'] = 0
settings [ 'maskedKernel'] = 참
설정 [ 'initvalue'] = 5
settings [ 'kernelRadius'] = 10
settings [ 'resampledPixelSpacing'] = None # [3,3,3]은 리샘플링을 정의하는 예입니다 (크기가 3x3x3mm 인 복셀).
settings [ 'interpolator'] = sitk.sitkBSpline
settings [ 'verbose'] = True

또한 force2D = true라고 작성하면 코드가 작동하지 않습니다. 그렇지 않으면 작동하지만 엄청난 메모리가 필요합니다. 2D 이미지가 있지만, pyradiomics 프로그램에서 직접 2D 이미지를 사용할 수 없어서 2D 이미지를 1x360x560으로 변환하여 처리했습니다. image3D = sitk.JoinSeries (이미지)

ReemaParekh 에 2020년 06월 16일

메모리 요구 사항이 유효한 것 같습니다. 복셀 기반 라디오 마이크는 특히 전체 이미지를 추출하고 모든 기능을 활성화 할 때 메모리 집약적 일 수 있습니다. 출력은 각 기능에 대한 float64 맵이며, 귀하의 경우 기능 맵당 360x560x8 바이트를 의미합니다. 또한 중간 기능 맵, 마스크 등에 대한 추가 메모리 요구 사항이 있습니다.

force2D와 관련하여 "작동하지 않음"이란 무엇을 의미합니까? PyRadiomics는 force2D를 활성화 할 때처럼 진정한 2D 입력을 모두 처리 할 수 있어야합니다. 코드에서 잘못 될 수 있다고 상상할 수있는 유일한 것은 이미지의 sitk 크기가 1x360x560이면 x가 force2D 차원임을 의미하며 force2Ddimension을 2로 설정해야한다는 것입니다 (행렬의 이유는 z, y로 정렬 됨). , x).

JoostJM 에 2020년 06월 17일

이 페이지가 도움이 되었나요?

0 / 5 - 0 등급

Pyradiomics: 특징 추출 중 메모리 오류 (많은 이미지 또는 큰 마스크)

모든 16 댓글

settings [ 'force2D'] = True

관련 문제