Fdtd3d: 병렬 컴퓨팅에 대한 질문

1. 나는 그것이 붙어 있다고 생각하지 않고 RelWithDebInfo 모드에서도 훨씬 느린 계산을 수행합니다. 또한 Cuda가 실행되는 경우 실행이 끝날 때 전체 로그가 인쇄됩니다.

작은 팁: 사용할 모드를 정확히 알고 있다면 -DSOLVER_DIM_MODES 를 지정하는 것이 (컴파일 및 실행 측면에서) 더 빠릅니다. 기본적으로 모든 모드는 바이너리로 컴파일되어 Cuda 빌드의 경우 컴파일 시간이 크게 늘어납니다. 귀하의 경우 -DSOLVER_DIM_MODES=DIM3 이면 충분합니다.

1. 여기에서 염두에 두어야 할 몇 가지 사항이 있습니다. 먼저 각 타임스텝의 전체 실행시간은 연산시간과 공유시간의 합이다. 귀하의 경우와 같이 그리드가 상대적으로 작은 경우 공유 시간이 중요할 수 있으며 가상 토폴로지를 신중하게 선택해야 합니다(fdtd3d는 출력에서 ​​지정된 그리드 크기에 대한 최상의 가상 토폴로지를 보여줍니다).

그러나 공유 메모리가 있는 시스템에서는 공유 작업이 전혀 필요하지 않습니다(스레드 동기화 제외). 이것이 OpenMP가 MPI보다 훨씬 더 적용 가능하고 MPI 기반 프로그램이 최고의 속도 향상을 보여주지 않는 이유입니다. 불행히도 OpenMP는 fdtd3d에서 아직 지원되지 않습니다.

이 모든 것을 염두에 두고 fdtd3d에서 조정할 사항이 여전히 있습니다.

• 기본적으로 Ox 축만 계산 노드 사이에 퍼져 있지만 -DPARALLEL_BUFFER_DIMENSION=xyz 를 사용하여 이를 변경할 수 있습니다. 그러면 모든 차원의 청크 사이에 그리드가 분할됩니다. 최적의 가상 토폴로지를 조언하므로 fdtd3d 출력을 확인하십시오.
• 버퍼의 크기는 --buffer-size B 로 설정할 수 있으며 B 단계마다 공유 작업을 수행합니다. 이 경우 fdtd3d에서 권장하는 최적의 가상 토폴로지가 최적이라고 보장되지 않습니다. 그러나 --manual-topology --topology-sizex X --topology-sizey Y --topology-sizez Z 를 사용하여 가상 토폴로지를 수동으로 설정할 수 있습니다.

프로세스 수가 전체 그리드 크기의 구분자가 아닌 경우 fdtd3d에서 권장하는 최적의 가상 토폴로지도 최적임을 보장할 수 없습니다.

적시에 답변해 주셔서 감사합니다.

1. 단일 GPU 컴퓨팅의 경우 다음 플래그로 fdtd3d를 리메이크했습니다.

cmake .. -DCMAKE_BUILD_TYPE=RelWithDebInfo -DVALUE_TYPE=f -DPRINT_MESSAGE=ON -DCUDA_ENABLED=ON -DCXX11_ENABLED=ON -DPARALLEL_GRID=ON -DPARALLEL_GRID_DIMENSION=3 -DSOLVER_DIM_MODES=DIM3 -DPARALLEL_BUFFER_DIMENSION=x

내 워크스테이션에서 작동했습니다. (BTW, 내 워크스테이션에는 4개의 Tesla P100이 있으며 그 중 아치는 SM_60이어야 함)

1. 멀티 GPU 컴퓨팅을 활성화하고 싶을 때
   mpiexec --mca btl ^openib -n 2 ./Release/Source/fdtd3d --cmd-from-file ./Examples/vacuum3D_test.txt
   CUDA cmds

--use-cuda
--cuda-buffer-size 2
--buffer-size 2
--cuda-gpus 0,1
--num-cuda-threads-x 4
--num-cuda-threads-y 4
--num-cuda-threads-z 4

다음과 같이 오류가 발생합니다.

Calculating time step 0...
Calculating time step 1...
Fatal error: an illegal memory access was encountered at /home/t00540502/fdtd3d/Source/Scheme/InternalScheme.inc.h:912
*** FAILED - ABORTING
-------------------------------------------------------
Primary job  terminated normally, but 1 process returned
a non-zero exit code.. Per user-direction, the job has been aborted.

첫 번째 단계는 괜찮았지만 두 번째 단계에서 호출하는 InternalSchemeKernelHelpers::calculateFieldStepIterationKernel 함수에 문제가 있는 것 같습니다. MPI+CUDA를 사용할 때 실수가 있었는지 궁금합니다. 올바르게 부르는 법을 가르쳐 주시겠습니까?
정말 감사합니다.

최상의

아마도 sm_60 아치에 문제가 있을 수 있습니다. 테스트하지 않았습니다. 기본 아치는 sm_20이므로 카드에서 작동해야 합니다. 그러나 때때로 cuda 아치가 GPU의 컴퓨팅 능력과 일치하지 않을 때 illegal memory access 를 보았습니다.

다중 GPU 계산은 적용 가능성이 제한적입니다. 모든 데이터가 단일 GPU의 메모리에 맞는 경우 단일 계산 노드의 이 단일 GPU에서 계산을 수행하는 것이 훨씬 더 빠릅니다(CPU/GPU 및 다른 계산 노드 간에 중간 데이터 공유가 없기 때문).

그러나 그리드가 매우 커서 단일 계산 노드의 메모리에 위치할 수 없는 경우 각 노드에 GPU가 있을 수 있는 여러 계산 노드를 사용할 수 밖에 없습니다. 이 경우 CPU-GPU 및 CPU-CPU 데이터 공유는 기본적으로 $ B 단계마다 수행되며 기본적으로 B=1 입니다. 이것은 단일 GPU에서 모든 시간 단계의 일반 계산보다 훨씬 느립니다.

다중 GPU 계산은 fdtd3d에서 아직 완전히 지원되지 않습니다. 현재 fdtd3d는 모든 데이터가 맞는 위치에 맞는지 확인하기 위해 사용자에게 의존하기 때문입니다(또한 CPU 전용 모드에서도). 따라서 이러한 제한이 있으면 작동해야 합니다.

@solotcy 아치가 설정되지 않은 버그가 있었습니다(#140 참조). 해당 PR에 대해서는 sm_60에 확인하시기 바랍니다.

Illegal memory access 는 장치 메모리에 있는 전역 변수 cudaSolverSettings에 대한 액세스와 관련이 있습니다( INTERNAL_SCHEME_BASE<Type, TCoord, layout_type>::calculateFieldStepIteration 참조).

if (SOLVER_SETTINGS.getDoUseTFSF ())

fdtd3d를 테스트한 동일한 컴퓨팅 기능 sm_35를 가진 3개의 GPU 중 2개에서 모든 것이 잘 작동합니다(모든 GPU는 다른 모델임). 그러나 어떤 이유로 cudaSolverSettings는 getDoUseTFSF 메소드를 입력할 때 NULL이 됩니다(즉, 이 ptr은 NULL입니다). 왜 이런 일이 일어나는지 이해할 수 없었지만, 내가 발견한 바에 따르면 이것은 장치 오작동으로 인해 발생할 수 있습니다.

적어도 4개의 GPU 중 하나에서 fdtd3d를 성공적으로 실행할 수 있었던 것 같습니다. 각 GPU에서 개별적으로 GPU 전용 모드를 시도하십시오. 4개의 GPU가 모두 정확히 동일하기 때문에 fdtd3d 동작에 차이가 전혀 없어야 합니다. 차이가 있을 수록 기기 오작동의 원인이 될 가능성이 높아집니다.

답장을 보내주셔서 감사합니다.

PR #140을 확인하고 플래그 -DCUDA_ARCH_SM_TYPE=sm_60이 추가된 fdtd3d를 다시 빌드했습니다. 불행히도 같은 문제가 발생합니다.

그러나 언급했듯이 단일 GPU 모드에서 다른 GPU 간에 전환할 때 동일한 오류가 발생했습니다. 그리고 이전과 같이 첫 번째 단계가 아니라 두 번째 단계에서

Estimated current size: 1437644553 byte.
Setup blocks:
blockCount:
Coord (X : 1.000000, Y : 1.000000, Z : 1.000000).
blockSize:
Coord (X : 200.000000, Y : 200.000000, Z : 200.000000).
Calculating time step 0...
Calculating time step 1...
Fatal error: an illegal memory access was encountered at ~/fdtd3d/Source/Scheme/InternalScheme.inc.h:912

그리고 첫 번째 GPU에서만 작동했기 때문에 상황이 이상해졌습니다. 다른 3개의 경우 모두 실패했고 동일한 오류 정보가 있었습니다.

테스트해주셔서 감사합니다! 나는 마침내 이 문제의 핵심 원인을 알아낼 수 있었다. PR #141이 문제를 해결합니다. 이제 fdtd3d가 모든 GPU에서 작동해야 합니다. 멀티 GPU 모드도 이제 작동하는 것 같습니다.

귀하의 답변과 수정된 코드에 감사드립니다. GPU가 있는 워크스테이션에서 원하는 만큼 프로그램을 실행할 수 있었습니다. 그런 다음 CPU와 GPU 모두에서 확장성을 테스트할 수 있습니다.
꽤 멋지네요, 감사합니다!!!

더 궁금한 사항이 있으면 언제든지 이 문제를 다시 여십시오.