Caffe: GPU 0은 다른 GPU에서 실행할 때도 사용됩니다 (# 440 다시 발생 했습니까?)

방금 CUDA 7.0 및 드라이버 346.47로 caffe-rc2를 빌드했습니다. 내 첫 번째 GPU (ID 0)에서 테스트를 실행할 때 모든 것이 잘 작동합니다. 그러나 두 번째 GPU (ID 1 또는 build/test/test_all.testbin 1 )에서 테스트를 실행할 때 nvidia-smi 명령은 두 GPU가 모두 사용 중임을 표시합니다. GPU0에서 테스트를 실행할 때나 caffe-rc1 (한동안 CUDA 6.5로 빌드 됨)을 사용하여 테스트를 실행할 때는 그렇지 않습니다. CUDA 6.5를 사용하여 caffe-rc2 빌드를 시도했지만 문제가 지속됩니다.

export CUDA_VISIBLE_DEVICES=1 를 설정하고 build/test/test_all.testbin 0 를 실행하면 문제가 사라졌습니다. 그래서 이것은 https://github.com/BVLC/caffe/issues/440 에서와 같은 문제처럼 보입니다

업데이트 : 다른 소프트웨어 (제 경우에는 cuda_memtest)를 사용하여 GPU0의 메모리가 가득 찬 상태에서 build/test/test_all.testbin 1 --gtest_filter=DataLayerTest* 실행했을 때 프로그램이 실패했습니다.

build/test/test_all.testbin 1 --gtest_filter=DataLayerTest/3*
Cuda number of devices: 2
Setting to use device 1
Current device id: 1
Note: Google Test filter = DataLayerTest/3*
[==========] Running 12 tests from 1 test case.
[----------] Global test environment set-up.
[----------] 12 tests from DataLayerTest/3, where TypeParam = caffe::DoubleGPU
[ RUN      ] DataLayerTest/3.TestReadLevelDB
F0324 20:34:20.499236 20499 benchmark.cpp:111] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7f16777cfdaa  (unknown)
    @     0x7f16777cfce4  (unknown)
    @     0x7f16777cf6e6  (unknown)
    @     0x7f16777d2687  (unknown)
    @     0x7f1675f133b8  caffe::Timer::Init()
    @     0x7f1675f13569  caffe::CPUTimer::CPUTimer()
    @     0x7f1675ebacec  caffe::DataLayer<>::InternalThreadEntry()
    @     0x7f166de8da4a  (unknown)
    @     0x7f16755f5182  start_thread
    @     0x7f167532247d  (unknown)
    @              (nil)  (unknown)
Aborted (core dumped)

다른 테스트 범주 (최소 NeuronLayerTest 및 FlattenLayerTest )를 사용하면 프로그램이 제대로 작동합니다.