Fdtd3d: समानांतर कंप्यूटिंग में प्रश्न

1. मुझे नहीं लगता कि यह अटका हुआ है, यह सिर्फ संगणना करता है, जो RelWithDebInfo मोड में भी बहुत धीमे हैं। इसके अलावा, क्यूडा लॉन्च के मामले में निष्पादन के अंत में पूर्ण लॉग मुद्रित किया जाता है।

छोटी सी युक्ति: -DSOLVER_DIM_MODES निर्दिष्ट करने के लिए यह तेज़ (संकलन और निष्पादन के मामले में) है, यदि आप जानते हैं कि आप कौन से मोड का उपयोग करेंगे। डिफ़ॉल्ट रूप से सभी मोड को बाइनरी में संकलित किया जाता है, जो कूडा बिल्ड के मामले में संकलन समय को काफी बढ़ा देता है। आपके मामले में -DSOLVER_DIM_MODES=DIM3 पर्याप्त होगा।

1. यहाँ कुछ बातों का ध्यान रखना है। सबसे पहले, प्रत्येक समय चरण का समग्र निष्पादन समय कम्प्यूटेशनल समय और साझा समय का योग है। जब ग्रिड अपेक्षाकृत छोटा हो, जैसे आपके मामले में, शेयर समय महत्वपूर्ण हो सकता है और वर्चुअल टोपोलॉजी का सावधानीपूर्वक चुनाव आवश्यक है (fdtd3d अपने आउटपुट में निर्दिष्ट ग्रिड आकार के लिए सर्वश्रेष्ठ वर्चुअल टोपोलॉजी दिखाता है)।

हालांकि, साझा मेमोरी वाले सिस्टम पर शेयर संचालन की बिल्कुल भी आवश्यकता नहीं है (थ्रेड सिंक्रोनाइज़ेशन को छोड़कर)। यही कारण है कि ओपनएमपी एमपीआई की तुलना में यहां कहीं अधिक लागू है, और एमपीआई आधारित कार्यक्रम सर्वश्रेष्ठ गति नहीं दिखाएंगे। दुर्भाग्य से, OpenMP अभी तक fdtd3d में समर्थित नहीं है।

इन सब बातों को ध्यान में रखते हुए, fdtd3d में अभी भी कुछ बदलाव करने हैं।

• डिफ़ॉल्ट रूप से केवल ऑक्स अक्ष कम्प्यूटेशनल नोड्स के बीच फैला हुआ है, लेकिन आप इसे -DPARALLEL_BUFFER_DIMENSION=xyz से बदल सकते हैं, जो सभी आयामों में ग्रिड के बीच ग्रिड को विभाजित करेगा। fdtd3d आउटपुट की जाँच करें क्योंकि यह इष्टतम वर्चुअल टोपोलॉजी की सलाह देता है।
• बफर का आकार --buffer-size B के साथ सेट किया जा सकता है, और शेयर ऑपरेशन केवल प्रत्येक B चरणों में किया जाएगा। इस मामले में इष्टतम वर्चुअल टोपोलॉजी, जिसे fdtd3d द्वारा सलाह दी जाती है, इष्टतम होने की गारंटी नहीं है। लेकिन आप वर्चुअल टोपोलॉजी को मैन्युअल रूप से --manual-topology --topology-sizex X --topology-sizey Y --topology-sizez Z के साथ सेट कर सकते हैं।

ध्यान दें कि जब प्रक्रियाओं की संख्या ग्रिड के समग्र आकार का विभक्त नहीं होती है, तो इष्टतम वर्चुअल टोपोलॉजी, fdtd3d द्वारा सलाह दी जाती है, यह भी इष्टतम होने की गारंटी नहीं है।

इस सामयिक उत्तर के लिए धन्यवाद।

1. एकल GPU कंप्यूटिंग के लिए, मैंने निम्नलिखित झंडे के साथ fdtd3d का रीमेक बनाया

cmake .. -DCMAKE_BUILD_TYPE=RelWithDebInfo -DVALUE_TYPE=f -DPRINT_MESSAGE=ON -DCUDA_ENABLED=ON -DCXX11_ENABLED=ON -DPARALLEL_GRID=ON -DPARALLEL_GRID_DIMENSION=3 -DSOLVER_DIM_MODES=DIM3 -DPARALLEL_BUFFER_DIMENSION=x

और इसने मेरे वर्कस्टेशन में काम किया। (BTW, मेरे वर्कस्टेशन में चार Tesla P100 हैं जिनमें से आर्क SM_60 होना चाहिए)

1. जब मैं मल्टी-जीपीयू कंप्यूटिंग को सक्षम करना चाहता हूं
   mpiexec --mca btl ^openib -n 2 ./Release/Source/fdtd3d --cmd-from-file ./Examples/vacuum3D_test.txt
   और CUDA cmds

--use-cuda
--cuda-buffer-size 2
--buffer-size 2
--cuda-gpus 0,1
--num-cuda-threads-x 4
--num-cuda-threads-y 4
--num-cuda-threads-z 4

दिखाए गए अनुसार त्रुटि होती है:

Calculating time step 0...
Calculating time step 1...
Fatal error: an illegal memory access was encountered at /home/t00540502/fdtd3d/Source/Scheme/InternalScheme.inc.h:912
*** FAILED - ABORTING
-------------------------------------------------------
Primary job  terminated normally, but 1 process returned
a non-zero exit code.. Per user-direction, the job has been aborted.

ऐसा लगता है कि पहला कदम ठीक था लेकिन दूसरे चरण में InternalSchemeKernelHelpers::calculateFieldStepIterationKernel कॉलिंग फ़ंक्शन में कुछ गड़बड़ है। मैं सोच रहा हूँ कि MPI+CUDA का उपयोग करने में मैंने कुछ गलतियाँ की होंगी। क्या आप कृपया मुझे सिखा सकते हैं कि इसे सही तरीके से कैसे कॉल करें?
बहुत - बहुत धन्यवाद।

श्रेष्ठ

शायद sm_60 आर्च में कुछ गड़बड़ है, मैंने इसका परीक्षण नहीं किया है। डिफ़ॉल्ट आर्च sm_20 है, इसलिए इसे आपके कार्ड पर काम करना चाहिए। हालांकि, कभी-कभी मैंने illegal memory access देखा है जब क्यूडा आर्च GPU की गणना क्षमता से मेल नहीं खाता।

मल्टी-जीपीयू कंप्यूटेशंस में सीमित प्रयोज्यता है। यदि सभी डेटा एक ही GPU की मेमोरी में फिट हो जाते हैं, तो इस एकल GPU पर एकल कम्प्यूटेशनल नोड पर गणना करना बहुत तेज़ होगा (क्योंकि CPU/GPU और विभिन्न कम्प्यूटेशनल नोड्स के बीच कोई मध्यवर्ती डेटा साझाकरण नहीं होगा)।

लेकिन जब ग्रिड बहुत बड़े होते हैं और एकल कम्प्यूटेशनल नोड की स्मृति में स्थित नहीं हो सकते हैं, तो कई कम्प्यूटेशनल नोड्स का उपयोग करने के अलावा कोई विकल्प नहीं होता है, प्रत्येक में संभवतः एक GPU होता है। इस स्थिति में CPU-GPU और CPU-CPU डेटा साझाकरण प्रत्येक B चरणों में डिफ़ॉल्ट रूप से B=1 किया जाएगा। यह एकल GPU पर सभी समय के चरणों की सामान्य गणना की तुलना में बहुत धीमा है।

मल्टी-जीपीयू कंप्यूटेशंस अभी तक fdtd3d में पूरी तरह से समर्थित नहीं हैं, क्योंकि वर्तमान में fdtd3d यह सुनिश्चित करने के लिए उपयोगकर्ता पर निर्भर करता है कि सभी डेटा फिट बैठता है जहां इसे फिट होना चाहिए (साथ ही सीपीयू केवल मोड में)। तो, ऐसी सीमाओं के साथ काम करना चाहिए।

@solotcy अनसेट आर्क के साथ एक बग था (# 140 देखें)। कृपया, उस पीआर पर sm_60 से जांचें।

Illegal memory access वैश्विक चर cudaSolverSettings तक पहुंच से संबंधित है, जो डिवाइस मेमोरी में स्थित है (देखें INTERNAL_SCHEME_BASE<Type, TCoord, layout_type>::calculateFieldStepIteration ):

if (SOLVER_SETTINGS.getDoUseTFSF ())

समान कंप्यूट क्षमता sm_35 वाले 3 में से 2 GPU पर, जिस पर मैंने fdtd3d का परीक्षण किया है, सब कुछ ठीक काम करता है (सभी GPU अलग-अलग मॉडल हैं)। हालांकि, किसी कारण से getDoUseTFSF विधि (यानी यह पीटीआर न्यूल है) दर्ज करते समय cudaSolverSettings NULL हो जाता है। मैं समझ नहीं पा रहा हूं कि ऐसा क्यों होता है, लेकिन मैंने जो पाया है उससे डिवाइस की खराबी के कारण ऐसा हो सकता है।

ऐसा लगता है कि आप कम से कम अपने 4 GPU में से किसी एक पर fdtd3d को सफलतापूर्वक लॉन्च करने में सक्षम हैं। प्रत्येक GPU पर अलग से GPU-only मोड आज़माएं। क्योंकि आपके सभी 4 GPU बिल्कुल एक जैसे हैं, fdtd3d व्यवहार में बिल्कुल भी अंतर नहीं होना चाहिए। यह एक अंतर है, तो डिवाइस के खराब होने का कारण अधिक संभावित हो जाता है।

उत्तरों के लिए बहुत-बहुत धन्यवाद।

मैंने पीआर #140 की जांच की है और ध्वज के साथ fdtd3d का पुनर्निर्माण किया है -DCUDA_ARCH_SM_TYPE=sm_60 जोड़ा गया। दुर्भाग्य से, वही समस्या होती है।

हालाँकि, जैसा कि आपने उल्लेख किया है, जब मैंने एकल GPU मोड पर विभिन्न GPU के बीच स्विच किया, तो मुझे उसी त्रुटि का सामना करना पड़ा। और यह पहले चरण पर नहीं बल्कि दूसरे चरण पर है, जैसा कि पहले था,

Estimated current size: 1437644553 byte.
Setup blocks:
blockCount:
Coord (X : 1.000000, Y : 1.000000, Z : 1.000000).
blockSize:
Coord (X : 200.000000, Y : 200.000000, Z : 200.000000).
Calculating time step 0...
Calculating time step 1...
Fatal error: an illegal memory access was encountered at ~/fdtd3d/Source/Scheme/InternalScheme.inc.h:912

और चीजें अजीब हो जाती हैं क्योंकि यह केवल पहले GPU पर काम करती है। अन्य तीन के लिए, यह सब विफल रहा और एक ही त्रुटि जानकारी थी।

आपके परीक्षणों के लिए धन्यवाद! मैं अंत में इस समस्या के मूल कारण का पता लगाने में सक्षम था। पीआर #141 इस मुद्दे को हल करता है। अब fdtd3d को आपके सभी GPU पर काम करना चाहिए। मल्टी-जीपीयू मोड अब भी काम करने लगता है।

आपके उत्तरों और संशोधित कोड के लिए धन्यवाद। मैं अपने वर्कस्टेशन पर प्रोग्राम को GPU के साथ चलाने में सक्षम हूं, जितना मैं चाहता हूं। तब मैं सीपीयू और जीपीयू दोनों पर मापनीयता के लिए परीक्षण कर सकता हूं।
यह बहुत अच्छा है, धन्यवाद!!!

अधिक प्रश्न होने पर इस मुद्दे को फिर से खोलने के लिए स्वतंत्र महसूस करें।