Numpy: NumPy में BLIS समर्थन के लिए ट्रैकर मुद्दा

मैं देखता हूं कि BLIS को site.cfg में शामिल किया गया है।
क्या libFLAME का भी समर्थन किया जा सकता है?

Https://www.cs.utexas.edu/%7Eflame/web/libFLAME.html पर वर्णन को ठीक करने की आवश्यकता हो सकती है, लेकिन इससे मुझे यह स्पष्ट नहीं होता है कि libFLAME वास्तव में LAPACK API को लागू करता है।

@rgommers libflame वास्तव में netlib LAPACK API प्रदान करता है, और उन सभी चीजों के लिए कार्यान्वयन जो कि libflame मूल रूप से प्रदान नहीं करती है।

एफडब्ल्यूआईडब्ल्यू, बीएलआईएस ने इस मुद्दे को खोलने के बाद से महत्वपूर्ण प्रगति की है। उदाहरण के लिए, बीएलआईएस अब रनटाइम कॉन्फ़िगरेशन को लागू करता है, और रन-टाइम इंफ्रास्ट्रक्चर के संदर्भ में इसके कॉन्फ़िगर-टाइम कॉन्फ़िगरेशन को फिर से लागू किया गया है। BLIS अब अपने अधिक व्यापक परीक्षणों के अलावा एकीकृत BLAS परीक्षण ड्राइवरों की पेशकश करता है। लाइब्रेरी सेल्फ-इनिशियलाइज़ेशन भी जगह में है, जैसा कि मोनोलिथिक हैडर जेनरेशन (500+ डेवलपमेंट हेडर के बजाय सिंगल ब्लिस.एच) है, जो इंस्टॉल किए गए प्रोडक्ट के प्रबंधन को आसान बनाता है। यह अपने स्टैटिक और शेयर्ड लाइब्रेरी बिल्ड के लिए अधिक मानकीकृत लाइब्रेरी नामकरण सम्मेलन का भी अनुसरण करता है, जिसमें soname । अंत में, इसकी निर्माण प्रणाली कंपाइलर और असेंबलर संगतता के लिए एक बहुत स्मार्ट विज़-ए-विज़ चेकिंग है। और यही मैं अपने सिर के ऊपर से सोच सकता हूं।

@fgvanzee धन्यवाद। उस स्थिति में मैं numpy.distutils में इसके लिए समर्थन जोड़ने के लिए +1 हूं।

मैं इस समय समय पर वास्तव में बहुत छोटा हूं, इसलिए कम से कम सितंबर तक इस पर काम नहीं कर सकता। यदि कोई दूसरा व्यक्ति इससे निपटना चाहता है, तो उसे अपेक्षाकृत सीधा होना चाहिए (उसी तरह gh-7294 के रूप में)। समस्या निवारण / समीक्षा में मदद करने के लिए खुश।

यह प्रमुख प्रगति की तरह लगता है। कितनी दूर आप कहेंगे कि आप सुपीरियर / स्कैपी (प्रदर्शन और स्थिरता के लिहाज से) ओपनबीएलएएस के लिए एक व्यवहार्य विकल्प हैं?

(ध्यान दें कि अभी भी हमारे पास फ़ोर्टन मेस के कारण conda के लिए विंडोज पर स्केपी-ओपनब्लास नहीं है: https://github.com/conda-forge/scipy-feedstock/blob/master/recipe/ meta.yaml # L14)

यदि आप MSVC ABI संगत BLAS और LAPACK चाहते हैं, तब भी कोई आसान, पूरी तरह से खुला स्रोत विकल्प नहीं हैं। हालांकि आजकल क्लैंग-क्ल और फ्लैग के साथ, समस्या संकलक की उपलब्धता की तरह नहीं है, जैसा कि यह हुआ करता था, अब यह सिस्टम लचीलापन बना रहा है और उन संयोजनों का उपयोग करने की कोशिश कर रहा है जो लाइब्रेरी लेखकों ने पहले कभी भी मूल्यांकन या समर्थन नहीं किया है। रेफरी https://github.com/flame/blis/issues/57#issuecomment -284614032

@rgommers मैं कहूँगा कि BLIS वर्तमान में OpenBLAS का एक काफी व्यवहार्य विकल्प है। यह पर्याप्त रूप से व्यवहार्य है कि एएमडी ने एसीएमएल को त्याग दिया है और अपने नए ओपन-सोर्स गणित पुस्तकालय समाधान की नींव के रूप में बीएलआईएस को पूरी तरह से गले लगा लिया है। (हमारे पास कॉर्पोरेट प्रायोजक हैं, और पिछले कई वर्षों से नेशनल साइंस फाउंडेशन द्वारा प्रायोजित किया गया है।)

प्रदर्शन-वार, सटीक लक्षण वर्णन उस ऑपरेशन पर निर्भर करेगा जिसे आप देख रहे हैं, फ़्लोटिंग-पॉइंट डेटाटाइप, हार्डवेयर और समस्या आकार श्रेणी जिसमें आप रुचि रखते हैं। हालाँकि, आम तौर पर बोलना, BLIS आमतौर पर OpenBLAS से मिलता है या उससे अधिक होता है। सभी छोटी समस्याओं के आकार (300 या उससे कम) के लिए लेवल -3 का प्रदर्शन। यह OpenBLAS की तुलना में अधिक लचीली स्तर -3 समांतर रणनीति को भी नियोजित करता है (उनके अखंड विधानसभा डिजाइन के कारण) सक्षम है।

स्थिरता-वार, मैं यह सोचना चाहूंगा कि BLIS काफी स्थिर है। हम बग रिपोर्ट के प्रति बहुत संवेदनशील होने की कोशिश करते हैं, और पिछले पांच या इतने महीनों में समुदाय से ब्याज की वृद्धि के लिए धन्यवाद, हम बहुत सारे मुद्दों की पहचान करने और उन्हें ठीक करने में सक्षम हैं (ज्यादातर सिस्टम से संबंधित निर्माण)। इसने एंड-यूजर्स के साथ-साथ पैकेज मैनेजरों के लिए यूजर एक्सपीरियंस को स्मूथ कर दिया है।

इसके अलावा, ध्यान रखें कि BLIS ने (दिन के शून्य से) BLAS जैसी कार्यक्षमता का एक सुपरसेट प्रदान किया है, और ऐसा दो उपन्यास API के माध्यम से अलग और BLAS संगतता परत के अलावा किया गया है:

• स्पष्ट रूप से टाइप किया गया BLAS जैसा API
• एक अंतर्निहित टाइप वस्तु आधारित एपीआई

यह न केवल उन विरासत वाले उपयोगकर्ताओं का समर्थन करता है जिनके पास पहले से ही सॉफ़्टवेयर है, जिन्हें BLAS लिंकेज की आवश्यकता है, बल्कि स्क्रैच से कस्टम घने रैखिक बीजगणित समाधान के निर्माण में रुचि रखने वालों के लिए एक महान टूलबॉक्स प्रदान करता है - वे लोग जो BLAS इंटरफ़ेस के प्रति कोई विशेष आत्मीयता महसूस नहीं कर सकते हैं।

मौजूदा BLAS कार्यान्वयन और साथ ही BLAS API दोनों में विभिन्न कमियों के कारण पैदा हुई निराशा, 2012 से BLIS मेरे प्रेम का श्रम रहा है। यह कहीं नहीं जा रहा है, और केवल बेहतर होगा। :)

आह धन्यवाद @tkelman Cygwin :( :(

हालांकि लिनक्स / macOS पर BLIS के खिलाफ संकलित संख्या का उपयोग करने वाले लोगों के कुछ अनुभव सुनना दिलचस्प होगा।

संदर्भ @fgvanzee के लिए धन्यवाद। हमारे लिए libFLAME समर्थन जोड़ना और SciPy बेंचमार्क सूट पर प्रयास करना दिलचस्प होगा।

@rgommers पुन: आपकी रुचि के लिए धन्यवाद: libflame। बस इस बात से अवगत रहें कि libflame कुछ TLC का उपयोग कर सकता है; यह BLIS के रूप में आकार में अच्छा नहीं है। (हमारे पास इसका समर्थन करने के लिए समय / संसाधन नहीं है, जैसा कि हम चाहेंगे, और पिछले छह वर्षों में हमारा लगभग 100% ध्यान बीएलआईएस को उस स्थान पर केंद्रित करने पर केंद्रित है जहां यह ओपब्लस के लिए एक व्यवहार्य और प्रतिस्पर्धी विकल्प बन सकता है। और अन्य।)

कुछ बिंदु पर, एक बार बीएलआईएस परिपक्व हो जाता है और हमारे अनुसंधान रास्ते समाप्त हो गए हैं, तो हम संभवतः अपना ध्यान libflame / LAPACK- स्तर की कार्यक्षमता (उदाहरण के लिए, चोल्स्की, LU, QR कारक) में बदल देंगे। यह वृद्धिशील रूप से उन कार्यान्वयनों को बीएलआईएस में शामिल कर सकता है, या इसमें अंततः एक नया प्रोजेक्ट शामिल हो सकता है जो अंततः libflame को बदल सकता है। यदि यह बाद का है, तो इसे BLIS में निम्न-स्तरीय API का लाभ लेने के लिए डिज़ाइन किया जाएगा, इस प्रकार कुछ फ़ंक्शन कॉल और मेमोरी कॉपी ओवरहेड से बचना चाहिए जो वर्तमान में BLAS के माध्यम से अपरिहार्य है। यह कई विषयों में से एक है जिसकी हम जांच करने के लिए तत्पर हैं।

मैंने इस लेख से बेंचमार्क को NumPy 1.15 और BLIS 0.3.2 के साथ Intel Skylake पर बिना मल्टीथ्रेडिंग के चलाया है (मेरे पास HT के साथ एक हार्डवेयर निर्देश त्रुटि थी):

Dotted two 4096x4096 matrices in 4.29 s.
Dotted two vectors of length 524288 in 0.39 ms.
SVD of a 2048x1024 matrix in 13.60 s.
Cholesky decomposition of a 2048x2048 matrix in 2.21 s.
Eigendecomposition of a 2048x2048 matrix in 67.65 s.

इंटेल MKL 2018.3:

Dotted two 4096x4096 matrices in 2.09 s.
Dotted two vectors of length 524288 in 0.23 ms.
SVD of a 2048x1024 matrix in 1.11 s.
Cholesky decomposition of a 2048x2048 matrix in 0.19 s.
Eigendecomposition of a 2048x2048 matrix in 7.83 s.

4.29 सेकेंड में दो 4096x4096 मैट्रिस्केटेड।

@homocomputeris क्षमा करें, मैंने पहले कभी दो मैट्रिसेस पर किसी ऑपरेशन का वर्णन करने के लिए उपयोग की जाने वाली "डॉट" क्रिया नहीं सुनी है। क्या यह मैट्रिक्स गुणन है?

@fgvanzee इन दिनों BLIS में Windows समर्थन की स्थिति क्या है? मुझे याद है कि यह विंडोज पर बनाने के लिए ज्यादातर असमर्थित हुआ करता था ...

@fgvanzee और हाँ, numpy.dot पायथन में GEMM को कॉल करने का पारंपरिक तरीका है। (एक विषम नाम से सॉर्ट करें, लेकिन यह इसलिए है क्योंकि यह वेक्टर-वेक्टर, वेक्टर-मैट्रिक्स, मैट्रिक्स-मैट्रिक्स सभी एक ही एपीआई में संभालता है।)

@njsmith "देशी" विंडोज समर्थन की स्थिति ज्यादातर अपरिवर्तित है। हमारे पास अभी भी इस तरह का समर्थन करने में विशेषज्ञता और रुचि की कमी है, दुर्भाग्य से। हालाँकि, जब से विंडोज 10 जारी किया गया था, ऐसा लगता है कि "उबंटू फॉर विंडोज" या किसी प्रकार का बैश अनुकूलता वातावरण उपलब्ध है। विंडोज समर्थन प्राप्त करने के लिए यह शायद अधिक आशाजनक आय है। (लेकिन फिर से, हमारे समूह में कोई भी विंडोज़ पर विकसित या उपयोग नहीं करता है, इसलिए हमने उस विकल्प पर भी ध्यान नहीं दिया है।)

ठीक है अब के लिए एक आखिरी पोस्ट ...

इस तरह एक बेंचमार्क के लिए @homocomputeris यह वास्तव में कुछ प्रसिद्ध पुस्तकालय भी दिखाने में मदद करता है, जैसे OpenBLAS, क्योंकि अन्यथा हमें पता नहीं है कि आपका हार्डवेयर कितना तेज़ है।

@fgvanzee देशी तार के समर्थन की बात करते हुए, इन दिनों आपके पास क्या प्रतिबंध हैं? क्या उन्हें डेटा आकार के लिए, सकारात्मक, गैर-नकारात्मक, सटीक गुणकों को जोड़ना होगा ...? (जैसा कि आपको याद होगा, बाइट्स में मापी गई पूरी तरह से मनमानी प्रगति के लिए सुन्न सरणियाँ अनुमति देती हैं।)

@fgvanzee "विंडोज के लिए बैश" प्रभावी रूप से विंडोज पर लिनक्स वीएम चलाने के बराबर है - विशेष रूप से तेज और सहज वीएम, लेकिन यह एक मूल वातावरण नहीं है। तो अच्छी खबर यह है कि आप पहले से ही विंडोज :-) के लिए बैश का समर्थन करते हैं, लेकिन बुरी खबर यह है कि यह देशी विंडोज समर्थन का विकल्प नहीं है।

@njsmith मेरे परिणाम भी कमोबेश उसी तरह हैं जैसे कि लेख में।
उदाहरण के लिए नवीनतम MKL:

Dotted two 4096x4096 matrices in 2.09 s.
Dotted two vectors of length 524288 in 0.23 ms.
SVD of a 2048x1024 matrix in 1.11 s.
Cholesky decomposition of a 2048x2048 matrix in 0.19 s.
Eigendecomposition of a 2048x2048 matrix in 7.83 s.

मैं यह नोट करना चाहता हूं, कि मुझे नहीं पता कि बीएलआईएस को कैसे उपयोग किया जाए, जो मेरे सीपीयू को अनुकूलित और मल्टीथ्रेड कर सकता है। जबकि MKL में कमोबेश चीजें बॉक्स से बाहर हैं।

@njsmith उस अद्यतन के लिए धन्यवाद। मैं मानता हूँ कि देशी ओएस समर्थन कुछ भी नहीं धड़कता है। मैं इस बात से भी सहमत हूं कि हमें @homocomputeris की टाइमिंग की ठीक से व्याख्या करने के लिए अन्य पुस्तकालयों के साथ बेंचमार्क चलाने की आवश्यकता है।

देशी तार के समर्थन की बात करते हुए, इन दिनों आपके पास क्या प्रतिबंध हैं? क्या उन्हें डेटा आकार के लिए, सकारात्मक, गैर-नकारात्मक, सटीक गुणकों को जोड़ना होगा ...? (जैसा कि आपको याद होगा, बाइट्स में मापी गई पूरी तरह से मनमानी प्रगति के लिए सुन्न सरणियाँ अनुमति देती हैं।)

@njsmith संरेखित? नहीं सकारात्मक? मुझे लगता है कि हमने उस बाधा को उठा लिया है, लेकिन इसका पूरी तरह से परीक्षण नहीं किया गया है। डेटाटाइप के सटीक गुणक? हाँ, फिर भी।

मैं @devinamatthews को चर्चा में ला रहा हूं। महीनों पहले मैंने उसे बाइट स्ट्राइड्स के लिए आपके अनुरोध के बारे में बताया था, और उस समय उसके कुछ अच्छे अंक / प्रश्न थे जो मुझे याद नहीं हैं। डेविन, क्या आप इस बारे में अपनी चिंताओं को याद कर सकते हैं, और यदि ऐसा है, तो उन्हें नाथनियल को व्यक्त करें? धन्यवाद।

@homocomputeris क्या आप size लिए किसी भिन्न मान के साथ मानदंड को फिर से पढ़ना चाहेंगे? मुझे आश्चर्य है कि अगर लेखक ने दो (4096) की शक्ति का उपयोग किया मूल्य BLIS के लिए एक विशेष रूप से खराब उपयोग मामला है, और वैसे भी अधिकांश अनुप्रयोगों के लिए विशेष रूप से यथार्थवादी नहीं है। मेरा सुझाव है कि इसके बजाय 4000 (या 3000 या 2000) की कोशिश कर रहा हूं।

@homocomputeris और क्या आपने कहा कि BLIS परिणाम एकल-थ्रेडेड हैं, जबकि MKL परिणाम बहु-थ्रेडेड हैं?

एफडब्ल्यूआईडब्ल्यू, मैंने कुछ समय पहले विंडोज पर बीएलआईएस का निर्माण किया। फिलहाल प्राथमिक दर्द बिंदु बिल्ड सिस्टम है। MSVC संगत बाइनरी का उत्पादन करने के लिए क्लेंग का उपयोग करने के लिए मिंगव का मेकओवर करना संभव हो सकता है। मुझे उस समय के साथ कभी नहीं मिला जब मैं उस पर खर्च करने में सक्षम था, लेकिन यह संभव लगता है।

वास्तविक स्रोत कोड के भीतर, स्थिति बहुत खराब नहीं है। हाल ही में उन्होंने अपने असेंबली कर्नेल के लिए मैक्रोज़ का उपयोग करने के लिए भी संक्रमण किया, ताकि विंडोज समर्थन में एक और बाधा समाप्त हो जाए। Https://github.com/flame/blis/issues/220#issuecomment -397842370 और https://github.com/flame/blis/pull/224 देखें। ऐसा लगता है कि स्रोत फ़ाइलें स्वयं कुछ और मैक्रोज़ / ifdefs MSVC पर निर्माण से दूर हैं, लेकिन यह एक बाहरी व्यक्ति के रूप में मेरा दृष्टिकोण है। मुझे यह भी पता नहीं है कि MSVC के साथ काम करने के लिए मौजूदा BLIS मेकफाइल्स कैसे प्राप्त करें।

@insertinterestingnamehere, इमान में चीमिंग के लिए धन्यवाद। आप सही हैं कि पुनः-मैक्रोइक असेंबली कर्नेल MSVC के अनुकूल होने के करीब एक कदम हैं। हालाँकि, जैसा कि आप बताते हैं, हमारी बिल्ड सिस्टम निश्चित रूप से विंडोज समर्थन को ध्यान में रखकर नहीं बनाई गई थी। इसके अलावा, MSVC अभी तक C99 का समर्थन करता है? यदि नहीं, तो यह एक और बाधा है। (BLIS को C99 की आवश्यकता है।)

खैर, मैंने ऊपर केवल उदाहरण दिया है कि यह दिखाने के लिए कि BLIS दूसरों के लिए तुलनीय है, इसीलिए मैंने कुछ अधिक विशिष्ट को शामिल नहीं किया है।

लेकिन जैसा कि आप पूछते हैं: स्माइली:

• इंटेल कोर i5-6260U नवीनतम BIOS के साथ प्रोसेसर और स्पेक्टर / मेल्टडाउन के लिए जो कुछ भी पैच है
• लिनक्स 4.17.3-1-ARCH
• सब कुछ जीसीसी 8.1.1 20180531 के साथ संकलित किया गया है
• NumPy 1.15.0rc1
• मैंने मैट्रिक्स आयामों के लिए एक प्रमुख चुना है

Intel MKL 2018.3 2 थ्रेड्स तक सीमित है (अर्थात, मेरा भौतिक CPU कोर):

Dotted two 3851x3851 matrices in 1.62 s.
Dotted two vectors of length 492928 in 0.18 ms.
SVD of a 1925x962 matrix in 0.54 s.
Cholesky decomposition of a 1925x1925 matrix in 0.10 s.
Eigendecomposition of a 1925x1925 matrix in 4.38 s.

BLIS 0.3.2 के साथ संकलित
CFLAGS+=" -fPIC" ./configure --enable-cblas --enable-threading=openmp --enable-shared x86_64

Dotted two 3851x3851 matrices in 3.82 s.
Dotted two vectors of length 492928 in 0.39 ms.
SVD of a 1925x962 matrix in 12.82 s.
Cholesky decomposition of a 1925x1925 matrix in 2.02 s.
Eigendecomposition of a 1925x1925 matrix in 67.80 s.

तो, ऐसा लगता है कि BLIS को निश्चित रूप से Numix द्वारा Unix / POSIX / कुछ भी-जैसी प्रणालियों का समर्थन करना चाहिए, क्योंकि मैं विंडोज usecase की कल्पना करता हूं कि 'अगर यह काम करता है तो इसे न छुएं'
केवल एक चीज जो मुझे नहीं पता कि वह MKL / BLIS और LAPACK / libFLAME के ​​बीच का संबंध है। इंटेल का दावा है कि उनके पास BLAS के अलावा कई चीजें हैं, जैसे LAPACK, FFT आदि।

@fgvanzee BLIS के लिए 2 खराब क्यों है? अगर यह सबसे तेज़ एफएफटी चाहता है, तो कोलाकोशन विधियों के लिए यह काफी सामान्य है।

Numpy एट अल के लिए।, यह MinGW / MSYS2 में इमारत का प्रबंधन करने के --- है कि क्या हम विंडोज पर openblas साथ वर्तमान में कर (हालांकि यह अपने आप में एक हैक की तरह है) पर्याप्त होगा। यह "पारंपरिक" एपीआई के उपयोग को सीमित करेगा जिसमें सीआरटी संसाधनों को पार करना शामिल नहीं है, लेकिन यह BLAS / LAPACK के लिए ठीक है।

@ Fgvanzee C99 के बारे में अच्छी बात है। C99 प्रीप्रोसेसर को आश्चर्यचकित करें, आश्चर्यजनक रूप से, यहां तक ​​कि MSVC 2017 प्रीप्रोसेसर भी पूरी तरह से नहीं पकड़ा गया है। माना जाता है कि वे वर्तमान में (https://docs.microsoft.com/en-us/cpp/visual-cpp-language-conformance#note_D) तय कर रहे हैं।

@fgvanzee @njsmith यहाँ है कि हम मनमाने बाइट का समर्थन करने के लिए क्या करना होगा:

1) इंटरफ़ेस को संशोधित करें। मेरे लिए होने वाली सबसे समीचीन चीज़ ऑब्जेक्ट इंटरफ़ेस में stride_units ध्वज की तरह कुछ जोड़ना है।
2) केवल बाइट्स स्ट्राइड्स का उपयोग करने के लिए सभी इंटर्नल को रिफलेक्टर करें। यह किसी भी मामले में एक बुरा विचार नहीं हो सकता है।
3) जब पैकिंग, डेटा प्रकार संरेखण के लिए जाँच करें और यदि नहीं, तो सामान्य पैकिंग कर्नेल का उपयोग करें।
a) सामान्य पैकिंग कर्नेल को memcpy का उपयोग करने के लिए भी अद्यतन करना होगा। अगर हम इसे शाब्दिक आकार के पैरामीटर का उपयोग करने के लिए फाइनल कर सकते हैं तो इसे बुरी तरह से चूसना नहीं चाहिए।
4) जब C अनलगइन किया जाता है, तो memcpy का उपयोग करके C तक पहुंचने वाले वर्चुअल माइक्रोकर्नेल का भी उपयोग करें।

यह सिर्फ इनपुट और आउटपुट मैट्रिसेस के लिए है। यदि alpha और beta मनमानी संकेत हो सकते हैं तो और भी मुद्दे हैं। ध्यान दें कि x86 पर आप बिना ठीक किए गए डेटा को पढ़ / लिख सकते हैं, लेकिन अन्य आर्किटेक्चर (esp। ARM) एक समस्या होगी। कंपाइलर ऑटो-वेक्टरिंग करते समय अतिरिक्त संरेखण समस्याओं को भी पेश कर सकता है।

@homocomputeris :

1. मेरा तात्पर्य यह नहीं था कि दो की शक्तियाँ कभी "जंगली में" नहीं निकलती हैं, केवल इसलिए कि वे वायाचे बेंचमार्क में ओवररिपेट किए गए हैं, संभवत: इसलिए कि हम कंप्यूटर-उन्मुख मानव दो की शक्तियों में गणना करना पसंद करते हैं। :)
2. वे बेंचमार्क परिणाम वास्तव में समान हैं। मुझे अच्छा लगेगा अगर इस अगले प्रश्न का उत्तर "नहीं" है, लेकिन क्या यह संभव है कि आपने गलती से दोनों बेंचमार्क को एमकेएल (या बीएलआईएस) से जोड़ दिया?
3. मैं पूरी तरह से सहमत हूं कि एफएफटी से संबंधित अनुप्रयोगों में दो की शक्तियां उत्पन्न होती हैं। मैं सिग्नल प्रोसेसिंग में काम करता था, इसलिए मैं समझता हूं। :)
4. BLIS के साथ मेरी चिंता दो की शक्तियों के साथ अच्छा नहीं करना वास्तव में BLIS के लिए अद्वितीय नहीं है। हालाँकि, यह हो सकता है कि हम जिस घटना का अवलोकन कर रहे हैं वह BLIS के साथ अधिक स्पष्ट हो, और इसलिए BLL के लिए एक शुद्ध "दंड" है जो MKL जैसे हास्यास्पद रूप से अनुकूलित समाधान के सापेक्ष है। चिंता इस प्रकार है: जब मैट्रिसेस आयाम के होते हैं जो दो की शक्ति है, तो यह संभावना है कि उनका "अग्रणी आयाम" भी दो की शक्ति है। (अग्रणी आयाम मैट्रिक्स के स्तंभ-संग्रहित होने पर, या पंक्ति-संग्रहित होने पर पंक्ति के पूर्ण होने पर स्तंभ से मेल खाती है।) आइए एक पल की पंक्ति संग्रहण के लिए मान लें। जब अग्रणी आयाम दो की शक्ति है, तो कैश लाइन जिसमें तत्व (i, j) उसी समरूपता में रहता है जो कैश लाइन के रूप में सेट होती है जिसमें तत्व (i + 1, j), (i + 2, j) होते हैं , (i + 3, j) आदि रहते हैं - अर्थात, बाद की पंक्तियों के समान तत्व। इसका मतलब यह है कि जब gemm ऑपरेशन अपडेट होते हैं, कहते हैं, सी की एक डबल-सटीक वास्तविक 6x8 माइक्रोटाइल, वे 6 पंक्तियाँ सभी मैप्स को L1 कैश में सेट की गई समान एसोसिएटिविटी के लिए मैप करती हैं, और अनिवार्य रूप से इनमें से कुछ को बेदखल किया जाता है। पुन: उपयोग किया। ये तथाकथित संघर्ष मिस हमारे प्रदर्शन के ग्राफ़ में कभी-कभार प्रदर्शन में गिरावट के रूप में दिखाई देंगे। जहां तक ​​मुझे पता है, इस प्रदर्शन हिट के आसपास कोई आसान तरीका नहीं है। हम पहले से ही ए और बी मैट्रीक को पैक / कॉपी करते हैं, इसलिए यह उन्हें उतना प्रभावित नहीं करता है, लेकिन हम मैट्रिक्स सी को एक विशाल मेमोरी कॉपी हिट के बिना कुछ अधिक अनुकूल अग्रणी आयाम में पैक नहीं कर सकते हैं। (इलाज बीमारी से भी बदतर होगा।) अब, एमकेएल के पास इसे कम करने का एक तरीका है, हो सकता है कि यह एक अलग-अलग आकार के माइक्रोकर्नल पर स्विच हो जो संघर्ष की संख्या को कम करता है। या शायद वे नहीं करते हैं, लेकिन मुझे पता है कि BLIS इसे कम करने के लिए कुछ भी करने की कोशिश नहीं करता है। उम्मीद है कि आपके सवाल का जवाब दे।
5. आप सही कह रहे हैं कि MKL सिर्फ BLAS + LAPACK कार्यक्षमता से अधिक है। हालांकि, ध्यान रखें कि एमकेएल व्यावसायिक रूप से आयोजित, बंद-स्रोत समाधान है। हालांकि यह "मुफ्त में" गैर-वाणिज्यिक उद्देश्यों के लिए उपलब्ध है, लेकिन इसकी कोई गारंटी नहीं है कि इंटेल एमकेएल को भविष्य में जनता के लिए अनुपलब्ध नहीं करेगा, या फिर इसके लिए चार्ज करना शुरू कर देगा। इसके अलावा, यह वास्तव में हमारे लिए महान नहीं है जो कंप्यूटर वैज्ञानिक कार्यान्वयन को समझना चाहते हैं, या कार्यान्वयन को संशोधित या संशोधित करना चाहते हैं, या अच्छी तरह से समझे गए बिल्डिंग ब्लॉकों पर हमारे शोध का निर्माण करना चाहते हैं। उस ने कहा, यदि आप चाहते हैं कि आपकी समस्या का समाधान हो और आप अपने दिन के साथ आगे बढ़ें, और आप इसे BLAS के माध्यम से व्यक्त कर रहे हैं, तो यह बहुत अच्छा है। :)

@fgvanzee अपडेट किया गया। मेरा बुरा, किसी कारण से यह एमकेएल के साथ संकलित हुआ, हालांकि मैंने बीएलआईएस को विन्यास में रखा था।
SVD और EVD LAPACK में लागू किए गए हैं?

@homocomputeris हाँ, LAPACK एसवीडी और ईवीडी को लागू करता है। और मुझे उम्मीद है कि एमकेएल का कार्यान्वयन बेहद तेज होगा।

हालांकि, ईवीडी थोड़ा अस्पष्ट है: सामान्यीकृत आइगेनवैल्यू समस्या और एक हर्मिटियन (या सममित) ईवीडी है। एक त्रिदोषजन्य ईवीडी भी है, लेकिन आमतौर पर बहुत कम लोग उस में रुचि रखते हैं, सिवाय उन लोगों को छोड़कर जो हर्मिटियन डीडी को लागू कर रहे हैं।

NumPy 2018 के अंत में पायथन 2.7 और 3.4 समर्थन को छोड़ देगा, जो कि अधिक हाल के MSVC कंपाइलरों का उपयोग करने की अनुमति देगा जो C99 आज्ञाकारी हैं, यह एक कारण है कि हम आधिकारिक 2.7 समर्थन चलाने से पहले उस चाल को बना रहे हैं। हाल के MSVC संकलक में C99 समर्थन के बारे में अधिक जानकारी के लिए http://tinyurl.com/yazmczel देखें। समर्थन पूर्ण नहीं है (क्या कोई पूर्ण है?) लेकिन पर्याप्त हो सकता है। हम कुछ बिंदु पर ही NumPy को C99 में ले जा रहे हैं, क्योंकि कुछ (Intel) ने बेहतर संख्यात्मक समर्थन के लिए अनुरोध किया है।

@charris इस जानकारी के लिए धन्यवाद, चार्ल्स। शायद यह मामला है कि जो भी लागू किया जाएगा वह पर्याप्त होगा, लेकिन जब तक हम कोशिश नहीं करेंगे, तब तक हम निश्चित रूप से नहीं जान पाएंगे।

किसी भी मामले में, व्यापक रूप से गोद लेने की शुरुआत करने के लिए बीएलआईएस को एमकेएल को हराने की आवश्यकता नहीं है; इसका तत्काल प्रतियोगी OpenBLAS है।

व्यापक रूप से गोद लेने की शुरुआत करने के लिए बीएलआईएस को एमकेएल को हराने की आवश्यकता नहीं है; इसका तत्काल प्रतियोगी OpenBLAS है।

अधिक सहमत नहीं हो सका। MKL अपनी खुद की एक लीग में है।

@njsmith बस जिज्ञासु: नए एपीआई / कार्यक्षमता में सुपीरियर समुदाय की दिलचस्पी कितनी होगी जो मिश्रित सटीकता और / या मिश्रित डोमेन में gemm प्रदर्शन करने की अनुमति देता है? यही है, प्रत्येक ऑपरेंड एक अलग डेटाटाइप का हो सकता है, संगणना ए (बी) के एक या दोनों से भिन्न परिशुद्धता (संभावित) में की जा सकती है?

@fgvanzee रुचि, हाँ, हालांकि संयोजन की संभावित संख्या

और हमेशा फ्लोट 16 होता है। एमएल लोगों को उन कार्यों में अधिक रुचि हो सकती है। @GaelVaroquaux विचार?

@charris हाँ, मामलों की संख्या चुनौतीपूर्ण हो सकती है। चार पारंपरिक फ्लोटिंग-पॉइंट डेटाैटिप्स मानते हुए gemm लिए 128 प्रकार के संयोजन हैं, और यह संख्या ट्रांसपोज़िशन / संयुग्मन मापदंडों के साथ-साथ मैट्रिक्स स्टोरेज संभावनाओं (जिस स्थिति में यह ऊपर जाएगी) से किसी भी कॉम्बीनेटर मुद्रास्फीति को बाहर कर देती है। 55,296)।

पूरी तरह से एक कम-प्रदर्शन संदर्भ कार्यान्वयन के माध्यम से भी 128 मामलों को लागू करना उल्लेखनीय होगा, और उच्च प्रदर्शन वाले तरीके से ऐसा करना कि ओवरहेड को कम से कम करना काफी विशेष होगा। (और, BLIS की वस्तु-आधारित नींव के लिए धन्यवाद, अगर हम इसे लागू करने के लिए थे, तो अतिरिक्त कोड के संदर्भ में बहुत कम लागत आएगी।)

यदि यह आपकी रुचि है, तो कृपया आने वाले दिनों / हफ्तों में हमारी परियोजना देखें। :)

क्या BLIS कांटा सुरक्षित है?

किसी भी मामले में, व्यापक रूप से गोद लेने की शुरुआत करने के लिए बीएलआईएस को एमकेएल को हराने की आवश्यकता नहीं है; इसका तत्काल प्रतियोगी OpenBLAS है।

वास्तव में। सच कहूं तो, मैं अपने सिस्टम पर NumPy + BLAS का काम नहीं कर सका, लेकिन मुझे लगता है कि मैंने पहले उद्धृत किए गए लेख को देखते हुए बहुत ही समान प्रदर्शन किया है।
यदि NumPy से लिंक किया गया है तो संभवतः, libFLAME LAPACK संचालन को गति दे सकता है।

एक और दिलचस्प सवाल यह है कि एएमडी के BLIS / libFLAME कांटे को अपने नवीनतम ज़ेन सीपीयू पर बेंच कर देखें कि क्या उन्हें कोई सुधार मिला है। समस्याग्रस्त इंटेल प्रोसेसर के प्रकाश में यह और भी दिलचस्प हो जाता है।

वर्तमान में लिनक्स और विंडोज पर सुपी के आधिकारिक पहियों में OpenBLAS की एक पूर्व-निर्मित प्रति शामिल है, इसलिए उन प्लेटफार्मों पर प्रतिलिपि प्राप्त करने का सबसे तेज़ तरीका pip install numpy । (बेशक यह पूरी तरह से उचित नहीं है क्योंकि उदाहरण के लिए उस संस्करण को एक अलग कंपाइलर के साथ बनाया गया है जो कि स्थानीय रूप से बीएलआईएस का निर्माण करने के लिए उपयोग किया जाता है, लेकिन यह एक विचार दे सकता है।)

क्या BLIS कांटा सुरक्षित है?

@ जकीरखाम मैंने इस बारे में @devinamatthews से बात की, और उन्हें लगता है कि इसका जवाब हां है। BLIS थ्रेड मांगता है, (उदाहरण के लिए, जब OpenBLAS करता है तो थ्रेड पूल को बनाए रखने के बजाय gemm किया जाता है)।

हालांकि हम उत्सुक हैं: किस तरह का थ्रेडिंग मॉडल सुन्न की उम्मीद करता है / पसंद करता है / निर्भर करता है, यदि कोई हो? क्या आपको उत्तराधिकार में कई बहुत छोटी समस्याओं को कॉल करने के मामले में ओवरहेड को कम करने के लिए थ्रेडिंग पूल की आवश्यकता है? (BLIS की ऑन-डिमांड थ्रेडिंग उस तरह के उपयोग के लिए अच्छी तरह से अनुकूल नहीं है।)

संपादित करें: एक समान नस में, क्या आपको pthreads की आवश्यकता है, या क्या आप OpenMP के लिए उत्तरदायी हैं?

जानकारी के लिए धन्यवाद।

तो यह pthreads, OpenMP, दोनों का उपयोग कर रहा है? एफडब्ल्यूआईडब्ल्यू जीसीसी के ओपनएमपी और फोर्किंग के साथ ज्ञात मुद्दे हैं कि @ होग्रिसल )। पायथन में multiprocessing मॉड्यूल के माध्यम से forking के रूप में होने के नाते सबसे आम समानतावाद रणनीतियों में से एक है, कांटा-सुरक्षित तरीके से धागे (अधिमानतः ऊपर के कारण के लिए pthreads) का उपयोग करने में सक्षम होने के नाते, आमतौर पर पायथन में बहुत महत्वपूर्ण है। हालांकि इन दिनों और अधिक विकल्प हैं, उदाहरण के लिए हंसी जैसी चीजें जो कांटा-निष्पादन का उपयोग करती हैं।

निश्चित रूप से नथानिएल को इस बारे में मुझसे ज्यादा जानकारी होगी, लेकिन जब से मैंने यह टिप्पणी लिखनी शुरू की है, IIUC NumPy बाहरी पुस्तकालयों (जैसे BLAS) को छोड़कर खुद को थ्रेडिंग का उपयोग नहीं करता है। हालांकि न्यूमपी GIL को अक्सर पर्याप्त रूप से जारी करता है, जो पायथन में थ्रेडिंग को कुछ हद तक प्रभावी बनाता है। Joblib, Dask, आदि जैसी चीजें इस रणनीति का लाभ उठाती हैं।

थ्रेड पूल के रूप में, यह दिलचस्प है कि आप इस बारे में पूछते हैं क्योंकि मैं दूसरे दिन प्रदर्शन को अधिकतम करने के लिए एक एमएल तकनीक की रूपरेखा तैयार कर रहा था जो कि न्यूटन / साइपेपी के साथ पायथन में BLAS दिनचर्या की एक श्रृंखला करता है। ओपनबीएलएएस और कोर की उचित संख्या का उपयोग करते हुए, यह दिनचर्या रूटीन की लंबाई के लिए कोर को संतृप्त करने में सक्षम है, हालांकि पायथन (न्यूमप और साइपी सहित) में स्पष्ट रूप से थ्रेडिंग का उपयोग नहीं किया गया है, क्योंकि ओपनब्लिस ने लंबाई की लंबाई के लिए एक थ्रेडपूल का उपयोग किया है दिनचर्या। तो हाँ थ्रेड पूल अविश्वसनीय रूप से मूल्यवान हैं।

एक अलग बिंदु पर, क्या बीएलआईएस गतिशील वास्तुकला का पता लगाता है? कलाकृतियों के निर्माण के लिए यह बहुत महत्वपूर्ण है जिन्हें एक बार बनाया जा सकता है और विभिन्न प्रणालियों पर तैनात किया जा सकता है।

@jakirkham आपकी टिप्पणियों के लिए धन्यवाद। मुझे लगता है कि थ्रेड पूल नहीं होने की मनाया लागत उस मैट्रिक्स ऑपरेंड के आकार पर निर्भर करेगी जो आप पास कर रहे हैं, और आप कौन सा ऑपरेशन कर रहे हैं। मैं मानता हूं कि gemm एक विशिष्ट ऑपरेशन है जिसे आप लक्षित करते हैं (यदि मैं गलत हूं तो सही करें), लेकिन आप किस समस्या के आकार को विशिष्ट मानते हैं? मुझे लगता है कि अगर आप बार-बार मैट्रिक्स गुणा, जहां ए, बी, और सी 40x40 कर रहे थे, तो बीएलआईएस के शामिल होने / बनाने के मॉडल की लागत प्रकट होगी, लेकिन शायद 400x400 या उससे अधिक के लिए नहीं। (टीबीएच, आपको संभवतः 40x40 समस्याओं को समानांतर से शुरू करने से बहुत अधिक गति की उम्मीद नहीं करनी चाहिए।)

एक अलग बिंदु पर, क्या बीएलआईएस गतिशील वास्तुकला का पता लगाता है? कलाकृतियों के निर्माण के लिए यह बहुत महत्वपूर्ण है जिन्हें एक बार बनाया जा सकता है और विभिन्न प्रणालियों पर तैनात किया जा सकता है।

हाँ। यह सुविधा बहुत लंबे समय से पहले 2017 के उत्तरार्ध में लागू नहीं की गई थी। BLIS अब तथाकथित "कॉन्फ़िगरेशन परिवारों" को लक्षित कर सकता है, कुछ उपचारात्मक (जैसे cpuid माध्यम से रनटाइम पर चुने जाने वाले विशिष्ट उप-विन्यास के साथ। intel64 , amd64 , x86_64 ।

@fgvanzee मैं वास्तव में मैट्रिस पर प्रदर्शन के बारे में सोचता हूं, इसलिए यह थोड़ा चिंताजनक है अगर BLIS फिर से धीमा है ... लोग निश्चित रूप से सभी प्रकार की स्थितियों में संख्यात्मक रूप से उपयोग करते हैं, इसलिए वास्तव में पुस्तकालयों को महत्व देते हैं। विशिष्ट मामलों के लिए ट्यूनिंग की आवश्यकता के बिना "बस काम"। (मुझे लगता है कि यह क्लासिक घने रेखीय बीजगणित सेटिंग से थोड़ा अलग है, जहां दो सबसे महत्वपूर्ण मामले एल्गोरिदम लेखक चल रहे बेंचमार्क हैं, और विशेषज्ञ विशेष sysadmins के साथ सप्ताह भर की सुपर कंप्यूटर की नौकरियां चलाने वाले विशेषज्ञ हैं।) उदाहरण के लिए, लोग इसके साथ संख्यात्मक उपयोग करते हैं। 3x3 मातृवंश।

कुछ मामलों के लिए यह उचित रूप से निपटने के लिए सिर्फ यह ध्यान देने वाली बात हो सकती है कि आपको बहुत छोटी समस्या है और पूरी तरह से लंघन हो रही है। 3x3 रत्न के लिए, इष्टतम चीज संभवतः जितना संभव हो उतना बेवकूफ होना चाहिए।

हालाँकि, इस तरह का ट्वीकिंग (या यहां तक ​​कि थ्रेड-पूल-बनाम-थ्रेड-पूल चीज़) कुछ ऐसा हो सकता है जो समुदाय में कूद जाएगा और अगर बीएलआईएस को व्यापक रूप से तैनाती मिलना शुरू हो जाती है।

वास्तव में यह मुझे याद दिलाता है: मैं पिछले हफ्ते किसी से बात कर रहा था जो जानता था कि अपनी लाइब्रेरी में वह जेम को सिंगल-थ्रेडेड करना चाहता था, क्योंकि वह उच्च स्तर पर थ्रेडिंग का प्रबंधन कर रहा था, और वह इस बात से निराश था कि स्टैण्डर्ड ब्लास लाइब्रेरीज़ का एकमात्र तरीका नियंत्रण यह वैश्विक सेटिंग्स के माध्यम से है जो एक यादृच्छिक पुस्तकालय के अंदर से कॉल करने के लिए बहुत अच्छी सवारी है। क्या बीएलआईएस का मूल एपीआई उपयोगकर्ता को कॉल-बाय-कॉल आधार पर थ्रेड कॉन्फ़िगरेशन को नियंत्रित करने की अनुमति देता है? मैं हां अनुमान लगा रहा हूं, क्योंकि IIRC में आपके पास BLAS संगतता परत के बाहर कोई वैश्विक कॉन्फ़िगरेशन नहीं है?

मैं वास्तव में ओपनबीएएसएएस के कमजोर बिंदुओं में से एक होने के नाते छोटे मेट्रिक्स पर प्रदर्शन के बारे में सोचता हूं, इसलिए यह थोड़ा चिंताजनक है अगर बीएलआईएस फिर से धीमा है ... लोग निश्चित रूप से सभी प्रकार की स्थितियों में संख्यात्मक उपयोग करते हैं, इसलिए हम वास्तव में पुस्तकालयों को महत्व देते हैं कि " काम "विशिष्ट मामलों के लिए ट्यूनिंग की आवश्यकता के बिना।

मैं इसे "सिर्फ काम" के रूप में समझना चाहता हूं, लेकिन मैं आपके साथ यथार्थवादी और ईमानदार होने की कोशिश कर रहा हूं। यदि आपके पास एक 3x3 समस्या है, और प्रदर्शन वास्तव में आपके लिए महत्वपूर्ण है, तो आपको शायद BLIS का उपयोग भी नहीं करना चाहिए। मैं यह नहीं कह रहा हूं कि बीएलआईएस 3x3 के लिए एक भोली ट्रिपल लूप की तुलना में 10x धीमी गति से चलेगा, बस यह समस्या का आकार नहीं है जो बीएलआईएस के कार्यान्वयन में उत्कृष्टता प्राप्त करता है।

मुझे यह सुनकर आश्चर्य हुआ कि आप छोटी-छोटी समस्याओं के लिए OpenBLAS से असंतुष्ट हैं। आपका संदर्भ बिंदु क्या है? क्या यह सिर्फ इतना है कि यह प्रदर्शन बड़ी समस्याओं के लिए कम है? छोटी समस्याओं के लिए उच्चतम प्रदर्शन को बनाए रखना बड़ी समस्याओं की तुलना में एक अलग रणनीति की आवश्यकता होती है, यही वजह है कि अधिकांश परियोजनाएं एक या दूसरे को लक्षित करती हैं, और फिर केवल गैर-लक्षित मामलों को उप-रूप से संभालती हैं।

कुछ मामलों के लिए यह उचित रूप से निपटने के लिए सिर्फ यह ध्यान देने वाली बात हो सकती है कि आपको बहुत छोटी समस्या है और पूरी तरह से लंघन हो रही है। 3x3 रत्न के लिए, इष्टतम चीज संभवतः जितना संभव हो उतना बेवकूफ होना चाहिए।

मैं मानता हूं कि एक कटऑफ आदर्श है। लेकिन यह निर्धारित करना कि कटऑफ कहां होना चाहिए, गैर-तुच्छ है और सबसे निश्चित रूप से वास्तुकला (और स्तर -3 के संचालन) द्वारा भिन्न होता है। तो यह बहुत संभव है, लेकिन इसे अभी तक लागू नहीं किया गया है (या अच्छी तरह से सोचा गया)।

हालाँकि, इस तरह का ट्वीकिंग (या यहां तक ​​कि थ्रेड-पूल-बनाम-थ्रेड-पूल चीज़) कुछ ऐसा हो सकता है जो समुदाय में कूद जाएगा और अगर बीएलआईएस को व्यापक रूप से तैनाती मिलना शुरू हो जाती है।

हाँ।

वास्तव में यह मुझे याद दिलाता है: मैं पिछले हफ्ते किसी से बात कर रहा था जो जानता था कि अपनी लाइब्रेरी में वह जेम को सिंगल-थ्रेडेड करना चाहता था, क्योंकि वह उच्च स्तर पर थ्रेडिंग का प्रबंधन कर रहा था, और वह इस बात से निराश था कि स्टैण्डर्ड ब्लास लाइब्रेरीज़ का एकमात्र तरीका नियंत्रण यह वैश्विक सेटिंग्स के माध्यम से है जो एक यादृच्छिक पुस्तकालय के अंदर से कॉल करने के लिए बहुत अच्छी सवारी है।

एक मल्टीथ्रेड एप्लिकेशन से अनुक्रमिक gemm हमारे पसंदीदा उपयोग मामलों में से एक है। (अनुस्मारक: यदि अनुक्रमिक gemm उसका एकमात्र उपयोग मामला है, तो वह केवल BLIS को अक्षम अक्षमता के साथ कॉन्फ़िगर कर सकता है। लेकिन मान लें कि वह एक बार निर्माण करना चाहता है और बाद में थ्रेडिंग का निर्णय लेता है।)

क्या बीएलआईएस का मूल एपीआई उपयोगकर्ता को कॉल-बाय-कॉल आधार पर थ्रेड कॉन्फ़िगरेशन को नियंत्रित करने की अनुमति देता है? मैं हां अनुमान लगा रहा हूं, क्योंकि IIRC में आपके पास BLAS संगतता परत के बाहर कोई वैश्विक कॉन्फ़िगरेशन नहीं है?

भले ही आप बीएलआईएस को मल्टीथ्रेडिंग सक्षम के साथ कॉन्फ़िगर करते हैं, समानांतरवाद डिफ़ॉल्ट रूप से अक्षम (एक धागा) है। तो वह एक दूसरा तरीका है जिससे वह अपनी समस्या को हल कर सकता है।

लेकिन मान लें कि वह रनटाइम में समानता की डिग्री को बदलना चाहता है। बीएलआईएस में समानांतरता को रनटाइम पर सेट किया जा सकता है। हालांकि, इसमें अभी भी setenv() और getenv() माध्यम से आंतरिक रूप से BLIS आंतरिक रूप से सेटिंग और रीडिंग शामिल है। (अधिक जानकारी के लिए मल्टीथ्रेडिंग विकी देखें।) इसलिए मुझे यकीन नहीं है कि आपके दोस्त के लिए यह एक सौदा-ब्रेकर है। हम एक एपीआई लागू करना चाहते हैं जहां थ्रेडिंग को अधिक प्रोग्रामेटिक तरीके से निर्दिष्ट किया जा सकता है (जिसमें पर्यावरण चर शामिल नहीं है), लेकिन हम अभी तक वहां नहीं हैं। अधिकतर यह इंटरफेस के बारे में है; बुनियादी ढांचा सभी जगह है। समस्या का एक हिस्सा यह है कि हम सभी वर्षों से प्रशिक्षित हैं (जैसे OMP_NUM_THREADS , आदि) जब एक नंबर को निर्दिष्ट करते हुए समानांतर किया जाता है, और यह बीएलआईएस पसंद है कि सूचना का एक सकल oversimplification है; हमारे gemm एल्गोरिथ्म में पांच छोरें हैं, जिनमें से चार को समानांतर (भविष्य में पांच) किया जा सकता है। हम एक संख्या से अनुमान लगा सकते हैं, लेकिन यह आमतौर पर आदर्श नहीं है क्योंकि यह हार्डवेयर टोपोलॉजी पर निर्भर करता है। इस प्रकार इस मोर्चे पर प्रगति में बाधा आ रही है।

@devinamatthews उसी नस के साथ TBLIS जोड़ने का कोई मौका?

यदि आपके पास एक 3x3 समस्या है, और प्रदर्शन वास्तव में आपके लिए महत्वपूर्ण है, तो आपको शायद BLIS का उपयोग भी नहीं करना चाहिए। मैं यह नहीं कह रहा हूं कि बीएलआईएस 3x3 के लिए एक भोली ट्रिपल लूप की तुलना में 10x धीमी गति से चलेगा, बस यह समस्या का आकार नहीं है जो बीएलआईएस के कार्यान्वयन में उत्कृष्टता प्राप्त करता है।

मैं 3x3 समस्याओं के लिए इष्टतम प्रदर्शन प्राप्त करने के बारे में चिंतित नहीं हूं (हालांकि स्पष्ट रूप से यह अच्छा है अगर हम इसे प्राप्त कर सकते हैं!)। लेकिन एक चरम उदाहरण देने के लिए: यदि सुन्नत को उसके अंतर्निहित रैखिक बीजगणित पुस्तकालय के रूप में बीएलआईएस के साथ संकलित किया गया है, और कुछ उपयोगकर्ता अपने कोड में a @ b का उपयोग करते हुए लिखते हैं, तो मुझे निश्चित रूप से उम्मीद है कि यह 10x धीमी गति से चलने वाला नहीं है। एक भोली कार्यान्वयन की तुलना में। 3x3 मेट्रिसेस को गुणा करने से पहले उपयोगकर्ताओं को सुन्न के पुनर्निर्माण की अपेक्षा करना :-) पूछने के लिए बहुत अधिक है। खासतौर पर उसी प्रोग्राम के बाद जो एक जगह 3x3 मैट्रिसेस को गुणा करता है, दूसरी जगह 1000x1000 मैट्रिसेस को भी गुणा कर सकता है।

अनुस्मारक: यदि अनुक्रमिक मणि उसका एकमात्र उपयोग मामला है, तो वह बस मल्टीथ्रेडिंग अक्षम के साथ BLIS को कॉन्फ़िगर कर सकता है। लेकिन मान लेते हैं कि वह एक बार निर्माण करना चाहता है और बाद में थ्रेडिंग का फैसला करता है।

वह एक पायथन लाइब्रेरी को शिपिंग कर रहा है। उन्हें उम्मीद है कि उनके उपयोगकर्ता अपनी लाइब्रेरी ले जाएंगे, और इसे अन्य पुस्तकालयों और अपने स्वयं के कोड के साथ जोड़ देंगे, सभी एक ही प्रक्रिया में एक साथ चलेंगे। उनकी लाइब्रेरी GEMM का उपयोग करती है, और यह संभावना है कि कुछ अन्य कोड जो वह नियंत्रित नहीं करता है - या यहां तक ​​कि इसके बारे में भी जानता है - वे भीEMEM का उपयोग करना चाहेंगे। वह GEMM को अपनी कॉल के लिए थ्रेडिंग को नियंत्रित करने में सक्षम होना चाहता है, बिना गलती से अन्य असंबंधित कॉल GEMM को प्रभावित करता है जो उसी प्रक्रिया में हो सकता है। और आदर्श रूप से, वह GEMM की अपनी प्रति को शिप किए बिना ऐसा करने में सक्षम होगा, क्योंकि यह ठीक से करने के लिए बहुत कष्टप्रद है, और यह भी एक तरह की वैचारिक रूप से आक्रामक है कि एक कार्यक्रम में एक बड़ी लाइब्रेरी की दो प्रतियां शामिल करना होगा तो आप एक पूर्णांक चर number_of_threads दो प्रतियां प्राप्त कर सकते हैं। क्या यह ज़्यादा सही लगता है?

मैं निश्चित रूप से आशा करूंगा कि यह एक भोले कार्यान्वयन की तुलना में 10x धीमी गति से चल रहा है।

अब जब मैं इसके बारे में सोचता हूं, तो मुझे आश्चर्य नहीं होगा अगर यह बहुत छोटी (3x3) समस्याओं के लिए भोले की तुलना में कई गुना धीमा था, लेकिन क्रॉसओवर बिंदु कम होगा, शायद 16x16 जितना छोटा। और यह एक समस्या यह है कि पर एक बैंड सहायता डाल करने के लिए आसान सरल है। (मैं इसे सभी लेवल -3 ऑपरेशंस के लिए करना चाहूंगा।)

वह एक पायथन लाइब्रेरी को शिपिंग कर रहा है। उन्हें उम्मीद है कि उनके उपयोगकर्ता अपनी लाइब्रेरी ले जाएंगे, और इसे अन्य पुस्तकालयों और अपने स्वयं के कोड के साथ जोड़ देंगे, सभी एक ही प्रक्रिया में एक साथ चलेंगे। उनकी लाइब्रेरी GEMM का उपयोग करती है, और यह संभावना है कि कुछ अन्य कोड जो वह नियंत्रित नहीं करता है - या यहां तक ​​कि इसके बारे में भी जानता है - वे भीEMEM का उपयोग करना चाहेंगे। वह GEMM को अपनी कॉल के लिए थ्रेडिंग को नियंत्रित करने में सक्षम होना चाहता है, बिना गलती से अन्य असंबंधित कॉल GEMM को प्रभावित करता है जो उसी प्रक्रिया में हो सकता है। और आदर्श रूप से, वह GEMM की अपनी प्रति को शिप किए बिना ऐसा करने में सक्षम हो जाएगा, क्योंकि यह ठीक से करने के लिए बहुत कष्टप्रद है, और यह भी कि यह वैचारिक रूप से आक्रामक है कि एक बड़े पुस्तकालय की दो प्रतियों को शामिल करना होगा तो आप एक पूर्णांक चर संख्या_of_threads की दो प्रतियां प्राप्त कर सकते हैं। क्या यह ज़्यादा सही लगता है?

हां, यह उपयोगी था - विवरण के लिए धन्यवाद। ऐसा लगता है कि वह हमारी अभी तक की-थ्रेडिंग एपीआई के रूप में एक आदर्श उम्मीदवार होगा। (व्यक्तिगत रूप से, मुझे लगता है कि वातावरण चर सम्मेलन सीमा रेखा पागलपन है और एक से अधिक अवसर पर मेरी सहयोगियों को मेरी भावनाओं को व्यक्त किया है। यही कारण है कि ने कहा, यह नहीं बल्कि एचपीसी उपयोगकर्ताओं / benchmarkers की एक विस्तृत पट्टी के लिए सुविधाजनक है, तो हम आने के लिए होगा एक उचित रनटाइम एपीआई के साथ जो पर्यावरण चर उपयोग को रोकता नहीं है ताकि हर कोई खुश रहे।)

क्या आप उसे बताएंगे कि यह निश्चित रूप से हमारे रडार पर है? मैं रॉबर्ट के साथ घुलमिल जाऊंगा। वह इतनी दिलचस्पी ले सकता है कि बाद में के बजाय इस समय मेरे खर्च समय को मंजूरी दे सके। (थ्रेडिंग एपीआई कुछ समय के लिए उसकी विशलिस्ट पर है।)

MSVC ABI को लक्ष्य करके clang.exe के साथ खिड़कियों पर BLIS का निर्माण निश्चित रूप से संभव है। मैंने कुछ घंटे बिताए और यहां के बदलाव हैं। OpenBLAS की तुलना में आवश्यक परिवर्तनों की संख्या आश्चर्यजनक रूप से कम थी।
लॉग यहाँ है । सभी बीएलआईएस और बीएलएएस टेस्ट पास करते हैं।

@isuruf इस पर ध्यान देने के लिए समय निकालने के लिए धन्यवाद। मैं खुद को इस बात का आकलन करने के लिए योग्य नहीं मानता कि यह संख्याबल लोगों के लिए काम करेगा (एक से अधिक कारणों से), इसलिए मैं उनकी जरूरतों को पूरा करने के संदर्भ में उन्हें टाल दूंगा।

पुल अनुरोध के लिए, मेरे पास कुछ टिप्पणियां / अनुरोध (सभी काफी मामूली) हैं, लेकिन मैं खुद पुल अनुरोध पर बातचीत शुरू करूंगा।

पुनश्च: खुशी है कि आप f2c त्रुटियों का पता लगाने में सक्षम थे। मैंने BLAS परीक्षण ड्राइवर स्रोत में libf2c के बस पर्याप्त भागों को आयात किया ( libf2c.a रूप में संकलित) ताकि चीजें लिंक हो जाए, हालांकि हेडर फ़ाइलों में इसे कुछ हैकरी की आवश्यकता थी। (मैं फोरट्रान कोड को बनाए रखना पसंद नहीं करता - उस बिंदु पर जहां मैं फ़ोर्ट्रान की तुलना में f2c'ed C को देखूंगा - यदि आप नहीं बता सकते हैं।)

इंटेल MKL 2018.3:

Dotted two 4096x4096 matrices in 2.09 s.
Dotted two vectors of length 524288 in 0.23 ms.
SVD of a 2048x1024 matrix in 1.11 s.
Cholesky decomposition of a 2048x2048 matrix in 0.19 s.
Eigendecomposition of a 2048x2048 matrix in 7.83 s.

ऊपर प्रयुक्त बेंचमार्क पर एक शब्द। रॉबर्ट ने मुझे याद दिलाया कि जब तक हम यह नहीं जानते कि यह बेंचमार्क (या सुन्न?) चोल्स्की, ईवीडी और एसवीडी को कैसे लागू करता है, उन ऑपरेशनों के परिणाम उन सभी के लिए सार्थक नहीं होंगे। उदाहरण के लिए, अगर नेटलिब LAPACK कोड का उपयोग चोल्स्की फैक्टराइजेशन के लिए किया जाता है, तो एल्गोरिदमिक अवरोधक गलत होगा (आदर्श से बहुत दूर)। इसके अलावा, एमकेएल के लिए कितने ख़तरनाक लिंक के आधार पर, यह आगे की चीजों को विकृत कर सकता है क्योंकि एमकेएल के पास चोल्स्की फैक्टराइजेशन का कार्यान्वयन gemm अतिरिक्त है, इसलिए इसकी तुलना करते समय यह सेब से सेब भी नहीं हो सकता है। MKL।

मुझे पता है कि आप इसे प्रदर्शन का एक सामान्य विचार प्राप्त करने के लिए इस्तेमाल कर रहे होंगे, और यह ठीक है। बस यह समझें कि विवरणों में ऐसे शैतान छिपे हो सकते हैं जो बहुत अनुमानित तुलना से अधिक किसी भी चीज के लिए इसका उपयोग करने की अनुमति नहीं देते हैं।

आम तौर पर जो भी LAPACK या LAPACK-alike लाइब्रेरी उपलब्ध है, उन जैसे खामियों को दूर करने वाले ऑपरेशन। MKL बिल्ड लगभग निश्चित रूप से LAPACK के ट्यून किए गए कांटे का उपयोग कर रहा है जो MKL के अंदर इंटेल के जहाज हैं। BLIS बिल्ड शायद संदर्भ LAPACK या इसके जैसे कुछ का उपयोग कर रहे हैं।

इस लिहाज से यह उचित है: यदि आप तेज एसवीडी करने के लिए एक सुव्यवस्थित विन्यास को चुनने की कोशिश कर रहे हैं, तो यह प्रासंगिक है कि एमकेएल के पास एक उपलब्ध संस्करण है और बीएलआईएस नहीं है। (मेरा मानना ​​है कि OpenBLAS बीच में है: वे पुस्तकालय के साथ LAPACK के एक संशोधित संस्करण को जहाज करते हैं, लेकिन यह MKL के संस्करण की तुलना में संदर्भ कार्यान्वयन के बहुत करीब है।) लेकिन हाँ अगर आप यह समझने की कोशिश कर रहे हैं कि BLIS क्या है और क्यों है। परिणाम इस तरह दिखते हैं, यह याद रखना महत्वपूर्ण है कि बहुत अधिक है जो एसवीडी / आदि में जाता है, केवल शुद्ध जीईएमएम दक्षता से।

एक मायने में यह उचित है:

मैं समझता हूं और सहमत हूं। यह इस तथ्य से जटिल है कि कुछ लोग बेंचमार्क का उपयोग करते हैं जैसे कि पहले प्रस्तावित एक एकल हार्डवेयर पर पूर्ण प्रदर्शन को मापने के लिए (अर्थात, यह दर्शाता है कि चोटी के प्रदर्शन के सापेक्ष कितना अच्छा कार्यान्वयन है), और कुछ इसका उपयोग कार्यान्वयन की तुलना करने के लिए करते हैं। मुझे लगता है कि रॉबर्ट की चोल्स्की एट अल के बारे में टिप्पणी। पूर्व की तुलना में अधिक लक्षित होते हैं।

@njsmith @insertinterestingnamehere @rgommers @charris Isuru के त्वरित कार्य के लिए धन्यवाद, हम BLIS की master शाखा में अपने ऐप-आधारित Windows समर्थन को परिष्कृत और मर्ज करने में सक्षम थे। कृपया देखें और हमें बताएं कि क्या और किस हद तक यह विंडोज समर्थन के मुद्दे को सुन्न करने के लिए संबोधित करता है।

@fgvanzee क्या आप PR से लिंक कर सकते हैं?

क्या आप पीआर से लिंक कर सकते हैं?

ज़रूर, यहाँ यह है।

यह प्रारंभिक बिल्ड सेट बढ़िया है! कम से कम सिद्धांत रूप में यह विंडोज पर BLIS के साथ संख्यात्मक निर्माण की अनुमति देने के लिए पर्याप्त होना चाहिए। एक dll बनाने या MinGW का समर्थन करने जैसी चीजें बाद में जोड़ी जा सकती हैं।

इस मामले में उपयोग की जाने वाली निर्भरता के बारे में एक बात ध्यान देने योग्य है: pthreads-win32 LGPL है। IDK क्या, अगर कुछ भी, हालांकि उस के बारे में किया जाना चाहिए।

लाइसेंस देना एक मुश्किल मुद्दा है। मुझे कुछ बड़ी कंपनियों के बारे में पता है जिनकी कानूनी नीतियों के कारण एलजीपीएल जैसे "कॉपीलेफ्ट" लाइसेंस का उपयोग करना मुश्किल हो जाता है, जबकि "अनुमेय" लाइसेंस कोई समस्या नहीं है। NumPy / SciPy कोड आधार या पहियों में LGPL कोड जोड़ना निश्चित रूप से चिंता का कारण होगा, उचित रूप से या नहीं।

हम इसे यहां कोड आधार से नहीं जोड़ रहे हैं। पहियों में एक LGPL घटक शिपिंग एक समस्या नहीं है। अब हम एक Gfortran dll की शिपिंग कर रहे हैं जो क्रम अपवाद के साथ GPL है। Gh-8689 देखें

वास्तव में। इसके अलावा आश्चर्य नहीं होगा अगर ऐसी कंपनियां भी एमकेएल को पसंद करती हैं।

हमें केवल यह सुनिश्चित करने की आवश्यकता है कि एलजीपीएल घटक सांख्यिकीय रूप से जुड़ा नहीं है, शायद।

@jakirkham आपकी टिप्पणियों के लिए धन्यवाद। मुझे लगता है कि थ्रेड पूल नहीं होने की मनाया लागत उस मैट्रिक्स ऑपरेंड के आकार पर निर्भर करेगी जो आप पास कर रहे हैं, और आप कौन सा ऑपरेशन कर रहे हैं। मुझे लगता है कि जेम एक सामान्य ऑपरेशन है जिसे आप लक्षित करते हैं (यदि मैं गलत हूं तो कृपया सही हो), लेकिन आप किस समस्या के आकार को विशिष्ट मानते हैं? मुझे लगता है कि अगर आप बार-बार मैट्रिक्स गुणा, जहां ए, बी, और सी 40x40 कर रहे थे, तो बीएलआईएस के शामिल होने / बनाने के मॉडल की लागत प्रकट होगी, लेकिन शायद 400x400 या उससे अधिक के लिए नहीं। (टीबीएच, आपको संभवतः 40x40 समस्याओं को समानांतर से शुरू करने से बहुत अधिक गति की उम्मीद नहीं करनी चाहिए।)

मुख्य रूप से GEMM और SYRK विशिष्ट हैं। GEMV कभी-कभी आता है, लेकिन अक्सर जो संभव हो तो एक बड़े GEMM ऑपरेशन में लुढ़का हुआ है।

यह हमारे लिए कम से कम 1 आयाम नहीं है जो 10 ^ 6 तत्वों के क्रम पर है। अन्य 10 ^ 3 से 10 ^ 6 तक कहीं भी हो सकता है। इसलिए यह काफी भिन्न होता है। क्या ऐसा कुछ है जिसे हमें थ्रेडपूल का उपयोग करने के लिए करना होगा या जो स्वचालित रूप से होता है? यदि प्रक्रिया कांटा है तो थ्रेडपूल कैसे व्यवहार करता है?

एक अलग बिंदु पर, क्या बीएलआईएस गतिशील वास्तुकला का पता लगाता है? कलाकृतियों के निर्माण के लिए यह बहुत महत्वपूर्ण है जिन्हें एक बार बनाया जा सकता है और विभिन्न प्रणालियों पर तैनात किया जा सकता है।

हाँ। यह सुविधा बहुत लंबे समय से पहले 2017 के उत्तरार्ध में लागू नहीं की गई थी। बीएलआईएस अब तथाकथित "कॉन्फ़िगरेशन परिवारों" को लक्षित कर सकता है, कुछ उप-विन्यास के माध्यम से रनटाइम पर चुने जाने वाले विशिष्ट उप-विन्यास के साथ (जैसे कि स्पष्ट निर्देश)। समर्थित परिवारों के उदाहरण Intel64, amd64, x86_64 हैं।

इसे थोड़ा सा प्रस्तुत करने के लिए, हमारे पास नेहाल्म के माध्यम से ब्रॉडवेल के माध्यम से पुराने कंप्यूटर हैं। शायद कुछ नई निजी मशीनों में केबी झील है। इसलिए हमारे द्वारा प्रदान की जाने वाली वास्तुकला में से सबसे अधिक बनाने में सक्षम होना महत्वपूर्ण है, साथ ही साथ दुर्घटनाग्रस्त न हो अगर हम प्राचीन मशीन पर असमर्थित आंतरिक का उपयोग करके चल रहे हैं। क्या फ्लेम के उप-विन्यास इस सीमा का समर्थन करते हैं, क्या विभिन्न आर्किटेक्चर पर उचित कर्नेल को भेजने के लिए अतिरिक्त कोड बनाए गए हैं? यह कैसे दानेदार मिलता है? क्या इन कर्नेल मौजूद हैं यह सुनिश्चित करने के लिए हमें निर्माण के दौरान कुछ भी करने की आवश्यकता है?

x86_64 कॉन्फ़िगरेशन का उपयोग करके @jakirkham बिल्डिंग आपको मिलती है:

• पेन्री (इं। नेहलेम और अन्य 64-बिट SSSE3 इंटेल चिप)
• सैंडी ब्रिज (incl। आइवी ब्रिज)
• Haswell (+ Broadwell, Skylake, Kaby झील, और कॉफी झील है, हालांकि यह पिछले तीन के लिए पूरी तरह से इष्टतम नहीं हो सकता)
• Xeon Phi (पहली और दूसरी पीढ़ी, हम जरूरत पड़ने पर तीसरी पीढ़ी भी कर सकते हैं)
• स्काईलेक एसपी / एक्स / डब्ल्यू (संभवतः तोप झील पर इष्टतम के बहुत करीब होगा)
• बुलडोजर / Piledriver / दबाव डालना / खुदाई
• Ryzen / EPYC

ध्यान दें कि इनमें से कुछ को एक नए पर्याप्त संकलक और / या बिनुटिल संस्करण की आवश्यकता होती है, लेकिन केवल निर्माण मशीन पर।

AFAIK libflame में किसी भी वास्तुकला के लिए विशेष गुठली नहीं है, यह सभी BLIS तक है।

@ जाकिरखम में हमें एक थ्रेडअप कार्यान्वयन जोड़ना होगा। अभी के लिए यह एक बुनियादी कांट-ज्वाइन कार्यान्वयन है जो कांटा-सुरक्षित होना चाहिए।

AFAIK libflame में किसी भी वास्तुकला के लिए विशेष गुठली नहीं है, यह सभी BLIS तक है।

यह ज्यादातर सही है। जबकि लिफ़्लफ़ेम में कुछ इंट्रेंसिक्स (वर्तमान में केवल SSE) हैं जो गिनेस घुमाव को लागू करने के लिए गुठली रखते हैं, उन गुठली में लिफ़्लेम नहीं होता है और केवल इसलिए होता है क्योंकि बीएलआईएस उस समय मौजूद नहीं था जब वे लिखे गए थे, और इस तरह कोई अन्य जगह नहीं थी उन्हें घर दो। आखिरकार, उन गुठली को फिर से लिखा और अद्यतन किया जाएगा और बीएलआईएस में स्थानांतरित किया जाएगा।

क्या फ्लेम के उप-विन्यास इस सीमा का समर्थन करते हैं, क्या विभिन्न आर्किटेक्चर पर उचित कर्नेल को भेजने के लिए अतिरिक्त कोड बनाए गए हैं? यह कैसे दानेदार मिलता है? क्या इन कर्नेल मौजूद हैं यह सुनिश्चित करने के लिए हमें निर्माण के दौरान कुछ भी करने की आवश्यकता है?

@ जकिरखम मैं इस मामले में "लौ" से निश्चित नहीं हूँ। हम दो उत्पादों: libflame और BLIS है। जबकि कामेच्छा पर ध्यान देने और फिर से लिखने की जरूरत है, वस्तुतः पिछले कई वर्षों में मेरा सारा ध्यान बीएलआईएस पर रहा है।

यदि आप "फ्लेम" को "BLIS" से बदल देते हैं, तो इसका उत्तर "हां, ज्यादातर" है।

कैसे दानेदार मिलता है?

निश्चित नहीं कि आपका क्या मतलब है, लेकिन BLIS में कर्नेल समर्थन उतना व्यापक नहीं है जितना कि OpenBLAS में है। उदाहरण के लिए, हम अक्सर जटिल डोमेन trsm अनुकूलन नहीं करते हैं। गुठली का उपयोग, कुछ संयोजन में, उप-विन्यास द्वारा किया जाता है। उप-विन्यास cpuid माध्यम से चुने जाते हैं। आपको उप-कॉन्फ़िगरेशन द्वारा गुठली "पंजीकृत" मिलती है। कृपया नट और बोल्ट पर विवरण के लिए कॉन्फ़िगरेशन विकी देखें।

क्या इन कर्नेल मौजूद हैं यह सुनिश्चित करने के लिए हमें निर्माण के दौरान कुछ भी करने की आवश्यकता है?

यदि आपको रनटाइम हार्डवेयर का पता लगाने की आवश्यकता है, तो आप एक विशिष्ट उप-विन्यास (या auto ) के बजाय कॉन्फ़िगर-टाइम पर कॉन्फ़िगरेशन परिवार (जैसे intel64 , x86_64 ) को लक्षित करते हैं, जो चयन करता है एक विशिष्ट उप-विन्यास)। बस।

क्या ऐसा कुछ है जिसे हमें थ्रेडपूल का उपयोग करने के लिए करना होगा या जो स्वचालित रूप से होता है? यदि प्रक्रिया कांटा है तो थ्रेडपूल कैसे व्यवहार करता है?

जैसा कि मैंने इस थ्रेड में पहले कहा है, BLIS एक थ्रेड पूल का उपयोग नहीं करता है। और मैं डेविन को कांटे की सुरक्षा के लिए टाल देता हूं (और वह सोचता है कि फोर्किंग कोई समस्या नहीं होगी)।

FYI करें, BLIS कोंडा पैकेज linux, osx, विंडोज़ के लिए conda-forge पर उपलब्ध हैं। (वर्तमान में देव शाखा का निर्माण, एक विमोचन की प्रतीक्षा में)। संकुल सक्षम किए गए pthreads और x86_64 कॉन्फ़िगरेशन के साथ बनाए गए थे।

वह एक पायथन लाइब्रेरी को शिपिंग कर रहा है। उन्हें उम्मीद है कि उनके उपयोगकर्ता अपनी लाइब्रेरी ले जाएंगे, और इसे अन्य पुस्तकालयों और अपने स्वयं के कोड के साथ जोड़ देंगे, सभी एक ही प्रक्रिया में एक साथ चलेंगे। उनकी लाइब्रेरी GEMM का उपयोग करती है, और यह संभावना है कि कुछ अन्य कोड जो वह नियंत्रित नहीं करता है - या यहां तक ​​कि इसके बारे में भी जानता है - वे भीEMEM का उपयोग करना चाहेंगे। वह GEMM को अपनी कॉल के लिए थ्रेडिंग को नियंत्रित करने में सक्षम होना चाहता है, बिना गलती से अन्य असंबंधित कॉल GEMM को प्रभावित करता है जो उसी प्रक्रिया में हो सकता है।

@njsmith मैंने रॉबर्ट से बात की है, और वह इस पर काम करने की प्राथमिकता बढ़ाने के साथ ठीक हैं। (इसके अलावा, इसे संक्षेप में देखने पर, मैंने BLIS में एक दौड़ की स्थिति की खोज की, जो किसी भी समय दो या अधिक एप्लिकेशन थ्रेड को समानता के विभिन्न डिग्री का उपयोग करने का प्रयास करेगी। यह तय करना कि दौड़ की स्थिति एक साथ लोगों की एपीआई से संबंधित आवश्यकताओं को समायोजित करेगी। तुम्हारा मित्र।)

@jakirkham Intel, @Jffhammond में हमारे संपर्कों में से एक, हमें सूचित करता है कि OpenMP कार्यान्वयन नियमित रूप से आंतरिक रूप से एक थ्रेड पूल मॉडल को नियोजित करते हैं। इस प्रकार, वह हमें BLIS के भीतर अनावश्यक रूप से थ्रेड पूल को लागू करने से हतोत्साहित करता है।

अब, यह मामला हो सकता है, जैसा कि आप सुझाव देते हैं, कि नुकीले जरूरतों / पसंद को प्राथमिकता देता है, जिस स्थिति में हो सकता है कि हम एक वास्तविक कांटा पर वापस आएँ / कांटा / जॉइन-स्टाइल pthreads एपीआई के नीचे हो रहा है।

तो यह pthreads, OpenMP, दोनों का उपयोग कर रहा है?

इसके अलावा, मुझे एहसास हुआ कि मैं इस सवाल का जवाब देना भूल गया हूं। बीएलआईएस का मल्टीथ्रेडेड समानांतरवाद विन्यास योग्य है: यह pthreads या OpenMP का उपयोग कर सकता है। (हालांकि, यह pthread_once() पर हमारी निर्भरता के कारण बीएलआईएस के बिना शर्त रनटाइम निर्भरता के साथ भ्रमित होने की नहीं है, जिसका उपयोग लाइब्रेरी आरंभीकरण के लिए किया जाता है।)

दुर्भाग्य से जब तक ओपनएमपी कार्यान्वयन (जैसे जीओएमपी) आमतौर पर फोर्किंग के लिए अधिक मजबूत नहीं हो जाते, यह वास्तव में पायथन में एक सुरक्षित विकल्प नहीं है। विशेष रूप से NumPy के रूप में स्टैक में कम के रूप में कुछ नहीं।

दुर्भाग्य से जब तक ओपनएमपी कार्यान्वयन (जैसे जीओएमपी) आमतौर पर फोर्किंग के लिए अधिक मजबूत नहीं हो जाते, यह वास्तव में पायथन में एक सुरक्षित विकल्प नहीं है। विशेष रूप से NumPy के रूप में स्टैक में कम के रूप में कुछ नहीं।

काफी उचित। तो ऐसा लगता है जैसे कि खामोश BLIS के माध्यम से मल्टीथ्रेडिंग के लिए --enable-threading=pthreads कॉन्फ़िगरेशन विकल्प पर निर्भर करेगा।

जब पायथ्रेड्स के साथ संकलित किया जाता है, तो पायथन प्रक्रियाओं / थ्रेड पूल के साथ समतापी समानता वाले न्यूट्रिसिज्म से बचने के लिए कुछ प्रोग्रामेटिक नियंत्रण प्राप्त करने के लिए कुछ सार्वजनिक एपीआई प्राप्त होता है जो सुपी में कॉल करते हैं?

अधिक विशेष रूप से यहाँ सार्वजनिक प्रतीकों के प्रकार हैं जिन्हें मैं देखूँगा:

https://github.com/tomMoral/loky/pull/135/files#diff -e49a2eb30dd7db1ee9023b8f7306b9deR111

MKL & OpenMP के लिए https://github.com/IntelPython/smp में जैसा किया गया है, वैसा ही।

जब पायथ्रेड्स के साथ संकलित किया जाता है, तो पायथन प्रक्रियाओं / थ्रेड पूल के साथ समतापी समानता वाले न्यूट्रिसिज्म से बचने के लिए कुछ प्रोग्रामेटिक नियंत्रण प्राप्त करने के लिए कुछ सार्वजनिक एपीआई प्राप्त होता है जो सुपी में कॉल करते हैं?

@ogrisel महान सवाल, ओलिवियर। रनटाइम पर थ्रेडिंग पैरामीटर सेट करने का एक तरीका है, लेकिन यह वर्तमान में वैश्विक शब्दार्थ के साथ किया गया है। यह सबॉप्टीमल है क्योंकि (पर्यावरणीय चर के माध्यम से फीड करने पर gemm या जो भी हो) प्रति कॉल के आधार पर वैश्विक होने के बजाय (एक तरफ से)।

मैं वर्तमान में अंतर्निहित कोड के एक मामूली रिडिजाइन पर काम कर रहा हूं जो किसी को एक अतिरिक्त डेटा संरचना में gemm पास करने के लिए BLIS के तथाकथित "विशेषज्ञ" उप-एपीआई में से किसी एक का उपयोग करने की अनुमति देगा। कॉल करने वाले को प्रति-कॉल के आधार पर निर्दिष्ट करना होगा कि समानांतर रणनीति क्या होनी चाहिए। उपरोक्त डेटा संरचना लोगों को एक ही संख्या में थ्रेड्स निर्दिष्ट करने की अनुमति देगा, और BLIS को स्वचालित रूप से यह पता लगाने की पूरी कोशिश करेगा कि मैट्रिक्स गुणन एल्गोरिथम में प्रत्येक लूप के लिए समानता या लेवलिज्म का स्तर क्या है (BLF पसंद के रूप में)।

किसी भी तरह से, मुझे लगता है कि यह नया दृष्टिकोण आपकी आवश्यकताओं को पूरा करेगा। मैं आधे बदलावों के साथ पहले ही कर चुका हूं, इसलिए मुझे लगता है कि मैं केवल एक सप्ताह या तो नई सुविधा को जीथब करने के लिए प्रेरित कर रहा हूं। कृपया मुझे बताएं कि क्या यह योजना कुछ ऐसी लगती है जो आपके लिए काम करेगी, और / या यदि आपके पास इस विषय पर कोई अन्य चिंता या अनुरोध है।

पुनश्च: मैंने आपके द्वारा प्रदान किए गए घृणित लिंक पर एक नज़र डाली। उन प्रतीकों को धागे की वैश्विक सेटिंग के लिए स्थापित किया गया है। मेरा प्रस्तावित समाधान वैश्विक स्तर पर चीजों को स्थापित करने के लिए प्रेरित नहीं करेगा, लेकिन इसे डिज़ाइन किया गया है ताकि यह एकमात्र विकल्प न हो। तो जो कोई अधिकतम 8 कोर / थ्रेड का उपयोग करना चाहता है, उसके लिए एप्लिकेशन स्पॉन 2 थ्रेड हो सकते हैं, और उनमें से प्रत्येक gemm का उदाहरण देता है जिसे 4-वे समानता मिलती है। या 3 एप्लिकेशन थ्रेड जहां उनमें से दो gemm को 2-वे समानांतरवाद के साथ कहते हैं, 4-वे समानांतरवाद का उपयोग करते हुए। (तुम्हें नया तरीका मिल गया है।)

यह पर्यावरण चर के माध्यम से खिलाती है।

इसका क्या मतलब है? क्या पायथन से ctypes का उपयोग डिफ़ॉल्ट / वैश्विक BLIS थ्रेड पूल के आकार को फिर से कॉन्फ़िगर करने के लिए करना संभव है, क्योंकि यह पहले से ही एक विशिष्ट पायथन प्रक्रिया में आरंभीकृत किया गया है?

यह पर्यावरण चर के माध्यम से खिलाती है।

इसका क्या मतलब है?

@ogrisel इससे मेरा तात्पर्य यह है कि हमारे पास BLIS में एक छोटा सा API है या धागे की संख्या प्राप्त करने के लिए, OpenMP में omp_get_num_threads() और omp_set_num_threads() है। हालाँकि, ये BLIS API फ़ंक्शन getenv() और setenv() कॉल के रूप में कार्यान्वित किए जाते हैं। यह केवल इस तथ्य की एक ऐतिहासिक कलाकृति है कि बीएलआईएस के लिए मूल उपयोग के मामलों में से एक शेल में एक या एक से अधिक पर्यावरण चर सेट करना था (उदाहरण bash ) और फिर एक बीएलआईएस-लिंक किए गए एप्लिकेशन को निष्पादित करना। समय बस उस पर्यावरण चर दृष्टिकोण पर निर्माण करने के लिए सुविधाजनक था; यह समानता के लिए धागे की संख्या निर्दिष्ट करने का अंतिम, सही तरीका कभी नहीं था।

क्या यह पायथन से ctypes का उपयोग करना संभव है, BLIS थ्रेड पूल के आकार को फिर से कॉन्फ़िगर करने के लिए जब इसे पहले से ही एक विशिष्ट पायथन प्रक्रिया में आरंभीकृत किया गया हो?

बीएलआईएस स्पष्ट रूप से थ्रेड पूल का उपयोग नहीं करता है। बल्कि, हम pthreads के माध्यम से समानता को निकालने के लिए एक बनाने / शामिल होने वाले मॉडल का उपयोग करते हैं। लेकिन हां, BLIS के आरंभ होने के बाद, एप्लिकेशन (या कॉलिंग लाइब्रेरी) फ़ंक्शन कॉल के माध्यम से रनटाइम पर थ्रेड्स की संख्या को कम से कम सिद्धांत में बदल सकता है। (मुझे नहीं पता कि यह अभ्यास में काम करेगा, हालांकि, क्योंकि मुझे नहीं पता कि पायथन बीएलआईएस को पर्यावरण चर सेट / प्राप्त करने का प्रयास कैसे करेगा।) लेकिन जैसा कि मैंने पहले उल्लेख किया है, एक बार जब मैं कुछ संशोधनों को पूरा करता हूं, तो आवेदन /। लाइब्रेरी उस समय प्रति-कॉल के आधार पर एक कस्टम समांतरकरण योजना निर्दिष्ट करने में सक्षम होगी, जिसे लेवल -3 ऑपरेशन कहा जाता है। यह पहली आरंभ एक छोटे से किया जा होगा struct डेटाप्रकार और फिर से गुजर रहा है कि struct के लिए BLIS एपीआई के एक विस्तारित "विशेषज्ञ" संस्करण में gemm , उदाहरण के लिए।) यह उन लोगों के लिए पर्यावरण चर को अनावश्यक बना देगा जिन्हें उनकी आवश्यकता नहीं है / वे चाहते हैं। उम्मीद है कि यह आपके प्रश्न का उत्तर देगा।

स्पष्टीकरण के लिए बहुत बहुत धन्यवाद। प्रति-कॉल विशेषज्ञ एपीआई दिलचस्प है, लेकिन इसके पायथन स्तर के कॉलर्स को उजागर करने के लिए एक विशिष्ट एपीआई को बनाए रखने के लिए सुन्न की आवश्यकता होगी। मुझे यकीन नहीं है कि हम ऐसा चाहते हैं। मुझे लगता है कि दुनिया के मौजूदा मूल्य (समानता-स्तर) समानता के स्तर को बदलने का एक तरीका पर्याप्त उपयोगकर्ताओं के लिए पर्याप्त है। जब तक यह परिवर्तन बाद में BLAS-3 कॉल के लिए ध्यान में रखा जाता है, तब तक व्यक्तिगत रूप से मुझे कोई आपत्ति नहीं है।

@charris float16 वास्तव में कुछ मशीन लर्निंग वर्कलोड के लिए दिलचस्प हो सकता है, कम से कम भविष्यवाणी के समय में हालांकि मुझे इसके साथ व्यक्तिगत अनुभव नहीं है।

मुझे लगता है कि दुनिया के मौजूदा मूल्य (समानता-स्तर) समानता के स्तर को बदलने का एक तरीका पर्याप्त उपयोगकर्ताओं के लिए पर्याप्त है। जब तक यह परिवर्तन बाद में BLAS-3 कॉल के लिए ध्यान में रखा जाता है, तब तक व्यक्तिगत रूप से मुझे कोई आपत्ति नहीं है।

जानकार अच्छा लगा। अगर ऐसा है, तो बीएलआईएस इतना है कि सुन्न द्वारा उपयोग के लिए तैयार होने के करीब है। (मैं सिर्फ इन-प्रोग्रेस संशोधनों को पहले करना चाहूंगा, जो पहले से अनजान रेस की स्थिति को ठीक करने के लिए भी होते हैं।)

शायद हर कॉल पर रीचार्ज होने वाले पर्यावरण चर पर निर्भर न होना बेहतर है, क्योंकि getenv सुपर फास्ट नहीं है, इसलिए बाद में इसे हटाने का कोई मतलब हो सकता है। (इसके अलावा, मुझे नहीं लगता कि यह थ्रेड-सुरक्षित होने की गारंटी भी है?) लेकिन bli_thread_set_num_threads API कॉल ठीक होनी चाहिए, भले ही BLIS हर समय getenv कॉल करना बंद कर दे, फिर API कॉल को बिना काम किए रखने के लिए समायोजित किया जा सकता है।

लंबे समय में, मुझे लगता है कि यह समझ से परे कुछ-नंगे-बीएलएएस एपीआई को शुरू करने के लिए समझ में आता है। पहली जगह में BLIS को आकर्षक बनाने वाली चीजों में से एक यह है कि यह अन्य BLAS पुस्तकालयों की सुविधा नहीं देता है, जैसे कि मैट्रिस को स्ट्रेट करने की क्षमता, और कई तरीकों से BLAS API का विस्तार करने के लिए काम करना है ।

हम हार्ड-एपीआई में लाइब्रेरी-विशिष्ट विवरणों को कोड नहीं करना चाहते (उदाहरण के लिए, हम BLIS के JC, IC, JR और IR मापदंडों के अनुरूप तर्क लेना शुरू करने के लिए np.matmul नहीं चाहेंगे, लेकिन यह) अच्छी तरह से एक सामान्य "इस कॉल के लिए कितने थ्रेड" तर्क देने के लिए समझ में आता है जो केवल बैकएंड पर काम करता है जो कि कार्यक्षमता प्रदान करता है।

एक चीज जिसका मैंने उल्लेख नहीं किया है वह है सूचकांक परिशुद्धता। अधिकांश सिस्टम सप्लाई किए गए पुस्तकालयों में 32 बिट पूर्णांक का उपयोग होता है, जो इन दिनों कुछ अनुप्रयोगों के लिए एक सीमा है। कुछ बिंदुओं पर अच्छा होगा यदि सभी सूचकांक 64 बिट्स थे, जो संभवतः आवश्यकता है कि हम पुस्तकालय की आपूर्ति करें। मुझे नहीं पता कि वर्तमान में हम सूचकांक आकार के संबंध में क्या कर रहे हैं। @ मैथ्यू-ब्रेट क्या हम अभी भी 32 बिट पूर्णांक के साथ संकलित कर रहे हैं?

@charris BLIS में पूर्णांक आकार कॉन्फ़िगर-समय पर कॉन्फ़िगर करने योग्य है: 32 या 64 बिट्स। इसके अलावा, आप आंतरिक पूर्णांक आकार से स्वतंत्र रूप से BLAS API में उपयोग किए गए पूर्णांक आकार को कॉन्फ़िगर कर सकते हैं।

वास्तव में यह मुझे याद दिलाता है: मैं पिछले हफ्ते किसी से बात कर रहा था जो जानता था कि अपनी लाइब्रेरी में वह जेम को सिंगल-थ्रेडेड करना चाहता था, क्योंकि वह उच्च स्तर पर थ्रेडिंग का प्रबंधन कर रहा था, और वह इस बात से निराश था कि स्टैण्डर्ड ब्लास लाइब्रेरीज़ का एकमात्र तरीका नियंत्रण यह वैश्विक सेटिंग्स के माध्यम से है जो एक यादृच्छिक पुस्तकालय के अंदर से कॉल करने के लिए बहुत अच्छी सवारी है।

@njsmith मैंने पहले fa08e5e (या उस कमिट का कोई वंशज) की ओर इंगित करें। मल्टीथ्रेडिंग प्रलेखन को भी अपडेट किया गया है और पाठक को उसकी पसंद के माध्यम से चलता है, जिसमें मूल उदाहरण दिए गए हैं। यह प्रतिबद्धता अभी के लिए dev शाखा पर है, लेकिन मुझे जल्द ही इसे master मर्ज करने की उम्मीद है। (मैंने पहले ही इसके अधिकांश पेसों के माध्यम से कोड डाल दिया है।)

संपादित करें: लिंक मामूली सुधार को प्रतिबिंबित करने के लिए अद्यतन किया गया।

समर्थित प्रकारों के संभावित जोड़ के रूप में, long double क्या? मैं ध्यान देता हूं कि कुछ आर्किटेक्चर क्वाड सटीक (अभी भी सॉफ़्टवेयर में) का समर्थन करना शुरू कर रहे हैं और मुझे उम्मीद है कि कुछ बिंदु पर विस्तारित परिशुद्धता को इंटेल पर क्वाड सटीक के साथ बदल दिया जाएगा। मुझे नहीं लगता कि यह तुरंत दबाया जा रहा है, लेकिन मुझे लगता है कि इन वर्षों के बाद चीजें इस तरह से शुरू हो रही हैं।

@charris हम उनके मशीन लर्निंग / AI अनुप्रयोगों के कारण bfloat16 और / या float16 लिए समर्थन पर विचार करने के शुरुआती चरणों में हैं, लेकिन हम double double की मांग के बारे में भी जानते हैं

@charris https://en.wikipedia.org/wiki/Long_double के अनुसार, long double का मतलब विभिन्न प्रकार से हो सकता है:

• 12 बी या 16 बी स्टोरेज का उपयोग करके x87 में 80-बिट प्रकार लागू किया गया
• MSVC के साथ दोहरी सटीकता
• डबल डबल परिशुद्धता
• चौगुनी सटीक
  क्योंकि अर्थ अस्पष्ट है और न केवल हार्डवेयर पर निर्भर करता है, बल्कि संकलक का उपयोग किया जाता है, यह पुस्तकालयों के लिए पूरी तरह से आपदा है, क्योंकि एबीआई अच्छी तरह से परिभाषित नहीं है।

प्रदर्शन के नजरिए से, मुझे कोई भी उलट फ्लोट 80 (यानी x87 लॉन्ग डबल) नहीं दिखता है क्योंकि इसमें SIMD वर्जन नहीं है। यदि कोई BLIS में double double का SIMD संस्करण लिख सकता है, तो उसे बेहतर प्रदर्शन करना चाहिए।

सॉफ्टवेयर में फ्लोट128 का कार्यान्वयन हार्डवेयर में फ्लोट64 की तुलना में कम से कम एक ऑर्डर-ऑफ-परिमाण धीमा है। यह फ्लोट128 के नए कार्यान्वयन को लिखने के लिए विवेकपूर्ण होगा जो सभी FPE हैंडलिंग को बंद कर देता है और SIMD के लिए उत्तरदायी है। Libquadmath में कार्यान्वयन, जबकि सही है, BLIS जैसे उच्च-प्रदर्शन BLAS कार्यान्वयन पर ध्यान देने योग्य नहीं है।

हाँ, यह एक समस्या है। मुझे नहीं लगता कि विस्तारित परिशुद्धता प्रयास के लायक है, और क्वाड सटीक की आवश्यकता धब्बेदार है, डबल अधिकांश चीजों के लिए अच्छा है, लेकिन जब आपको इसकी आवश्यकता होती है, तो आपको इसकी आवश्यकता होती है। मैं प्रदर्शन के बारे में चिंतित नहीं हूं, आवश्यकता गति के लिए नहीं है, बल्कि सटीकता के लिए है। ध्यान दें कि हमने क्वाड प्रिसिजन लॉन्ग डबल के साथ एक ARM64 को समर्थन बढ़ाया था, बेशक एक सॉफ्टवेयर कार्यान्वयन, लेकिन मुझे उम्मीद है कि हार्डवेयर कुछ बिंदु पर अनुसरण करेगा और कुछ परीक्षण और जाने के लिए तैयार होना अच्छा हो सकता है।

BLAS G2 प्रस्ताव में डबल-डबल और BLAS में "प्रतिलिपि प्रस्तुत करने योग्य" संगणना पर कुछ विचार किया गया है। (यहां प्रत्यावर्तन का अर्थ है कार्यान्वयन के दौरान नियतात्मक, लेकिन IIUC में उच्च-परिशुद्धता मध्यवर्ती मूल्यों का उपयोग करना भी शामिल है।)

इसे आगे बढ़ता देख उत्साहित!

रिकॉर्ड के लिए, मैं एक @njsmith का उल्लेख कर रहा हूं जो सॉफ्टवेयर से थ्रेडिंग को नियंत्रित करने में रुचि रखता है। मेरे वर्कलोड भविष्यवाणी समय पर समान रूप से समानांतर हैं, और मेरे मैट्रिक्स गुणन अपेक्षाकृत छोटे हैं। इसलिए मैं काम की बड़ी इकाइयों को समानांतर करना चाहूंगा।

मैंने PyPi के लिए Blis पैकेजिंग पर, और साइथन बाइंडिंग जोड़ने के बारे में एक साल पहले कुछ काम किया था: https://github.com/explosion/cython-blis

मैंने ब्लिस को इस तरह सी एक्सटेंशन के रूप में पैकेज करना काफी आसान पाया। मेरे लिए मुख्य ठोकर ब्लॉक विंडोज समर्थन था। स्मृति से, यह C99 मुद्दे थे, लेकिन मैं गलत तरीके से याद कर सकता हूं।

मैंने जो साइथॉन इंटरफ़ेस जोड़ा है वह रुचि का हो सकता है। विशेष रूप से, मैं साइथॉन के फ्यूज्ड प्रकारों का उपयोग कर रहा हूं ताकि फ्लोट और डबल प्रकार दोनों के लिए एक एकल nogil फ़ंक्शन हो जिसे मेमोरी-व्यू या रॉ पॉइंटर के साथ कहा जा सके। अधिक प्रकारों के लिए अधिक शाखाओं को जोड़ना कोई समस्या नहीं है। फ़्यूज़्ड प्रकार मूल रूप से टेम्पलेट हैं: वे शून्य ओवरहेड के लिए संकलन-समय सशर्त निष्पादन की अनुमति देते हैं।

मुझे एक स्टैंड-अलोन ब्लिस पैकेज बनाए रखने, पहियों को बनाए रखने, एक अच्छा साइथन इंटरफेस बनाए रखने आदि में बहुत खुशी होगी, मुझे लगता है कि इसे अलग पैकेज के रूप में रखना बहुत अच्छा होगा, बजाय इसके कि कुछ भी हो। हम तब ब्लिस के एपीआई का अधिक विस्तार कर सकते हैं, जो अन्य बीएलएएस पुस्तकालयों के समर्थन से सीमित नहीं है।

@honnibal इस सूत्र पर प्रतिक्रिया देने में देरी के लिए क्षमा करें, मैथ्यू।

आपके संदेश के लिए धन्यवाद। हम दूसरों को BLIS के बारे में उत्साहित देखकर हमेशा खुश होते हैं। निश्चित रूप से, जब भी आपको अजगर पारिस्थितिकी तंत्र (एक अनुप्रयोग, एक पुस्तकालय, मॉड्यूल, आदि) में एकीकृत करने का निर्णय लिया जाता है, तो हमें सलाह देने में खुशी होगी।

विंडोज समर्थन का सवाल है, कि @isuruf हाल ही में जोड़ा विंडोज ABI के लिए बजना / appveyor समर्थन देखें। पिछली बार मैंने उससे सुना था, यह उम्मीद के मुताबिक काम कर रहा था, लेकिन हम यूटी में यहां विंडोज पर कोई विकास नहीं करते हैं, इसलिए मैं इस पर खुद से नजर नहीं रख सकता। (हालांकि इसुरु ने एक बार मुझे बताया था कि मैं ट्रैविस सीआई के समान तरीके से ऐपवेटर के लिए साइन अप कर सकता हूं)।

इसके अलावा, कृपया मुझे बताएं कि क्या आपके पास प्रति-कॉल थ्रेडिंग उपयोग के बारे में कोई प्रश्न हैं। (मैंने इस विषय को कवर करने के लिए अपने मल्टीथ्रेडिंग प्रलेखन को अद्यतन किया है।)

बीएलआईएस 0.5.2 के रूप में, हमारे पास एक प्रदर्शन दस्तावेज है जो बीएलआईएस के एकल-थ्रेडेड और मल्टीथ्रेडेड प्रदर्शन को दिखाता है और बीटीएएस के अन्य कार्यान्वयन के लिए कई प्रकार के आर्किटेक्चर पर कई-कोर आर्किटेक्चर सहित डेट-सेट और लेवल -3 संचालन के प्रतिनिधि सेट करता है। , इंटेल स्काईलेक-एक्स, इंटेल हैसवेल और एएमडी एपाइक।

तो अगर सुन्न समुदाय सोच रहा है कि बीएलआईएस अन्य प्रमुख बीएलएएस समाधानों के खिलाफ कैसे ढेर हो जाता है, तो मैं आपको एक त्वरित नज़र रखने के लिए आमंत्रित करता हूं!

बहुत दिलचस्प, धन्यवाद @fgvanzee।

मुझे एपिक को देखना था - ऐसा लगता है कि यह ज़ेन पर आधारित एक ब्रांड नाम है (संभवतः किसी बिंदु पर ज़ेन + को अपडेट किया गया है) वास्तुकला। शायद ज़ेन का नाम बदलने के लिए बेहतर है? हमारे उपयोगकर्ता आधार के लिए Ryzen / Threadripper अधिक दिलचस्प ब्रांड हैं, वे ज़ेन को पहचान सकते हैं लेकिन शायद एपिक नहीं।

एपिक एएमडी सर्वर लाइन का नाम है। यह अतीत के AMD Opteron उत्पादों का उत्तराधिकारी है।

दुर्भाग्य से, इसके वास्तुशिल्प लक्ष्यों को लेबल करने के लिए BLIS के लिए कोई अनोखा तरीका नहीं है, क्योंकि कोड वेक्टर ISA (जैसे AVX2), CPU कोर माइक्रोआर्किटेक्चर (जैसे आइस लेक) और SOC / प्लेटफ़ॉर्म इंटीग्रेशन (जैसे इंटेल इंटेल प्लेटिनम प्रोसेसर) पर निर्भर करता है )। BLIS कुछ मामलों में (जैसे Dunnington) माइक्रोआर्किटेक्चर कोड नामों का उपयोग करता है, लेकिन यह सभी के लिए बेहतर नहीं है।

@fgvanzee आप जीसीसी मार्च / mtune / mcpu नामों के अनुरूप उपनाम जोड़ने पर विचार कर सकते हैं ...

@rgommers BLIS के भीतर उपसंहिता जो Ryzen और Epyc को कवर करती है, वास्तव में पहले से ही zen , क्योंकि यह दोनों उत्पादों को कैप्चर करता है।

इस बात के लिए कि क्या Ryzen / Threadripper या Epyc अधिक दिलचस्प ब्रांड हैं (यहां तक ​​कि उपयोगकर्ताओं को सुन्न करने के लिए), मैं यह कहूंगा: यदि मैं केवल एक AMD Zen सिस्टम को बेंचमार्क कर सकता हूं, तो यह उच्चतम-अंत वाला एपिक होगा, क्योंकि: (a) इसे Ryzen के समान एक माइक्रोआर्किटेक्चर का उपयोग करता है; (b) यह मुझे अधिकतम 64 भौतिक कोर देता है (और, बोनस के रूप में, उन कोर को कुछ उपन्यास, NUMA- जैसे कॉन्फ़िगरेशन में व्यवस्थित किया जाता है); जो (सी) बीएलआईएस और अन्य कार्यान्वयन पर अधिकतम तनाव डालता है। और यही मूल रूप से हमने यहां किया है।

अब, शुक्र है, यह कहते हुए कोई नियम नहीं है कि मैं केवल एक ज़ेन प्रणाली को बेंचमार्क कर सकता हूं। :) हालांकि, अन्य बाधाएं हैं, विशेष रूप से पहली जगह पर पहुंच प्राप्त करने के संबंध में। मेरे पास इस समय किसी भी Ryzen / Threadripper सिस्टम तक पहुंच नहीं है। यदि / जब मैं पहुंच प्राप्त करता हूं, तो मुझे प्रयोगों को दोहराने और तदनुसार परिणाम प्रकाशित करने में खुशी होगी।

जेफ हमारे सामने आने वाले कुछ नामकरण की ओर इशारा करता है। आम तौर पर, हम अपने सबकोन्फिगुरेशन और कर्नेल सेट को माइक्रोआर्किटेक्चर के संदर्भ में नाम देते हैं, लेकिन अभी और अधिक बारीकियां हैं। उदाहरण के लिए, हम Haswell, Broadwell, Skylake, Kaby Lake, और Coffee Lake पर हमारे haswell उप-संचय का उपयोग करते हैं। ऐसा इसलिए है क्योंकि वे सभी मूल रूप से एक ही वेक्टर आईएसए साझा करते हैं, जो सभी बीएलआईएस कर्नेल कोड के बारे में बहुत अधिक है। लेकिन यह एक कार्यान्वयन विवरण है जिससे लगभग किसी भी उपयोगकर्ता को चिंतित होने की आवश्यकता नहीं है। यदि आप ./configure auto , तो आपको लगभग हमेशा अपने सिस्टम के लिए सबसे अच्छा सब-कॉन्फिडेंस और कर्नेल सेट मिलेगा, चाहे उन्हें zen या haswell या जो भी नाम दिया जाए। अभी के लिए, आपको अभी भी और अधिक हाथों-हाथ दृष्टिकोण लेने की आवश्यकता है जब यह आपकी थ्रेडिंग योजना को चुनने के लिए आता है, और यही वह स्थान है जहां जेओसी का उल्लेख है कि SoC / मंच एकीकरण।

@Jffhammond आपके सुझाव के लिए धन्यवाद। मैंने अतीत में उन उपनामों को जोड़ने पर विचार किया है। हालाँकि, मैं आश्वस्त नहीं हूँ कि यह इसके लायक है। यह कॉन्फ़िगरेशन रजिस्ट्री में महत्वपूर्ण अव्यवस्था जोड़ देगा, और जो लोग इसे पहली जगह में देख रहे होंगे, संभवत: पहले से ही सबकोन्फिगुरेशन और कर्नेल सेट के लिए हमारी नामकरण योजना के बारे में जानते हैं, और इस तरह कुछ निश्चित सूक्ष्मजीवविज्ञानी संशोधन की अनुपस्थिति में भ्रमित नहीं होंगे उस फ़ाइल में नाम (या config निर्देशिका में)। अब, यदि उदाहरण के लिए, BLIS को ./configure haswell माध्यम से, उपसंक्रमण की मैन्युअल पहचान की आवश्यकता है, तो मुझे लगता है कि तराजू निश्चित रूप से आपके प्रस्ताव के पक्ष में टिप देते हैं। लेकिन ./configure auto काफी अच्छी तरह से काम करता है, इसलिए मुझे इस समय की आवश्यकता नहीं है। (यदि आप चाहें, तो आप इस विषय पर एक मुद्दा खोल सकते हैं ताकि हम समुदाय के सदस्यों के बीच व्यापक चर्चा शुरू कर सकें। अगर पर्याप्त मांग है तो मैं हमेशा अपना विचार बदलने के लिए तैयार हूं।)

हां, नामकरण हमेशा जटिल है :) जवाब के लिए धन्यवाद @fgvanzee और @Jffhammond

# 13132 और # 13158 संबंधित हैं

चर्चा थोड़ी दूर हुई; बचे हुए मुद्दे क्या हैं जिन्हें आधिकारिक रूप से सुपीरियर में BLIS का समर्थन करने के लिए हल करने की आवश्यकता है?

Naively, मैंने कोंडा-फोर्ज (cf https://github.com/numpy/numpy/issues/14180#issuecomment-525292558) से BLIS के साथ संख्यात्मक परीक्षण चलाने की कोशिश की और मेरे लिए, लिनक्स पर, सभी परीक्षण पास हो गए (लेकिन शायद मैं। कुछ याद आया)।

एक ही env में टेस्ट स्केपी टेस्ट सूट चलाने की भी कोशिश की गई और scipy.linalg (cf https://github.com/scipy/scipy/issues/10744) के मामले में किसी के पास कोई टिप्पणी नहीं है। उस।

ध्यान दें कि कोंडा-फोर्ज से BLIS, LAPACK कार्यान्वयन के रूप में ReferenceLAPACK (netlib) का उपयोग करता है जो BLAS कार्यान्वयन के रूप में BLIS का उपयोग करता है और libflame ।

कोंडा-फोर्ज पर बीएलआईएस विकल्प के बारे में, क्या मैं सही हूं कि यह बॉक्स से बाहर एकल-थ्रेडेड है (ओपनब्लॉक विकल्प के विपरीत)?

शायद कोंडा-फोर्ज चर्चाओं को कॉन्डा-फोर्ज cond में स्थानांतरित करने के लिए बेहतर है