https://github.com/thtrieu/darkflow/blob/master/darkflow/utils/box.py में दो छवियों के बीच ओवरलैप के मूल्यांकन या गणना के लिए आवश्यक बुनियादी कार्यान्वयन है। आप इसे अपनी आवश्यकता के अनुसार संशोधित कर सकते हैं और औसत औसत परिशुद्धता की गणना वर्ग और box_iou की संभावना के गुणन के रूप में कर सकते हैं

क्या ऐसा कोई नहीं है जिसने इसे पहले किया हो?
कोई उनकी सटीकता का परीक्षण नहीं करता है?
मुझे नहीं पता कि इतनी महत्वपूर्ण चीजें अभी तक क्यों लागू नहीं की गई हैं।
यदि कोई नहीं है, तो शायद मुझे इस सुविधा को स्वयं लागू करने और इसे अच्छे के लिए प्रतिबद्ध करने की आवश्यकता होगी।

मुझे इस सुविधा में भी दिलचस्पी होगी।

@off99555 , मैंने इस आदमी को F1 स्कोर पर काम करते हुए देखा।

377

हैलो @ off99555 , मैं अपने स्वयं के परीक्षण डेटा से भी
मुझे लगता है कि @sandeeprepakula के पास एक अच्छा जवाब है, क्या आप कदम से कदम बता सकते हैं कि iou बॉक्स से एमएपी की गणना कैसे करें? मैं गहरी शिक्षा और वस्तु का पता लगाने में बहुत नोब हूँ

आपकी सहायता के लिए धन्यवाद

@andikira मैंने इसे अभी तक नहीं किया है। मुझे भी यकीन नहीं है।

हैलो @off99555 , आपको यह रेपो https://github.com/Cartucho/mAP देखना है, फिर अतिरिक्त फ़ोल्डर देखें, आप .xml और .json फ़ाइल को कनवर्ट कर सकते हैं, वह रेपो पूरी तरह से डार्कफ्लो के साथ काम करता है।

@andikira @thtrieu मैंने PASCAL V0C 0712 ट्रेनवल सेट पर yolo2-voc नेटवर्क को प्रशिक्षित किया और PASCAL VOC 2007 परीक्षण सेट पर परीक्षण किया, और एमएपी प्रदर्शन केवल 52% के आसपास है (काफी युगों के बाद (200 ~) यह देखते हुए कि मैंने आरंभ किया है यह pretrained वजन के साथ)। यह आधिकारिक प्रदर्शन (76.8% एमएपी) से काफी नीचे है। मैं अपने पेपर पर YOLO v2 का उपयोग करके अपने विचार के साथ प्रयोगात्मक परिणाम शामिल करना चाहता हूं। क्या कोई कारण जान सकता है?

मैंने उस मुद्दे को पहले देखा है, कृपया एक और मुद्दे की जाँच करें @ बेयरब्लैकफुट

@andikira mAP रेपो अद्भुत काम करता है। मैंने वहां एक स्क्रिप्ट का भी योगदान दिया। शुक्रिया!

क्या आप

@andikira mAP रेपो अद्भुत काम करता है। मैंने वहां एक स्क्रिप्ट का भी योगदान दिया। शुक्रिया!

क्या आप कृपया अधिक विशेष रूप से समझा सकते हैं? यह कैसे काम करता है ? आपको परिणाम कैसे मिले?

@srhtyldz https://github.com/Cartucho/mAP वेबसाइट पर
विचार यह है कि आपको रेपो को क्लोन करने की आवश्यकता है, डार्कफ्लो का उपयोग करके अपनी छवियों की भविष्यवाणी करें और फिर आप भविष्यवाणी फ़ाइलों को एमएपी फ़ोल्डर में कॉपी करें। जमीनी सच्चाई की फाइलों को भी कॉपी करें।
और आप सब कुछ mAP रेपो की रीडमे फ़ाइल के रूप में सुझाते हैं और आपको mAP को एकल संख्या आउटपुट के रूप में देखना चाहिए।

इसके अलावा आपको अपनी फाइलों को डार्कफ्लो फॉर्मेट से उनके फॉर्मेट में बदलने की जरूरत है। वे यहां डार्कफ्लो प्रारूप को उनके प्रारूप में बदलने के लिए स्क्रिप्ट प्रदान करते हैं: https://github.com/Cartucho/mAP/tree/master/extra
रीडमी पढ़ें।

इसके अलावा आपको अपनी फाइलों को डार्कफ्लो फॉर्मेट से उनके फॉर्मेट में बदलने की जरूरत है। वे यहां डार्कफ्लो प्रारूप को उनके प्रारूप में बदलने के लिए स्क्रिप्ट प्रदान करते हैं: https://github.com/Cartucho/mAP/tree/master/extra
रीडमी पढ़ें।

मुझे पता चला कि डार्कनेट में नक्शा संपत्ति है। क्या आपने कोशिश की? क्या उनके बीच कोई अंतर है या कौन सा अधिक सटीक है?

@srhtyldz मुझे लगता है कि एल्गोरिदम वही है। सिवाय इसके कि mAP एक एल्गोरिदम है जिसमें कुछ पैरामीटर हैं जिन्हें आप सेट कर सकते हैं। आमतौर पर, यह एल्गोरिथम के लेखक द्वारा मैन्युअल रूप से सेट किया जाता है। इसलिए जब आप देखते हैं कि वे अलग-अलग नंबरों की रिपोर्ट करते हैं, तो उनके पास अलग-अलग पैरामीटर होते हैं।
मेरा सुझाव है कि आप mAP काम करने की व्याख्या पढ़ लें ताकि आप इसके छिपे हुए पैरामीटर को समझ सकें।
मैंने उन दोनों को आजमाया। मैं अपनी थीसिस में darknet गया क्योंकि darkflow में आउटपुट फ़ोल्डर निर्दिष्ट करने का विकल्प नहीं है। यह मेरे वरिष्ठ प्रोजेक्ट के लिए महत्वपूर्ण है क्योंकि मैं FloydHub पर कोड चलाता हूं जो एक गहन शिक्षण क्लाउड है जो आपको केवल कुछ फ़ोल्डरों का उपयोग करने की अनुमति देता है।

पहले मैं darkflow साथ mAP का उपयोग करता हूं और फिर मुझे बाद में पता चला कि मैं आउटपुट पथ निर्दिष्ट नहीं कर सकता, इसलिए मैंने darknet स्विच किया और इसकी आंतरिक mAP गणना का उपयोग किया .

और सबसे महत्वपूर्ण बात, darknet रेपो (मालिक के रूप में एलेक्सीएबी के साथ कांटा संस्करण) का मालिक बहुत मददगार है। वह मेरे द्वारा पोस्ट किए गए सभी मुद्दों का उत्तर देता है जिसने मुझे समय सीमा से पहले समाप्त कर दिया। तब बहुत तनाव था। मैं उनका बहुत आभारी हूं, मैंने थीसिस में उनका नाम भी लिखा था।

पहले मैं darkflow साथ mAP का उपयोग करता हूं और फिर मुझे बाद में पता चला कि मैं आउटपुट पथ निर्दिष्ट नहीं कर सकता, इसलिए मैंने darknet स्विच किया और इसकी आंतरिक mAP गणना का उपयोग किया .

आप कौन सा चर निर्दिष्ट करना चाहते हैं?

पहले मैं darkflow साथ mAP का उपयोग करता हूं और फिर मुझे बाद में पता चला कि मैं आउटपुट पथ निर्दिष्ट नहीं कर सकता, इसलिए मैंने darknet स्विच किया और इसकी आंतरिक mAP गणना का उपयोग किया .

मेरी राय डार्कनेट के लिए भी है। मुझे लगता है कि आप केवल गणना एमएपी द्वारा थ्रेसहोल्ड के साथ स्विच कर सकते हैं? अधिकार ?

आप कौन सा चर निर्दिष्ट करना चाहते हैं?

@srhtyldz लगभग आधे साल पहले darkflow में, जब मैंने यह थ्रेड शुरू किया, तो मुझे आउटपुट फ़ोल्डर पथ निर्दिष्ट करने की अनुमति नहीं मिली । आउटपुट फ़ोल्डर पथ वह पथ है जहाँ पूर्वानुमान चित्र लिखे जाते हैं।
अगर मुझे ठीक से याद है, तो आउटपुट फ़ोल्डर आपके डेटासेट के फ़ोल्डर के अंदर out फ़ोल्डर में सेट है।
उदाहरण के लिए यदि आपके पास img/ अंदर कुछ छवियां हैं, तो भविष्यवाणियां img/out/ अंदर होंगी।
FloydHub , वे आपको डेटासेट फ़ोल्डर में आउटपुट लिखने की अनुमति नहीं देते हैं। इसलिए यदि डेटासेट फ़ोल्डर img/ , तो आप img/out रूप में एक नया फ़ोल्डर नहीं बना सकते क्योंकि आपको अनुमति अस्वीकृत हो जाएगी।

हो सकता है कि यह आपको अब आउटपुट पथ निर्दिष्ट करने की अनुमति देता है लेकिन आपको जांचना होगा। मुझे यकीन नहीं है।

मेरी राय डार्कनेट के लिए भी है। मुझे लगता है कि आप केवल गणना एमएपी द्वारा थ्रेसहोल्ड के साथ स्विच कर सकते हैं? अधिकार ?

अगर मुझे सही से याद है, तो mAP में एक पैरामीटर है जिसे लेखक को परिभाषित करने की आवश्यकता है। यह 0 से 1 की दहलीज है जिसे आप तय करते हैं कि किसी छवि की सही भविष्यवाणी की गई है या नहीं। आमतौर पर, यह 0.5 पर सेट होता है। तो अगर क्षेत्रफल का अनुपात 0.5 से ऊपर जाता है, तो इसका मतलब सही छवि है।
और उसके बाद आपको Average Precision भी परिभाषित करना होगा। औसत को ठीक करने के लिए, आपको यह पता लगाना होगा कि कितनी सटीकता है। यह पता चला है कि आप परिशुद्धता की संख्या को भी परिभाषित कर सकते हैं। आमतौर पर, सटीक की संख्या 11 सेट की जाती है ताकि आप उन्हें 0, 0.1, 0.2, ..., 0.9, 1.0 से पंक्तिबद्ध कर सकें।

हालांकि मुझे यकीन नहीं है कि मैं किस बारे में बात कर रहा हूं। क्योंकि मैं इसमें से अधिकांश को पहले ही भूल चुका हूं। आपको यह सुनिश्चित करने के लिए सीखना होगा कि मैं सही हूं। लेकिन मुझे संख्या 0.5 और 11 चीज़ के बारे में पूरा यकीन है। मुझे नहीं पता कि उन्हें क्या कहा जाता है।

पुनश्च. मैं अपनी थीसिस स्लाइड खोजने के लिए वापस गया (जब मुझे पता है कि एमएपी का क्या अर्थ है), यहां बताया गया है कि मैंने इसे वापस कैसे वर्णित किया:

आप कौन सा चर निर्दिष्ट करना चाहते हैं?

@srhtyldz लगभग आधे साल पहले darkflow में, जब मैंने यह थ्रेड शुरू किया, तो मुझे आउटपुट फ़ोल्डर पथ निर्दिष्ट करने की अनुमति नहीं मिली । आउटपुट फ़ोल्डर पथ वह पथ है जहाँ पूर्वानुमान चित्र लिखे जाते हैं।
अगर मुझे ठीक से याद है, तो आउटपुट फ़ोल्डर आपके डेटासेट के फ़ोल्डर के अंदर out फ़ोल्डर में सेट है।
उदाहरण के लिए यदि आपके पास img/ अंदर कुछ छवियां हैं, तो भविष्यवाणियां img/out/ अंदर होंगी।
FloydHub , वे आपको डेटासेट फ़ोल्डर में आउटपुट लिखने की अनुमति नहीं देते हैं। इसलिए यदि डेटासेट फ़ोल्डर img/ , तो आप img/out रूप में एक नया फ़ोल्डर नहीं बना सकते क्योंकि आपको अनुमति अस्वीकृत हो जाएगी।

हो सकता है कि यह आपको अब आउटपुट पथ निर्दिष्ट करने की अनुमति देता है लेकिन आपको जांचना होगा। मुझे यकीन नहीं है।

मेरी राय डार्कनेट के लिए भी है। मुझे लगता है कि आप केवल गणना एमएपी द्वारा थ्रेसहोल्ड के साथ स्विच कर सकते हैं? अधिकार ?

अगर मुझे सही से याद है, तो mAP में एक पैरामीटर है जिसे लेखक को परिभाषित करने की आवश्यकता है। यह 0 से 1 की दहलीज है जिसे आप तय करते हैं कि किसी छवि की सही भविष्यवाणी की गई है या नहीं। आमतौर पर, यह 0.5 पर सेट होता है। तो अगर क्षेत्रफल का अनुपात 0.5 से ऊपर जाता है, तो इसका मतलब सही छवि है।
और उसके बाद आपको Average Precision भी परिभाषित करना होगा। औसत को ठीक करने के लिए, आपको यह पता लगाना होगा कि कितनी सटीकता है। यह पता चला है कि आप परिशुद्धता की संख्या को भी परिभाषित कर सकते हैं। आमतौर पर, सटीक की संख्या 11 सेट की जाती है ताकि आप उन्हें 0, 0.1, 0.2, ..., 0.9, 1.0 से पंक्तिबद्ध कर सकें।

हालांकि मुझे यकीन नहीं है कि मैं किस बारे में बात कर रहा हूं। क्योंकि मैं इसमें से अधिकांश को पहले ही भूल चुका हूं। आपको यह सुनिश्चित करने के लिए सीखना होगा कि मैं सही हूं। लेकिन मुझे संख्या 0.5 और 11 चीज़ के बारे में पूरा यकीन है। मुझे नहीं पता कि उन्हें क्या कहा जाता है।

पुनश्च. मैं अपनी थीसिस स्लाइड खोजने के लिए वापस गया (जब मुझे पता है कि एमएपी का क्या अर्थ है), यहां बताया गया है कि मैंने इसे वापस कैसे वर्णित किया:

बहुत - बहुत धन्यवाद । मैं एमएपी और आईओयू पर शोध करूंगा। मुझे परिणाम मिल गया लेकिन मैं उनकी व्याख्या नहीं कर सका।क्या मैं एक और प्रश्न पूछ सकता हूँ? क्या आपने 'रिकॉल' फ़ंक्शन का उपयोग किया था? मैप और रिकॉल फंक्शन की कार्यक्षमता समान है या नहीं? क्या आपके कोई विचार हैं_?

@srhtyldz mAP की गणना सटीकता से रिकॉल के एक फ़ंक्शन के रूप में की जाती है। तो सटीक और याद पहले से ही शामिल हैं। mAP ऑब्जेक्ट डिटेक्शन कार्यों के लिए एक लोकप्रिय और पारंपरिक मूल्यांकन मीट्रिक है। इसलिए आपको व्यक्तिगत रूप से रिकॉल या सटीक करने की आवश्यकता नहीं है। बस mAP गणना करें और यदि यह अधिक है तो इसका मतलब है कि आपका मॉडल अच्छा प्रदर्शन करता है।

@srhtyldz mAP की गणना सटीकता से रिकॉल के एक फ़ंक्शन के रूप में की जाती है। तो सटीक और याद पहले से ही शामिल हैं। mAP ऑब्जेक्ट डिटेक्शन कार्यों के लिए एक लोकप्रिय और पारंपरिक मूल्यांकन मीट्रिक है। इसलिए आपको व्यक्तिगत रूप से रिकॉल या सटीक करने की आवश्यकता नहीं है। बस mAP गणना करें और यदि यह अधिक है तो इसका मतलब है कि आपका मॉडल अच्छा प्रदर्शन करता है।

मुझे एमएपी से 90.4% मिला है। मुझे लगता है कि यह अच्छा प्रदर्शन करता है।

@srhtyldz यदि आपके पास कई वर्ग हैं तो यह बहुत अधिक है। (बड़े डेटासेट पर लोकप्रिय मॉडल केवल लगभग 50-60%) करते हैं लेकिन भले ही आपके पास केवल दो वर्ग हों, फिर भी यह अच्छा है।
mAP उचित है या नहीं, यह सत्यापित करने के लिए मानव आंखों का उपयोग करके अनुमानित छवियों की जांच करना सुनिश्चित करें।

@srhtyldz यदि आपके पास कई वर्ग हैं तो यह बहुत अधिक है। (बड़े डेटासेट पर लोकप्रिय मॉडल केवल लगभग 50-60%) करते हैं लेकिन भले ही आपके पास केवल दो वर्ग हों, फिर भी यह अच्छा है।
mAP उचित है या नहीं, यह सत्यापित करने के लिए मानव आंखों का उपयोग करके अनुमानित छवियों की जांच करना सुनिश्चित करें।

मेरे पास केवल एक वर्ग है। साथ ही, मैंने सभी छवियों को बाउंडिंग बॉक्स के साथ सहेजा है।
क्या आपने एमएपी चार्ट बनाया? एलेक्स रेपो में, एमएपी चार्ट है और जब आप अपने मॉडल को प्रशिक्षित कर रहे हैं, तो आपको चार्ट प्राप्त करने के लिए '-मैप' डालना चाहिए। मैंने यह शब्द नहीं रखा। यहां तक ​​​​कि आपने इसे भी रखा, आप एमएपी चार्ट कैसे प्राप्त कर सकते थे? आप कोशिश कीजिए? क्या आपने 'वैध' फ़ंक्शन का भी प्रयास किया? क्या आप अंतर जानते हैं?
मुझे पता है कि मैंने कई प्रश्न पूछे हैं लेकिन आपके उत्तर मेरी थीसिस के लिए बहुत महत्वपूर्ण हैं :)।

darknet , मैं केवल इसके टर्मिनल का उपयोग करके mAP का मूल्यांकन करता हूं और कंसोल का स्नैपशॉट लेता हूं।
मुझे मान्य फ़ंक्शन के बारे में पता नहीं है।
एमएपी चार्ट के लिए, यह संभव है यदि आप डार्कफ्लो का उपयोग करते हैं और ऊपर mAP रेपो का उपयोग करते हैं। एक स्क्रिप्ट है जो एनिमेशन और चार्ट बनाती है।
मुझे लगता है कि एमएपी रेपो शायद डार्कनेट के साथ भी काम करता है।

darknet , मैं केवल इसके टर्मिनल का उपयोग करके mAP का मूल्यांकन करता हूं और कंसोल का स्नैपशॉट लेता हूं।
मुझे मान्य फ़ंक्शन के बारे में पता नहीं है।
एमएपी चार्ट के लिए, यह संभव है यदि आप डार्कफ्लो का उपयोग करते हैं और ऊपर mAP रेपो का उपयोग करते हैं। एक स्क्रिप्ट है जो एनिमेशन और चार्ट बनाती है।
मुझे लगता है कि एमएपी रेपो शायद डार्कनेट के साथ भी काम करता है।

समस्या यह है कि मुझे नहीं पता कि एनीमेशन कैसे चलाया जाएगा। मैंने प्रशिक्षण के दौरान ऐसा करने की कोशिश की लेकिन मुझे मानचित्र के लिए एनीमेशन नहीं मिला। @alexeyAB शायद इस बारे में मदद करेगा।

मुझे अपने परीक्षा परिणामों का एमएपी मिला है। 56 छवियों में से मुझे अपने परीक्षण के लिए 48 चित्र सही मिले। मेरे पास चार वर्ग हैं। उससे कन्फ्यूजन मैट्रिक्स कैसे बनाएं। क्या कोई मेरी मदत कर सकता है ।

@srhtyldz मैंने /darknet डिटेक्टर मैप cfg/aerial.data cfg/test_tiny.cfg backup\my_yolov3_tiny_final.weights फंक्शन का इस्तेमाल किया लेकिन मुझे प्रशिक्षण के अंत में कोई स्कोर या ग्राफ नहीं मिला। आपको डार्कनेट में एमएपी स्कोर कैसे मिला

@mustafabuyuk -map तर्क को ./darknet (darknet.exe) पर पास करें। यह लगभग 1000 पुनरावृत्तियों पर ग्राफ पर दिखाई देगा। मुझे यकीन नहीं है कि इसकी आवश्यकता है, लेकिन मेरे पास छवियों का सत्यापन सेट भी है।

क्या किसी के पास आइडिया हो सकता है? YOLOv5 प्रशिक्षण के दौरान सत्यापन डेटासेट के विरुद्ध एमएपी की गणना करता है। यद्यपि हम अनदेखी परीक्षण डेटासेट (एमएपी, और कक्षावार एमएपी) के विरुद्ध किस कमांड की गणना कर सकते हैं

@off99555 धागा बंद लगता है। क्या आपको उत्तर मिलता है?
मेरे पास सत्यापन के लिए छवियों और योलो एनोटेशन फ़ाइलों (txt प्रारूप में) का एक सेट है।

एमएपी स्कोर प्राप्त करने के लिए छवियों को मान्य करने पर -मैप तर्क का उपयोग कैसे करें? क्या इससे कन्फ्यूजन मैट्रिक्स निकालना संभव होगा?

इस मुद्दे को बंद करने से पहले @sandeeprepakula सीधे मेरा जवाब पढ़ें। इस तरह आप एमएपी की गणना कर सकते हैं।
लेकिन मैं आगे सुझाव दूंगा, अब इस रेपो का उपयोग न करें। मैंने कुछ महीनों के लिए ऑब्जेक्ट डिटेक्शन के साथ काम नहीं किया है, इसलिए यह सुनिश्चित नहीं है कि कौन सा रेपो सबसे अच्छा है, लेकिन इस रेपो की आखिरी प्रतिबद्धता पर एक त्वरित नज़र से, यह फरवरी 2020 में था। क्या आपको लगता है कि एक रेपो जिसे अपडेट नहीं किया गया है एक साल के लिए उपयोग करने लायक है? अगर आप किसी चीज में फंस गए हैं तो कोई आपकी मदद नहीं करेगा। किस रेपो का उपयोग करना है, यह चुनते समय सामुदायिक भाग पर भी विचार करें।

@off99555 सुझाव के लिए धन्यवाद