Darkflow: प्रशिक्षण प्रक्रिया में प्रशिक्षण और सत्यापन सटीकता जोड़ना

ऐसा करने के 2 तरीके हैं। आप ट्रेन में डेटा सेट को विभाजित कर सकते हैं और कोड के अंदर सेट को मान्य कर सकते हैं या केवल 2 अलग डेटा सेट भेज सकते हैं, एक ट्रेन के लिए और दूसरा फ्लो मॉड्यूल को कॉल करने पर मान्य करने के लिए।

वैसे भी, ऐसा करने के लिए आपको default.py फ़ाइल में कुछ नए पैरामीटर जोड़ने चाहिए, फिर data.py (yolo और yolov2 फ़ोल्डर दोनों) से _batch, पार्स और शफ़ल फ़ंक्शन को संशोधित करें और Flow.py में ट्रेन () विधि को संशोधित करें। फ़ाइल (यहां आपको एक ही टेंसरफ़्लो सत्र का उपयोग करके केवल एक और बैच (प्रत्येक पुनरावृत्ति या एक बार कई पुनरावृत्तियों) को चलाने की आवश्यकता है, लेकिन train_op को वापस किए बिना ताकि आप वज़न को संशोधित न करें)। आप सत्यापन के लिए एक और tf.summary.FileWriter भी जोड़ सकते हैं ताकि आप टेंसरबोर्ड का उपयोग करके अपने सत्यापन हानि ग्राफ की कल्पना कर सकें।

मैंने व्यक्तिगत रूप से 2 अलग-अलग डेटा सेट भेजने का विकल्प चुना। यह काफी सीधे आगे था। मुझे आशा है कि मैं काफी स्पष्ट था।

@ Costyv95 क्या आप अपने कोड को जोड़े गए मापदंडों और आपके द्वारा सुझाए गए परिवर्तनों के साथ साझा कर सकते हैं?

हाँ कोई समस्या नहीं है। मैं यहां फाइलें अपलोड करूंगा। यदि आपका कोई प्रश्न है, तो बस पूछें।

अंतर ज़िप

@ Costyv95 क्या सत्यापन सेट आपके कार्यान्वयन में ढाल अद्यतन में योगदान देता है?

मुझे मिल गया, सत्यापन नमूने ढाल अद्यतन में योगदान नहीं देते हैं।

हां, सत्यापन केवल प्रशिक्षण सेट के बाहर मॉडल परिणामों के पूर्वावलोकन के लिए है।

नमस्ते,
माफ़ करना। मैंने आखिरी मेल पर ध्यान नहीं दिया। हां, सत्यापन केवल प्रशिक्षण सेट के बाहर मॉडल परिणामों के पूर्वावलोकन के लिए है।

मंगलवार, 4 जुलाई, 2017, 15:16:24 GMT + 3, yfliu पर [email protected] लिखा है:

मुझे मिल गया, सत्यापन नमूने ढाल अद्यतन में योगदान नहीं देते हैं।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपका उल्लेख किया गया था।
इस ईमेल का सीधे उत्तर दें, इसे GitHub पर देखें, या थ्रेड को म्यूट करें।

@ Costyv95 मैं सिर्फ यह जानना चाहता हूं कि मूल कोड को संशोधित करने के बाद इसे कैसे चलाया जाए? बहुत बहुत धन्यवाद!

@ Costyv95 मैं इसे इस तरह चलाता हूं ./flow --model cfg/yolo.cfg --train --dataset "/home/thinkjoy/lwl/modify-darkflow-master/data/VOCdevkit/VOC2007/JPEGImages" --annotation " /होम/थिंकजॉय/एलडब्ल्यूएल/संशोधित-डार्कफ्लो-मास्टर/डेटा/वीओसीदेवकिट/वीओसी2007/एनोटेशन" --जीपीयू 1.0
यहां त्रुटि है (कोड को आपके जैसा ही संशोधित करें)
फ़ाइल "/home/thinkjoy/lwl/modify-darkflow-master/darkflow/net/flow.py", लाइन 82, ट्रेन में
Feed_dict[self.learning_rate] = lr
विशेषता त्रुटि: 'TFNet' ऑब्जेक्ट में कोई विशेषता नहीं है 'learning_rate'

ऐसा इसलिए होता है क्योंकि मैंने आपको जो कोड दिया है उसमें अनुकूली सीखने की दर के लिए कुछ संशोधन हैं और आपको एक और बदलाव करना है। आप इसे यहां पा सकते हैं: https://github.com/thtrieu/darkflow/pull/216/commits/124d55d32d17bdee111201fd6fe520db709a4f9c

और आपको सत्यापन हानि होने के लिए तर्कों में --val_dataset और val_annotation जोड़ना चाहिए।

@ Costyv95 क्या हम नियंत्रित कर सकते हैं कि एक बार सत्यापन करने के लिए कितने कदम हैं, मुझे लगता है कि एक कदम एक वैल प्रशिक्षण के लिए थोड़ा बर्बाद समय है? धन्यवाद!

@ Costyv95 और क्या आपने वैल होने पर सटीकता को जोड़ना हासिल किया है?

@ ड्रीम-विल एन चरणों में एक बार सत्यापन के लिए, आप आसानी से defaults.py में एक तर्क (val_steps) जोड़ सकते हैं और प्रवाह में ट्रेन विधि में आप केवल उस कोड को चलाते हैं जो "# सत्यापन समय" के बाद एक कथन के अंदर होता है इस तरह:

`#सत्यापन समय

if i % self.FLAGS.val_steps == 0:
    (x_batch, datum) = next(val_batches)
    feed_dict = {
        loss_ph[key]: datum[key] 
            for key in loss_ph }
    feed_dict[self.inp] = x_batch
    feed_dict.update(self.feed)
    feed_dict[self.learning_rate] = lr

    fetches = [loss_op, self.summary_op] 
    fetched = self.sess.run(fetches, feed_dict)
    loss = fetched[0]

    if loss_mva_valid is None: loss_mva_valid = loss
    loss_mva_valid = .9 * loss_mva_valid + .1 * loss

    self.val_writer.add_summary(fetched[1], step_now)

    form = 'VALIDATION step {} - loss {} - moving ave loss {}'
    self.say(form.format(step_now, loss, loss_mva_valid))`

defaults.py में बस इस लाइन को जोड़ें:

self.define('val_steps', '1', 'evaluate validation loss every #val_steps iterations')

मुझे सटीकता जोड़ने के बारे में दूसरा प्रश्न नहीं मिलता है।

@ Costyv95 आपके उत्तर के लिए धन्यवाद, दूसरा प्रश्न केवल मान्य होने का मतलब है, हमें न केवल सत्यापन हानि मिलती है बल्कि सत्यापन सटीकता भी मिलती है?

@ ड्रीम-विल इसके लिए आपको अपने आप को एक कस्टम सटीकता विधि लागू करनी होगी जो जीटी बॉक्स और अनुमानित बॉक्स की तुलना करती है (अनुमानित बॉक्स प्राप्त करने के लिए, भविष्यवाणी में प्रयुक्त कोड देखें), लेकिन मुझे इसका कोई कारण नहीं दिख रहा है क्योंकि नुकसान काफी है। ध्यान रखें कि आप जो सत्यापन देख रहे हैं वह सत्यापन सेट से केवल एक यादृच्छिक मिनी बैच पर है, लेकिन यह एक बड़े पर्याप्त सत्यापन डेटासेट पर परीक्षण हानि का बहुत अच्छा प्रतिनिधित्व करता है।

@ Costyv95 ठीक है, धन्यवाद

हाय @ Costyv95 । मुझे वैल लॉस वैल्यू आउटपुट करने में समस्या हो रही है। मैंने आपके निर्देशों और कोड का पालन करते हुए सभी फाइलों को संशोधित किया है। यह निम्नलिखित त्रुटियाँ हैं
File "flow", line 6, in <module> cliHandler(sys.argv) File "/home/alxe/ML/darkflow/darkflow/cli.py", line 26, in cliHandler tfnet = TFNet(FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/build.py", line 64, in __init__ self.framework = create_framework(*args) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 59, in create_framework return this(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/framework.py", line 15, in __init__ self.constructor(meta, FLAGS) File "/home/alxe/ML/darkflow/darkflow/net/yolo/__init__.py", line 20, in constructor misc.labels(meta, FLAGS) #We're not loading from a .pb so we do need to load the labels File "/home/alxe/ML/darkflow/darkflow/net/yolo/misc.py", line 36, in labels with open(file, 'r') as f: TypeError: coercing to Unicode: need string or buffer, NoneType found

क्या आप फ़ाइल चर का मान प्रिंट कर सकते हैं?

@ Costyv95 नहीं, मैं नहीं कर सकता। मैं यही चलाता हूं:
python flow --model cfg/tiny-yolo-voc-1c.cfg --train --dataset train/images --annotation train/annotations --load bin/yolo.weights --gpu 1.0 --epoch 300

"फाइल वेरिएबल" से मेरा मतलब है कि मिस्क.पी में लाइन 36 में इस्तेमाल किया जाने वाला वेरिएबल है, क्योंकि मैं वास्तव में समझ नहीं पा रहा हूं कि आपके कोड में क्या गलत है।
आपके पास कोई --val_dataset तर्क नहीं है? आपने परिवर्तन को कैसे लागू किया? आपने डेटासेट को कोड के अंदर विभाजित किया है या आपने --val_dataset तर्क जोड़ा है?

@ Costyv95 हाय, मैंने आपकी फ़ाइलों को diff.zip पर कॉपी और पेस्ट किया है, फिर मैंने कमांड के साथ प्रशिक्षित करने की कोशिश की

"flow --train --model ./coke/yolo-coke-2c.cfg --annotation ./coke/train/annotations --dataset ./coke/train/images --gpu 1.0 --batch 8 --save 1000 --val_dataset ./coke/validation/images --val_annotation ./coke/validation/annotations

लेकिन यह अभी भी त्रुटि मिली
`
[ nkhanh@localhost khanh]$ ./run_coke.sh

पार्सिंग ./coke/yolo-coke-2c.cfg
लोड हो रहा है...
0.0001392364501953125s . में समाप्त हुआ
ट्रेसबैक (सबसे हालिया कॉल अंतिम):
फ़ाइल "/ usr/स्थानीय/बिन/प्रवाह", पंक्ति 6, in
क्लीहैंडलर (sys.argv)
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/cli.py", लाइन 26, cliHandler में
टीएफनेट = टीएफनेट (झंडे)
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/net/build.py", लाइन 64, __init__ में
self.framework = create_framework(*args)
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py", लाइन 59, create_framework में
इसे वापस करें (मेटा, फ्लैग)
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/net/framework.py", लाइन 15, __init__ में
सेल्फ कंस्ट्रक्टर (मेटा, फ्लैग)
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/__init__.py", लाइन 20, कंस्ट्रक्टर में
Misc.labels(meta, FLAGS) #हम .pb से लोड नहीं कर रहे हैं इसलिए हमें लेबल लोड करने की आवश्यकता है
फ़ाइल "/usr/local/lib64/python3.6/site-packages/darkflow/net/yolo/misc.py", लाइन 36, लेबल में
खुले (फ़ाइल, 'आर') के साथ एफ के रूप में:
लेखन त्रुटि: अपेक्षित str, बाइट्स या os.PathLike वस्तु, कोई नहीं टाइप
`

@khanh1412
Misc.py लाइन में 29
इसे अपनी कस्टम लेबल फ़ाइल में बदलें।
फ़ाइल = 'लेबल.txt'

पीएस यह एक अस्थायी समाधान है।

@ कोस्टीव95
कैसे समझें '[' और ']' हटाएं?

प्रशिक्षण दर्ज करें ...
ट्रेसबैक (सबसे हालिया कॉल अंतिम):
फ़ाइल "प्रवाह", पंक्ति 6, में
क्लीहैंडलर (sys.argv)
फ़ाइल "/Users/sisyphus/darkflow/darkflow/cli.py", लाइन 33, cliHandler में
प्रिंट ('प्रशिक्षण दर्ज करें ...'); tfnet.train ()
फ़ाइल "/Users/sisyphus/darkflow/darkflow/net/flow.py", लाइन 54, ट्रेन में
arg_steps = self.FLAGS.steps[1:-1] # '[' और ']' हटाएं
लेखन त्रुटि: 'कोई नहीं' वस्तु सबस्क्रिप्ट योग्य नहीं है

नमस्ते @ Costyv95

टेन्सरबोर्ड का उपयोग करके सत्यापन हानि ग्राफ को देखने के लिए सत्यापन के लिए मुझे tf.summary.FileWriter कहां जोड़ना चाहिए।

धन्यवाद

@ Costyv95 मैंने आपकी ज़िप फ़ाइल की कोशिश की, diff.zip। लेकिन टर्मिनल मुझे बताता है कि --val_dataset एक अमान्य तर्क है। क्या मुझे अन्य फाइलों को बदलने की जरूरत है?

@ Costyv95 मैंने आपकी ज़िप फ़ाइल की कोशिश की, diff.zip। लेकिन टर्मिनल मुझे बताता है कि --val_dataset एक अमान्य तर्क है। क्या मुझे अन्य फाइलों को बदलने की जरूरत है?

आपको yolo-data और yolov2-data वाली सभी फाइलों को बदलना चाहिए। आपको केवल "डेटा" द्वारा उनके नाम बदलकर संबंधित फ़ोल्डरों में क्रमशः कॉपी और पेस्ट करना चाहिए ताकि उनमें फ़ाइल को आसानी से बदला जा सके।

@khanhhh
एक कोड जोड़ें "self.define('labels', 'labels.txt', 'path to लेबल file')" "def setDefaults(self):" में "darkflow\defaults.py" में, फिर आप "का उपयोग कर सकते हैं" --labels xxx.txt" पूर्व के रूप में।

बहुत - बहुत धन्यवाद!!!!!!!!

25 मई 2019 को सुबह 3:11 बजे जैक नोटिफिकेशन @github.com ने लिखा:

@KhanhHH https://github.com/KhanhHH
एक कोड जोड़ें "self.define('labels', 'labels.txt', 'path to लेबल file')" "def setDefaults(self):" में "darkflow\defaults.py" में, फिर आप "का उपयोग कर सकते हैं" --labels xxx.txt" पूर्व के रूप में।

-
आप इसे प्राप्त कर रहे हैं क्योंकि आपने टिप्पणी की थी।
GitHub पर इस ईमेल सीधे जवाब दें, इसे देखने के https://github.com/thtrieu/darkflow/issues/264?email_source=notifications&email_token=AEIP7DOZYIFBYZHV22RVIADPXD7ELA5CNFSM4DNH2ANKYY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODWHLNQQ#issuecomment-495892162 , या धागे मूक https://github.com/notifications/ अनसब्सक्राइब-ऑथ/AEIP7DPOGFQ2EYSSZFPZSL3PXD7ELANCNFSM4DNH2ANA ।

@ कोस्टीव95
हैलो, मैं जानना चाहता हूं कि "gs://bucket_hand_detection_2" पथ को "darkflow\defaults.py" में कैसे सेट किया जाए? मेरे अजगर (3.7) को यह रास्ता नहीं मिल रहा है, यह त्रुटि फेंकता है; और "बाल्टी" किस खुराक का प्रतिनिधित्व करती है?

@ कोस्टीव95
हैलो, मैं जानना चाहता हूं कि "gs://bucket_hand_detection_2" पथ को "darkflow\defaults.py" में कैसे सेट किया जाए? मेरे अजगर (3.7) को यह रास्ता नहीं मिल रहा है, यह त्रुटि फेंकता है; और "बाल्टी" किस खुराक का प्रतिनिधित्व करती है?

वही त्रुटि लेकिन चेकपॉइंट सामान्य रूप से सहेजे जाते हैं, इसलिए मुझे नहीं पता कि यह त्रुटि क्या है @ Costyv95

धन्यवाद @ Costyv95!

नमस्ते, @ Costyv95 योलो ट्रेन और सत्यापन हानि आउटपुट करता है, लेकिन 1000 चरणों के बाद यह एक त्रुटि फेंकता है। फ़ाइल FileNotFoundError: [Errno 2] ऐसी कोई फ़ाइल या निर्देशिका नहीं: 'gsutil': 'gsutil'।

त्रुटि:

@akmeraki हैलो मैं उसी समस्या से मिला, क्या आपको इस त्रुटि के बारे में कोई समाधान मिला?

@ zhe0503 @akmeraki मुझे आशा है कि बहुत देर नहीं हुई है, लेकिन मैंने केवल "पाइप इंस्टाल gsutil" टाइप किया और इससे समस्या हल हो गई !!

हे लोगों।
अगर मैं पूरे प्रशिक्षित मॉडल की सटीकता प्राप्त करना चाहता हूं तो मुझे क्या करना होगा?
उदाहरण के लिए मैं अपने मॉडल का प्रशिक्षण ले रहा हूं और मैं किसी बिंदु पर प्रशिक्षण बंद कर देता हूं। अब मेरे पास अंतिम सहेजी गई चौकी है और मैं अंतिम चौकी तक सटीकता की गणना करना चाहता हूं।
Cpkt फोल्डर की फाइलों को नाम दिया गया है,

जांच की चौकी
योलो-नया-50.डेटा-00000-ऑफ़-00001
yolo-new-50.index
yolo-new-50.meta
yolo-new-50.profile

मैं मदद लोगों की सराहना करूंगा।

@ कोस्टीव95
मैंने आपके निर्देशों का सावधानीपूर्वक पालन किया लेकिन ऐसा लगता है कि train.py --val_... तर्कों को नहीं पहचानता है। क्या आप मेरी मदद करेंगे? त्रुटि नीचे की तरह है:
त्रुटि - अमान्य तर्क: --val_dataset

ऐसा इसलिए होता है क्योंकि मैंने आपको जो कोड दिया है उसमें अनुकूली सीखने की दर के लिए कुछ संशोधन हैं और आपको एक और बदलाव करना है। आप इसे यहां पा सकते हैं: 124d55d

और आपको सत्यापन हानि होने के लिए तर्कों में --val_dataset और val_annotation जोड़ना चाहिए।

यह मेरे लिए काम नहीं करता है। मुझे नीचे की तरह एक त्रुटि मिलती है:
त्रुटि - अमान्य तर्क: --val_dataset