Tensorflow: hdf5 से स्ट्रीमिंग का समर्थन करें

को निर्मित 18 जुल॰ 2016 · 3टिप्पणियाँ · स्रोत: tensorflow/tensorflow

यह अच्छा होगा यदि HDF5 (जो कि आउट-ऑफ-कोर स्थितियों में आवश्यक है) स्ट्रीमिंग को Tensorflow में लागू किया जाएगा।

स्रोत

untom

सबसे उपयोगी टिप्पणी

खैर, जो मैं वास्तव में मांग रहा हूं वह tf.TextLineReader की तर्ज पर कुछ है जो स्ट्रीमिंग/रैंडम एक्सेस दोनों का समर्थन करता है। अनुरोध पहले आया था जैसे #2089 में। इन सुविधा अनुरोधों को हमेशा बंद करने में समस्या यह है कि जो लोग आसान, नए योगदान की तलाश में हैं, वे उन्हें नहीं देख सकते हैं, हालांकि वे TF कोड आधार में एक अच्छा पहला कदम हो सकते हैं।

untom 19 जुल॰ 2016

👍3

सभी 3 टिप्पणियाँ

यह सुविधा अनुरोध बहुत व्यापक है, और हम निकट भविष्य में इस पर काम नहीं करेंगे। इश्यू ट्रैकर को केंद्रित रखने के लिए, मैं इस मुद्दे को बंद कर दूंगा।

concretevitamin 19 जुल॰ 2016

untom 19 जुल॰ 2016

👍3

+1। संदर्भ के लिए, https://www.tensorflow.org/api_guides/python/reading_data में , समर्थित फ़ाइल स्वरूप केवल csv, बाइनरी और tfrecord हैं। लेकिन hdf5 एक बहुत ही सामान्य प्रारूप है। बड़े डेटासेट के लिए, इस उदाहरण की तरह एक बार प्रारूप .hdf5 के साथ संपूर्ण डेटासेट लोड करना संभव नहीं है। https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/hdf5_classification.py। इसके बजाय, हम प्रत्येक नमूने के लिए छोटी hdf5 फ़ाइलों का उपयोग करते हैं।

इससे निपटने का एकमात्र संभव तरीका यह है कि पहले hdf5 फ़ाइल को tfrecord या बाइनरी फ़ाइल में स्थानांतरित किया जाए।