Tensorflow: Unterstützt Streaming von hdf5

Diese Funktionsanfrage ist sehr umfassend und wir werden sie in absehbarer Zeit wahrscheinlich nicht bearbeiten. Damit der Issue Tracker fokussiert bleibt, werde ich diesen Issue schließen.

Nun, was ich eigentlich verlange, ist etwas in der Art eines tf.TextLineReader , das sowohl Streaming als auch Direktzugriff unterstützt. Die Anfrage kam vorher zB in #2089 . Das Problem beim Schließen dieser Feature-Requests besteht darin, dass Leute, die nach einfachen, neuen Beiträgen suchen, diese möglicherweise nicht sehen, obwohl sie ein guter erster Schritt in die TF-Codebasis sein könnten.

+1. Als Referenz werden in https://www.tensorflow.org/api_guides/python/reading_data die unterstützten Dateiformate nur csv, binär und tfrecord unterstützt. Aber hdf5 ist ein ziemlich verbreitetes Format. Bei großen Datensätzen ist es nicht möglich, wie in diesem Beispiel einen ganzen Datensatz im Format .hdf5 einmal zu laden. https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/hdf5_classification.py. Stattdessen verwenden wir kleine hdf5-Dateien für jedes Sample.

Der einzig gangbare Weg, damit umzugehen, besteht darin, zuerst die hdf5-Datei in eine tfrecord- oder binäre Datei zu übertragen.