Tensorflow: Prise en charge du streaming à partir de hdf5

Cette demande de fonctionnalité est très large et nous ne travaillerons probablement pas dessus dans un avenir prévisible. Pour que le suivi des problèmes reste concentré, je vais fermer ce problème.

Eh bien, ce que je demande en fait, c'est quelque chose du genre tf.TextLineReader qui prend en charge à la fois le streaming et l'accès aléatoire. La demande est apparue avant, par exemple dans #2089 . Le problème avec toujours la fermeture de ces demandes de fonctionnalités est que les personnes qui recherchent de nouvelles contributions faciles peuvent ne pas les voir, bien qu'elles puissent être une bonne première étape dans la base de code TF.

+1. Pour référence, dans https://www.tensorflow.org/api_guides/python/reading_data , les formats de fichiers pris en charge sont uniquement csv, binary et tfrecord. Mais hdf5 est un format assez courant. Pour les grands ensembles de données, il n'est pas possible de charger un ensemble de données entier au format .hdf5 une fois comme cet exemple. https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/hdf5_classification.py. Au lieu de cela, nous utilisons de petits fichiers hdf5 pour chaque échantillon.

Le seul moyen possible de gérer cela est de transférer d'abord le fichier hdf5 vers tfrecord ou un fichier binaire.