Tensorflow: Поддержка потоковой передачи с hdf5

Созданный на 18 июл. 2016 · 3Комментарии · Источник: tensorflow/tensorflow

Было бы неплохо, если бы потоковая передача HDF5 (которая требуется в ситуациях вне ядра) была бы реализована в Tensorflow.

Источник

untom

Самый полезный комментарий

Что ж, на самом деле я прошу что-то вроде tf.TextLineReader которое поддерживает как потоковый, так и произвольный доступ. Запрос появился раньше, например, в # 2089. Проблема с постоянным закрытием этих запросов функций заключается в том, что люди, которые ищут легких новых вкладов, могут их не увидеть, хотя они могут быть хорошим первым шагом в базе кода TF.

untom 19 июл. 2016

👍3

Все 3 Комментарий

Эта функция очень обширна, и мы, скорее всего, не будем работать над ней в обозримом будущем. Чтобы не отвлекаться от отслеживания проблем, я закрою этот выпуск.

concretevitamin 19 июл. 2016

untom 19 июл. 2016

👍3

+1. Для справки: в https://www.tensorflow.org/api_guides/python/reading_data поддерживаются только форматы файлов csv, binary и tfrecord. Но hdf5 - довольно распространенный формат. Для больших наборов данных невозможно загрузить весь набор данных с форматом .hdf5 один раз, как в этом примере. https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/hdf5_classification.py. Вместо этого мы используем небольшие файлы hdf5 для каждого образца.

Единственный возможный способ справиться с этим - сначала передать файл hdf5 в tfrecord или двоичный файл.