Tensorflow: 支持从 hdf5 流式传输

创建于 2016-07-18  ·  3评论  ·  资料来源: tensorflow/tensorflow

如果在 Tensorflow 中实现流式 HDF5(在核外情况下需要),那就太好了。

最有用的评论

好吧,我实际上要求的是类似于tf.TextLineReader ,它支持流/随机访问。 请求出现在例如 #2089 之前。 总是关闭这些功能请求的问题在于,寻找简单的新贡献的人可能看不到它们,尽管它们可能是进入 TF 代码库的良好第一步。

所有3条评论

此功能请求非常广泛,在可预见的将来我们可能不会处理它。 为了保持问题跟踪器的重点,我将关闭此问题。

好吧,我实际上要求的是类似于tf.TextLineReader ,它支持流/随机访问。 请求出现在例如 #2089 之前。 总是关闭这些功能请求的问题在于,寻找简单的新贡献的人可能看不到它们,尽管它们可能是进入 TF 代码库的良好第一步。

+1。 作为参考,在https://www.tensorflow.org/api_guides/python/reading_data 中,支持的文件格式只有 csv、binary 和 tfrecord。 但是 hdf5 是一种非常常见的格式。 对于大数据集,不可能像本例那样一次性加载格式为 .hdf5 的整个数据集。 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/hdf5_classification.py。 相反,我们为每个样本使用小的 hdf5 文件。

解决这个问题的唯一可行方法是先将 hdf5 文件传输到 tfrecord 或二进制文件。

此页面是否有帮助?
0 / 5 - 0 等级