Skip to main content
 首页 » 编程设计

python之将返回字典的 tf.data.Dataset 传递给 Keras

2024年12月31日9sxdcgaq8080

背景

据我所知,Keras 将成为编写 eager/lazy 不可知论模型的首选方式 (source) . Keras ( source ) 似乎也支持 tf.data,这很棒,因为这是我在当前 tf.estimator 项目中使用的 ETL。

问题

我想保留我的 tf.data 管道,但将我的 tf.estimator 替换为 tf.keras.Model,但是移植我的图表后,我被

绊倒了
ValueError: Please do not pass a dictionary as model inputs. 

在调用 model.fit(dataset, steps_per_epoch=n) 时,我觉得这很奇怪,因为 tf.data/tf.estimator 是专为与 (features: dict, labels: dict) 一起使用而构建,其中字典中的值是张量。

总结

如何将 tf.keras.Model 与字典一起使用?

请您参考如下方法:

一个临时的解决方法是使用张量元组而不是字典,例如调用

def flatten(dataset): 
    return dataset.map(lambda features, labels: (tuple(features.values()), tuple(labels.values()))) 

在 model.fit 之前,同时确保 Model.call 通过索引而不是键(例如 return tuple(outputs.values())等)。

不幸的是: 上面的 hack 只适用于训练数据。对于 model.fit(validation_data=flatten(validation_dataset), ...) 由于一些内部错误,它无法工作:https://github.com/tensorflow/tensorflow/issues/21729