Skip to main content
 首页 » 编程设计

python之使用caffe用CSV数据训练Lenet

2025年05月04日13del

请问,我有一个关于使用 caffe 获取高清数据的问题?我尝试通过以下步骤在 Kaggle mnist csv 数据上运行示例

  1. 使用h5py将其转换为h5数据。 (我使用caffe-example.py来转换)

  2. 然后修改lenet_train_test_prototxt并训练它。我对这一步很茫然。

我在这里做的唯一改变是

layer { 
  name: "mnist" 
  type: "HDF5Data" 
  top: "data" 
  top: "label" 
  include { 
    phase: TRAIN 
  } 
  transform_param { 
    scale: 0.00390625 
  } 
  data_param { 
    source: "data/mnist_train_h5.txt" 
    batch_size: 64 
  } 
} 

如何更改 lenet_train_test_prototxt 以适应数据?或者我还需要更改其他一些文件?错误日志为

enF0724 18:21:11.052737 79373 hdf5_data_layer.cpp:76] Check failed: !this->layer_param_.has_transform_param() HDF5Data does not transform data. 
 
> *** Check failure stack trace: *** 
>     @     0x7fe8188bbdaa  (unknown) 
>     @     0x7fe8188bbce4  (unknown) 
>     @     0x7fe8188bb6e6  (unknown) 
>     @     0x7fe8188be687  (unknown) 
>     @     0x7fe818caec10  caffe::HDF5DataLayer<>::LayerSetUp() 
>     @     0x7fe818c520a3  caffe::Net<>::Init() 
>     @     0x7fe818c53e12  caffe::Net<>::Net() 
>     @     0x7fe818c0ba20  caffe::Solver<>::InitTrainNet() 
>     @     0x7fe818c0c9c3  caffe::Solver<>::Init() 
>     @     0x7fe818c0cb96  caffe::Solver<>::Solver() 
>     @           0x40c8f0  caffe::GetSolver<>() 
>     @           0x406541  train() 
>     @           0x404a81  main 
>     @     0x7fe817dcdec5  (unknown) 
>     @           0x40502d  (unknown) 
>     @              (nil)  (unknown) Aborted (core dumped)ter code here 

请您参考如下方法:

我假设您有一个 hdf5 数据文件 'data/mnist_train_h5.hd5'。

  1. 从您收到的错误消息中可以看出,"HDF5Data" 层不支持数据转换。具体来说,你不能按层缩放数据。
    因此,您必须在创建 'data/mnist_train_h5.hd5' 期间自己应用它们进行任何转换。

  2. "HDF5Data" 层不接受 data_param,而是接受带有参数 source 的 hdf5_data_param指定 hd5 二进制文件的列表。在您的情况下,您应该准备一个额外的 text 文件 'data/mnist_train_h5.txt',只有一行:

data/mnist_train_h5.hd5

此文本文件将告诉 caffe 读取 'data/mnist_train_h5.hd5'。

生成的图层应该如下所示:

layer { 
  name: "mnist" 
  type: "HDF5Data" 
  top: "data" 
  top: "label" 
  hdf5_data_param { 
    source: "data/mnist_train_h5.txt" 
    batch_size: 64 
  } 
  include { 
    phase: TRAIN 
  } 
}