我是图像识别的初学者,需要一些有关预处理图像的帮助。
- 我使用迁移学习模型
resnet18进行识别工作。我得到:在 [3] 中:pretrainedmodels.pretrained_settings['resnet18'] 出[3]: {'图像网':{'网址': 'https://download.pytorch.org/models/resnet18- 5c106cde.pth', '输入空间':'RGB', 'input_size': [3, 224, 224], 'input_range': [0, 1], '平均':[0.485,0.456,0.406], '标准':[0.229,0.224,0.225], 'num_classes':1000}}
我发现 mean 和 std 与我的图像数据集完全不同。
我应该如何标准化我的训练集?用上面的均值和标准差还是用我自己算的均值和标准差?
- 我将数据集分为
train_set、valid_set和test_set。
我有两种方法:
A.计算它们的均值和标准差并单独归一化
B.计算整个数据集的均值和标准差,然后进行归一化。
哪个是对的?
3.什么时候做归一化?在 data_augmentation 之前还是在 data_augmentation 之后?
请您参考如下方法:
如果您使用自己的数据集和预训练权重训练新模型,则需要为新数据集设置新的均值和标准差。
基本上,您需要重复 ImageNet 的处理过程。编写一个脚本来计算整个数据集的一般 [mean, std] 值。
但请记住注意您的数据集分布,因为它肯定会影响模型性能。
然后为您的训练/验证集单独定义一个转换器方法。通常我们不会对测试集进行归一化,因为在现实世界场景中,您的模型将接收不同类型的数据。您应该在构建数据集时执行规范化过程,并结合其他增强技术。
例如,考虑这个玩具示例
"transformer": {
"train": transforms.Compose([
transforms.Resize(size=299),
transforms.RandomHorizontalFlip(p=0.2),
transforms.ToTensor(),
transforms.Normalize(new_mean, new_std)
]),
"valid": transforms.Compose([
transforms.Resize(size=299),
transforms.ToTensor(),
])
}
train_ds = CustomDataset(type="train", transformer=transformer["train"])
valid_ds = CustomDataset(type="valid", transformer=transformer["valid"])
如果你有更多的困惑,请告诉我
