Navigation

    Gpushare.com

    • Register
    • Login
    • Search
    • Popular
    • Categories
    • Recent
    • Tags

    Data augmentation

    语音识别与语义处理领域
    1
    1
    14
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • 155****7220
      155****7220 last edited by

      目前深度学习神经网络对数据的要求很高,不仅数据要相关,而且要求有尽可能更大的数据集。在现实生活中,要想得到大量的数据,不仅要收集各种情景下、各种角度、各个位置的照片,还要确保数据的多样性,只有这样才能确保神经网络学到的特征更加全面

      但在现实中,若想达到以上的目的要付出巨大的代价,并且还要对照片上出现的东西进行准确标注,另外对于一些稀有的物种信息收集更是十分困难

      因此我们这里介绍一些为神经网络提供更多数据的方法——数据增强(Data argumentation)

      数据增强有很多手段,包括对原照片进行旋转、拉伸、加噪声等。但是采用这种方法加入的数据肯定没有新照片的效果好,因为其本质上仍是原图片

      如下图所示:

      数据增强的手段包括:

      1. Flip(翻转)
      2. Rotate(旋转)
      3. Random Move & Crop(随机移动、剪裁)
      4. GAN(GAN神经网络)

      首先看图像翻转

      如上图所示,原图片黄人在右边,经过左右翻转后,黄人在左边;经过上下翻转后,整个图片倒立。代码实现如下

      import torch
      import torch.nn
      import torch.nn.functional as F
      from torchvision import datasets, transforms
      
      train_loader = torch.utils.data.DataLoader(
          datasets.MNIST('../data', train=True, download=True,
                         transform=transforms.Compose([
                             # Random表示有可能做,所以也可能不做
                             transforms.RandomHorizontalFlip(),# 水平翻转
                             transforms.RandomVerticalFlip(), # 上下翻转
                             transforms.ToTensor(),
                         ])),
          batch_size=batch_size, shuffle=True
      )
      

      旋转操作也十分常见

      上面分别经过了90°、180°的旋转。代码实现如下

      import torch
      import torch.nn
      import torch.nn.functional as F
      from torchvision import datasets, transforms
      
      train_loader = torch.utils.data.DataLoader(
          datasets.MNIST('../data', train=True, download=True,
                         transform=transforms.Compose([
                             # Random表示有可能做,所以也可能不做
                             transforms.RandomHorizontalFlip(),# 水平翻转
                             transforms.RandomVerticalFlip(), # 上下翻转
                             transforms.RandomRotation(15), # 随机旋转-15°~15°
                             transforms.RandomRotation([90, 180]), # 随机在90°、180°中选一个度数来旋转,如果想有一定概率不旋转,可以加一个0进去
                             transforms.ToTensor(),
                         ])),
          batch_size=batch_size, shuffle=True
      )
      

      还可以把图片进行缩放

      如上图所见,图片由右至左分增大了20%、40%。利用之前Resize操作,就可以将例如28*28大小转化为32*32。代码实现如下

      import torch
      import torch.nn
      import torch.nn.functional as F
      from torchvision import datasets, transforms
      
      train_loader = torch.utils.data.DataLoader(
          datasets.MNIST('../data', train=True, download=True,
                         transform=transforms.Compose([
                             # Random表示有可能做,所以也可能不做
                             transforms.RandomHorizontalFlip(),# 水平翻转
                             transforms.RandomVerticalFlip(), # 上下翻转
                             transforms.RandomRotation(15), # 随机旋转-15°~15°
                             transforms.RandomRotation([90, 180]), # 随机在90°、180°中选一个度数来旋转,如果想有一定概率不旋转,可以加一个0进去
                             transforms.Resize([32,32]),
                             transforms.ToTensor()
                         ])),
          batch_size=batch_size, shuffle=True
      )
      

      还有Crop Part(裁剪部分)

      局部增强,一般裁剪操作是配合图片旋转共同进行,先裁剪掉一部分,再进行旋转。代码实现如下

      import torch
      import torch.nn
      import torch.nn.functional as F
      from torchvision import datasets, transforms
      
      train_loader = torch.utils.data.DataLoader(
          datasets.MNIST('../data', train=True, download=True,
                         transform=transforms.Compose([
                             # Random表示有可能做,所以也可能不做
                             transforms.RandomHorizontalFlip(),# 水平翻转
                             transforms.RandomVerticalFlip(), # 上下翻转
                             transforms.RandomRotation(15), # 随机旋转-15°~15°
                             transforms.RandomRotation([90, 180]), # 随机在90°、180°中选一个度数来旋转,如果想有一定概率不旋转,可以加一个0进去
                             transforms.Resize([32,32]),
                             transforms.RandomCrop([28, 28]),
                             transforms.ToTensor()
                         ])),
          batch_size=batch_size, shuffle=True
      )
      

      最后还有一个不是很常见的操作Noise(噪声处理)

      PyTorch中暂时还没有相关接口。这里就不多赘述了

      1 Reply Last reply Reply Quote 0
      • First post
        Last post