当前位置：网站首页>论文阅读【6】Autoaugment: Learning augmentation strategies from data

论文阅读【6】Autoaugment: Learning augmentation strategies from data

2022-07-22 05:30:00 【Doris404】

请添加图片描述

本文提出的AutoAugment方法可以依据验证集上的损失值自动选择数据增强策略。

目录

问题描述

数据增强基于已有的训练样本数据生成更多的训练数据，其目的就是为了使扩增的训练数据尽可能接近真实分布的数据，从而提高模型的泛化能力。数据增强分为2类：有监督的数据增强和无监督的数据增强。其中有监督的数据增强分为单样本数据增强和多样本数据增强；无监督的数据增强分为生成新的数据和数据增强策略。 本篇论文到方法属于第2类数据增强中的数据增强策略。

AutoAugment提出了一种自动数据增强的方法，通过验证集上的损失函数来指示数据增强的策略。

解决思想

policy gradient训练方法中损失函数引入validation set上的损失值
θ = θ + α ∇ θ ( S ) × R \theta=\theta+\alpha \nabla_\theta(S)\times R θ=θ+α∇θ​(S)×R

具体实现

在这里插入图片描述
controller输出一个strategy（operation, magnitude, probability)，其模型结构是循环神经网络，一个输出是下一层的输入，经过30个softmax层后即可以获得5个sub-policy。
在这里插入图片描述

为什么有效

以下游任务准确性提升为目标训练，与GAN相比更有可解释性。

参考

[1] policy gradient方法
[2]Proximal Policy Optimization (PPO)详解

原网站

版权声明
本文为[Doris404]所创，转载请带上原文链接，感谢
https://blog.csdn.net/kullollo/article/details/125899568

边栏推荐

猜你喜欢

随机推荐