Please enable JavaScript.
Coggle requires JavaScript to display documents.
IMSAT (原理 (Self-Augmented Training(SAT) 深度神经网络能灵活的和可扩展的支持复杂表示和非线性决策边界，但因为…
IMSAT
原理
Self-Augmented Training(SAT)
- 深度神经网络能灵活的和可扩展的支持复杂表示和非线性决策边界，但因为非监督学习无约束，所以需要加入正则化
- 通过数据增强的方式，而不是一般的权举圆滑的方式对模型进行正则化,从而对小扰动和仿射变换保持不变性
信息论方法
通过最大化输入和输出间的信息论依赖，训练神经网络
论文
Learning Discrete Representations via Information Maximizing Self-Augmented Training
步骤
- 对原始数据进行数据增强（图片翻转、剪切等）
- 通过神经网络，输出M维的离散向量
- 经过网络输出离散向量，并计算熵，数据增强得出的数据表示相似