论文

Learning Discrete Representations via Information Maximizing Self-Augmented Training

步骤

1. 对原始数据进行数据增强（图片翻转、剪切等）
2. 通过神经网络，输出M维的离散向量
3. 经过网络输出离散向量，并计算熵，数据增强得出的数据表示相似

Self-Augmented Training(SAT)

• 深度神经网络能灵活的和可扩展的支持复杂表示和非线性决策边界，但因为非监督学习无约束，所以需要加入正则化
• 通过数据增强的方式，而不是一般的权举圆滑的方式对模型进行正则化,从而对小扰动和仿射变换保持不变性