Please enable JavaScript.
Coggle requires JavaScript to display documents.
Deep Metric Learning - Coggle Diagram
Deep Metric Learning
背景
Pairs or Triplet
概述
准的度量学习方法通过样本的局部关系来学习数据分布。比如建立pairs或者triplets
问题
太难的negative pair会使训练不稳定，而太容易的则几乎没有loss不能更新网络
-
Batch hard sampling
问题
Batch hard sampling要求batch size足够大，当batch size不够大时性能会退化
-
组件
Normalized Softmax Loss
公式
-
解释
- x是输入
- y是label
- z是所有分类Z中的一个
- sigma ？
概述
去除最后线性层的b，然后将L2归一化加入到输入x和权重中
Layer Normalization
概述
在最后的CNN模型后加入Layer Normalization
Class Balanced Sampling
概述
每一个训练batch，都采样C个分类，每个分类S个样本
概述
目标是学习一个方法，将图片像素匹配成Embedding特征向量，从而计算图片的相似性
作用
- 确定分类是跨不同数据集、基础特征网络和维度Embedding的强大基准
- 对可伸缩的极端分类训练的二值化和下采样的性能提供了深入见解
- 提出了一个基于分类的方法来学习高维二进制Embedding，它在整个检索任务中和64维浮点Embedding有一样的内存占用率和SOTA的表现
-