Please enable JavaScript.
Coggle requires JavaScript to display documents.
BlazePose(2020) - Coggle Diagram
BlazePose(2020)
Inference Pipeline
Person detector
概述
- 脸部因为高对比度和较少的外观变化,所以通过检测脸部,实现身体检测,而不是直接进行身体检测。
- 因此加入了人体中点、倾斜角度和内切圆这些参数
背景
后处理阶段使用非极大值抑制(NMS)在固定物体有不错的效果,但对人灵活的姿势效果就不好了
Pose tracker
概述
预测关键点的坐标,当前帧是否有人存在和当前帧的RoI
概述
- 执行Pose tracker
- 如果Pose tracker预测不到人,再执行Pose detector
数据
拓扑结构
使用一种新的只有,最小数量且有效的33个关键点的拓扑结构
数据集
限制数据包含整个人或者肩膀和臀部能被自信的标注,这样会降低网络的能力从而较少计算资源的要求
数据增强
- 使用10%的大小和位移增强,确保tracker能在帧之间控制身体移动和扭动
- simulate occlusions argumentation:随机使用各种颜色的矩形遮挡身体,这样有助于跟踪身体被明显遮挡的人
结构
encoder-decoder
概述
使用一个encoder-decoder网络得出heatmap和offset map,在训练结算计算损失,最后的结果输入的regression encoder
Regression Encoder
概述
encoder-decoder作为输入,预测33个keypoint的x、y和是否可见,训练时梯度传递只会在本encoder内传递,不会传递到encoder-decoder
-
特点
- 使用stacked hourglass结果增加鲁棒性和预测质量,以及减小模型规模
- 在测试的时候,砍掉detection部分,仅保留regression部分,这样可以加快运行速度