AISS4 关键点检测与图像修复

关键点检测

背景知识

关键点检测 / keypoint alignment

输入一个包含目标的图象（如人脸、人体、手部），输出一组预定义的关键点（如五官、关节、手指关节）位置。

常用算法

按模型输出格式分类

方法	优点	不足	算法
regression 回归关键点坐标	简单可导 计算量小，速度快 连续性和稳定性	容易过拟合 空间泛化能力弱	DeepPose， MTCNN， MoblieNet
heatMap网络预测	利用相邻点、前景点、背景点的空间信息，精度更高	计算量大 内存要求高 argmax带来的量化误差，模型不可导	Hourglass, Openpose, HRNet, ResNet

按模型结构分类

方法	过程	优点	不足
Top-down	输入 - 目标检测 - 目标区域 -关键点检测 - 输出	精度更高	受目标检测限制	RMPE, CPN, CFN, HRNet
Bottom-up	输入-关键点检测 - (对于多目标)聚类(PAF, Associative Embedding) - 输出	过程简单	背景噪声影响较大	OpenPose, ResNet

数据集与应用

数据集

人脸

• 学术：AFW-6, AFLW-21, COFW-29, LFPW-35,300W-68,Coco-68, lbug-84,WFLW-98
• 产业界：106，240，280

人体

Lsp-14, FLIC-11,Coco-17,MPII-16,Crowdpose-14

应用场景

• 指导重建3D模型
• 运动健身

研究难点

漏检误检：

1. 环境多样：室内外、光照条件
2. 遮挡影响：自遮挡、服饰
3. 复杂姿态和目标角度

算力受限：

​ 在保持精度的同时减小模型。

应用案例

面部关键点 - 美颜

人体关键点 - 运动健身计数

图像修复

NAFNet

Simple Baselines for Image Restoration

手机图像去噪评估