MMPose理解

原创 已于 2022-11-03 15:08:20 修改 · 1w 阅读 · 96
于 2022-10-24 15:27:55 首次发布
MMPose是一个基于Pytorch的2D人体姿态估计工具箱，包含了多种算法及组件。它采用模块化设计，包括数据处理、模型结构和编解码器。数据处理涉及数据集元信息、数据集、数据流水线、数据增强和数据变换。模型结构由预处理器、主干网络、颈部模块和预测头组成，其中预处理器处理图像归一化。编码器将标注信息转换为模型学习目标，解码器则将模型输出解码为关键点坐标。评价准则通常使用OKS，HRNet则保持高分辨率特征图以提升定位精度。

MMPose理解

1. MMPose是什么

  • MMPose 是一款基于 Pytorch 的姿态估计开源工具箱，是 OpenMMLab 项目的成员之一，包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块。
  • MMPose 由 8 个主要部分组成，apis、structures、datasets、codecs、models、engine、evaluation 和 visualization。
    • apis 提供用于模型推理的高级 API
    • structures 提供 bbox、keypoint 和 PoseDataSample 等数据结构
    • datasets 支持用于姿态估计的各种数据集
      • transforms 包含各种数据增强变换
    • codecs 提供姿态编解码器：编码器用于将姿态信息（通常为关键点坐标）编码为模型学习目标（如热力图），解码器则用于将模型输出解码为姿态估计结果
    • models 以模块化结构提供了姿态估计模型的各类组件
      • pose_estimators 定义了所有姿态估计模型类
      • data_preprocessors 用于预处理模型的输入数据
      • backbones 包含各种骨干网络
      • necks 包含各种模型颈部组件
      • heads 包含各种模型头部
      • losses 包含各种损失函数
    • engine 包含与姿态估计任务相关的运行时组件
      • hooks 提供运行时的各种钩子
    • evaluation 提供各种评估模型性能的指标
    • visualization 用于可视化关键点骨架和热力图等信息

1.1 整体架构与设计

在这里插入图片描述

  • 一般来说，开发者在项目开发过程中经常接触内容的主要有五个方面：
    • 通用：环境、钩子（Hook）、模型权重存取（Checkpoint）、日志（Logger）等
    • 数据：数据集、数据读取（Dataloader）、数据增强等
    • 训练：优化器、学习率调整等
    • 模型：主干网络、颈部模块（Neck）、预测头模块（Head）、损失函数等（Loss）
    • 评测：评测指标（Metric）、评测器（Evaluator）等
  • 其中通用、训练和评测相关的模块往往由训练框架提供，开发者只需要调用和调整参数，不需要自行实现，开发者主要实现的是数据和模型部分。

1.1.1 配置文件

  • 在MMPose中，我们通常 python 格式的配置文件，用于整个项目的定义、参数管理。
  • 所有新增的模块都需要使用注册器（Registry）进行注册，并在对应目录的 init.py 中进行 import，以便能够使用配置文件构建其实例。

1.1.2 数据

  • MMPose 数据的组织主要包含三个方面：
    • 数据集元信息
    • 数据集
    • 数据流水线
1.1.2.1 数据集元信息
  • 元信息指具体标注之外的数据集信息。姿态估计数据集的元信息通常包括：关键点和骨骼连接的定义、对称性、关键点性质（如关键点权重、标注标准差、所属上下半身）等。这些信息在数据处理、模型训练和测试中有重要作用。在 MMPose 中，数据集的元信息使用 python 格式的配置文件保存，位于 $MMPOSE/configs/base/datasets 目录下。
  • 在 MMPose 中使用自定义数据集时，需要增加对应的元信息配置文件。以COCO数据集（$MMPOSE/configs/base/datasets/coco.py）为例：
dataset_info = dict(
    dataset_name='coco',
    paper_info=dict(
        author='Lin, Tsung-Yi and Maire, Michael and '
        'Belongie, Serge and Hays, James and '
        'Perona, Pietro and Ramanan, Deva and '
        r'Doll{\'a}r, Piotr and Zitnick, C Lawrence',
        title='Microsoft coco: Common objects in context',
        container='European conference on computer vision',
        year='2014',
        homepage='http://cocodataset.org/',
    ),
    keypoint_info={
   
   
        0:
        dict(name='nose', id=0, color=[51, 153, 255], type='upper', swap=''),
        1:
        dict(
            name='left_eye',
            id=1,
            color=[51, 153, 255],
            type='upper',
            swap='right_eye'),
        2:
        dict(
            name='right_eye',
            id=2,
            color=[51, 153, 255],
            type='upper',
            swap='left_eye'),
        3:
        dict(
            name='left_ear',
            id=3,
            color=[51, 153, 255],
            type='upper',
            swap='right_ear'),
        4:
        dict(
            name='right_ear',
            id=4,
            color=[51, 153, 255],
            type='upper',
            swap='left_ear'),
        5:
        dict(
            name='left_shoulder',
            id=5,
            color=[0, 255, 0],
            type='upper',
            swap='right_shoulder'),
        6:
        dict(
            name='right_shoulder',
            id=6,
            color=[255, 128, 0],
            type='upper',
            swap='left_shoulder'),
        7:
        dict(
            name='left_elbow',
            id=7,
            color=[0, 255, 0],
            type='upper',
            swap='right_elbow'),
        8:
        dict(
            name='right_elbow',
            id=8,
            color=[255, 128, 0],
            type='upper',
            swap='left_elbow'),
        9:
        dict(
            name='left_wrist',
            id=9,
            color=[0, 255, 0],
            type='upper',
            swap='right_wrist'),
        10:
        dict(
            name='right_wrist',
            id=10,
            color=[255, 128, 0],
            type='upper',
            swap='left_wrist'),
        11:
        dict(
            name='left_hip',
            id=11,
            color=[0, 255, 0],
            type='lower',
            swap='right_hip'),
        12:
        dict(
            name='right_hip',
            id=12,
            color=[255, 128, 0],
            type='lower',
            swap='left_hip'),
        13:
        dict(
            name='left_knee',
            id=13,
            color=[0, 255, 0],
            type='lower',
            swap='right_knee'),
        14:
        dict(
            name='right_knee',
            id=14,
            color=[255, 128, 0],
            type='lower',
            swap='left_knee'),
        15:
        dict(
            name='left_ankle',
            id=15,
            color=[0, 255, 0],
            type='lower',
            swap='right_ankle'),
        16:
        dict(
            name='right_ankle',
            id=16,
            color=[255, 128, 0],
            type='lower',
            swap='left_ankle')
    },
    skeleton_info={
   
   
        0:
        dict(link=('left_ankle', 'left_knee'), id=0, color=[0, 255, 0]),
        1:
        dict(link=('left_knee', 'left_hip'), id=1, color=[0, 255, 0]),
        2:
        dict(link=('right_ankle', 'right_knee'), id=2, color=[255, 128, 0]),
        3:
        dict(link=('right_knee', 'right_hip'), id=3, color=[255, 128, 0]),
        4:
        dict(link=('left_hip', 'right_hip'), id=4, color=[51, 153, 255]),
        5:
        dict(link=('left_shoulder', 'left_hip'), id=5, color=[51, 153, 255]),
        6:
        dict(link=('right_shoulder', 'right_hip'), id=6, color=[51, 153, 255]),
        7:
        dict(
            link=('left_shoulder', 'right_shoulder'),
            id=7,
            color=[51, 153, 255]),
        8:
        dict(link=('left_shoulder', 'left_elbow'), id=8, color=[0, 255, 0]),
        9:
        dict(
            link=('right_shoulder', 'right_elbow'), id=9, color=[255, 128, 0]),
        10:
        dict(link=('left_elbow', 'left_wrist'), id=10, color=[0, 255, 0]),
        11:
        dict(link=('right_elbow', 'right_wrist'), id=11, color=[255, 128, 0]),
        12:
        dict(link=('left_eye', 'right_eye'), id=12, color=[51, 153, 255]),
        13:
        dict(link=('nose', 'left_eye'), id=13, color=[51, 153, 255]),
        14:
        dict(link=('nose', 'right_eye'), id=14, color=[51, 153, 255]),
        15:
        dict(link=('left_eye', 'left_ear'), id=15, color=[51, 153, 255]),
        16:
        dict(link=('right_eye', 'right_ear'), id=16, color=[51, 153, 255
标签
#1024程序员节
最低0.47元/天 解锁文章
第一篇：关键点检测算法基础及mmpose文件夹规则
认真努力，做一只会飞的毛毛虫。
04-22 1万+
目录 mmpose安装包命名规则 2D人体姿态估计中的难点 SPPE mmpose安装包命名规则 具体主题下的文件夹的命名遵循以下规则(按任务类型命名)： 2d、3d代表二维或三维。 kpt、mesh代表关键点检测或网格检测。 sview、mview代表单人姿态估计（Single Person Pose Estimation, SPPE）和多人姿态估计（Multi-person Pose Estimation, MPPE）。单人姿态估计是基础，目的是要从只包含一个人的图像中找出这一个人
深入理解MMPose框架：20分钟快速入门指南
gitblog_01139的博客
06-06 424
深入理解MMPose框架：20分钟快速入门指南 【免费下载链接】mmpose OpenMMLab Pose Estimation Toolbox and Benchmark. 项目地址: https://gitcode.com/G...
openmmlab-mmpose进一步语义理解，amazing。安装一下环境有点子难顶
白水空空
06-03 572
MMPose 是一款基于 Pytorch 的姿态估计开源工具箱，是 OpenMMLab 项目的成员之一，包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块，MMPose 由。从源码安装，如果基于 MMPose 框架开发自己的任务，需要添加新的功能，比如新的模型或是数据集，或者使用我们提供的各种工具。(mmdet) 检测人体。代码会将预测的关键点和热图绘制在图像中的人体上，并保存到当前文件夹下的。
MMPose实战指南：5个技巧让你轻松掌握全身姿态估计技术
最新发布
gitblog_00449的博客
06-19 416
MMPose作为OpenMMLab姿态估计工具箱，提供了完整的全身姿态估计解决方案，支持133个关键点的精准检测。本文将深入解析如何高效使用MMPose进行全身姿态估计，从环境配置到高级应用，带你快速上手这一强大的开源项目。 ## 为什么选择MMPose进行全身姿态估计？ 传统姿态估计工具通常只能检测身体主要关节，而MMPose的WholeBody模块通过133个关键点系统实现了全面的人体姿态
openmmlab, yes.从mmpose到mmagic的那些天：理解深了，知识涨了，圈子大了，腰背不痛了
白水空空
06-17 456
接着下午就是面试，这时候喵喵出场了，我听到声音的时候是一个温柔的女声，突然给我整不会了，面试班长感觉对我要求挺友好的，她很热情阳光，问了一些认识问题和一些基础知识点，二十分钟左右就结束了。我的方向是目标检测，对王若晖博士对mmdet的讲解，我真的很有共鸣，在1.5小时的讲解，深入浅出，那种知识被验证和整合的通透感觉，真的牛。当然中途有几名同学因为自己的时间规划，导师安排，身体等各种原因主动退群，虽然没有继续一起冲，但他们都很nice，都很有礼节的在群里告别了，我们也送出了祝福。
关于mmpose中转onnx模型推理的一些问题
LSC_333的博客
05-27 2576
使用mmpose中的工具转onnx 使用工具转pth模型到onnx模型：python tools/pytorch2onnx.py configs/top_down/hrnet/coco/hrnet_w48_coco_256x192.py checkpoints/hrnet_w48_coco_256x192-b9e0b3ab_20200708.pth --output-file hrnet_w48_coco_256x192.onnx 转换之后的模型在推理的时候总会报很多警告，解决办法： 下载remove_
OpenMMLab AI笔记9——MMPose代码实战课
m0_62777538的博客
06-05 440
因为时间有点赶，所以后面三角板的关键点预测demo我没有跑，直接开始跑作业的耳朵穴位数据集了，因为有前面的铺垫，所以跑穴位数据集相对没遇到什么困难（暂时），上传要训练的数据集，下载相应的config配置文件，或者直接用demo的Faster R CNN和RTMDet-Tiny也行hhhh，但是要改config里面的数据集路径以及类别，完了就可以在终端跑起来了，默默看着work_dirs等待结果……跑分固然重要，但配环境炼丹的过程也很奇妙，希望大家也能享受这个“折磨”的过程，有所进步收获吧~
OpenMMLab学习笔记二（人体关键点检测与MMPose）
weixin_44732298的博客
06-02 244
由于这两天要准备期末考试，所以只能抽空学习第二次课的内容，“人体关键点检测与MMPose”，并草草写下这篇笔记，之后再对这次课程进行细致的笔记补充。我发现这节课对我还有些难度，这是计算机视觉领域中的重要研究方向，我对其中的很多术语，尤其是数学推导有很多的不理解，还需要很多知识的补充。不过，今天已经完成了全部的考试，之后要更加努力地学习剩下的课程，有所收获就是最大的胜利。
OpenMMLab MMPose 快速入门指南：从零开始掌握姿态估计
gitblog_00729的博客
06-06 452
OpenMMLab MMPose 快速入门指南：从零开始掌握姿态估计 【免费下载链接】mmpose OpenMMLab Pose Estimation Toolbox and Benchmark. 项目地址: https://gi...
openmmlabAI实战营6.1mmpose理论讲解
Ezrealok的博客
06-02 173
今天学习的是mmpose理论部分的知识，是由上海交大的卢策吾老师盛情讲解，卢老师深入浅出的讲解了人体姿态估计各个方面的概况，包括单人多人的姿态估计，2D3D的姿态估计方法，对传统论文和前沿方法都有所讲解。21年卢老师团队的RLE算法以回归的方式达到了热图方式的精度，但速度超过热图方式很多。我目前研究的主要是2D多人姿态估计，对3D了解甚少，经过卢老师的讲解也对3D姿态估计有了一定认识，希望在mmpose实战部分能收获更多！
MMPose关键点检测实战：从目标检测到关键点预测的全流程解析
weixin_29081101的博客
02-27 299
本文详细解析了基于MMPose框架实现自上而下关键点检测的全流程。从环境配置、数据准备，到分别训练目标检测与关键点检测模型，最终串联两者进行端到端推理。文章以三角板检测为例，提供了实战代码与调优指南，帮助读者快速掌握从目标检测到关键点预测的完整技术方案。
MMpose 教程中文翻译-tutorial 0：学习配置文件
hola_tom的博客
07-03 1590
这是一个对mmpose docs的中文翻译，自己在阅读的时候整理的，后续会继续翻译tutorial的内容。欢饮大佬们提建议，我也只是个学习中的小菜鸡 以下是mmpose教程链接 教程 0：学习 配置文件 mmpose采用python文件作为配置文件，将模块化和继承设计融入你的配置文件，便于进行各种实验 你可以在MMPose/configs目录下找到所有配置文件。如果你想深入了解配置文件，可以运行命令python tools/analysis/print_config.py /PATH/TO/CONFIG.
windows系统上安装mmaction2
weixin_39619955的博客
01-28 449
给学生们的搭建mmaction环境指引
终极MMPose核心术语指南：从入门到精通的中英文对照表
gitblog_00467的博客
02-18 869
MMPose是OpenMMLab开源的姿态估计工具库与基准测试平台，提供了丰富的2D/3D人体姿态、面部关键点、手部关键点等检测功能。对于新手来说，掌握其核心术语是快速上手的关键。本文整理了MMPose中最常用的专业术语及其中英文对照，帮助你轻松跨越技术门槛。 ## 姿态估计基础术语 ### 2D姿态估计 (2D Pose Estimation) 指在二维图像中检测人体、面部或手部的关键点坐标
MMPose实战指南：从零构建高效人体姿态估计系统的5大核心步骤
gitblog_01059的博客
06-11 862
你是否在为复杂的人体姿态检测项目而烦恼？面对传统方案精度不足、速度缓慢、部署困难等问题，MMPose作为OpenMMLab生态中的姿态估计专业工具箱，提供了从数据准备到模型部署的完整解决方案。本文将带你深入掌握MMPose的核心架构，通过5个实战步骤构建高效的人体姿态估计系统，涵盖2D/3D人体、面部、手部、动物等多场景应用。 通过本文，你将获得： - MMPose模块化架构的深度解析与最佳实践
COCO姿态数据集全流程：从标注到训练，云端GPU省心方案
CrystalwaveHawk54的博客
01-13 465
本文介绍了如何利用“星图GPU”平台自动化部署AI 人体骨骼关键点检测镜像，快速完成COCO姿态数据集的模型训练全流程。该方案特别适用于动作识别、智能健身等场景，通过预置环境实现开箱即用，显著提升开发效率，助力用户快速构建高精度人体姿态估计模型。
基于关键点的行为识别：5种算法云端对比，小白也能看懂
TurquoiseSea98的博客
01-13 125
本文介绍了如何利用“星图GPU”平台自动化部署AI人体骨骼关键点检测镜像，实现高效的人体行为识别。该技术通过分析17个关节点的运动轨迹，可广泛应用于智能安防场景，如异常行为监测（跌倒、翻越等），显著提升监控效率。平台支持快速部署多种主流算法，帮助用户轻松完成技术选型与测试。
MMAction2完整指南：如何快速搭建视频理解与动作识别系统
gitblog_00913的博客
06-04 498
MMAction2是OpenMMLab生态中的下一代视频理解工具箱和基准测试平台，专注于动作识别、时空动作检测和骨架行为识别等核心任务。作为开源社区最受欢迎的视频理解框架之一，MMA2提供了从数据准备到模型部署的全流程解决方案，支持多种先进的深度学习模型，包括PoseC3D、SlowOnly、TSN等。本文将为你提供从零开始的完整实战指南，帮助你快速掌握视频动作识别技术的核心要点。🚀 ## M
RTMPose关键点检测实战——笔记3
热门推荐
m0_47867638的博客
06-12 1万+
今天，学习RTMPose关键点检测实战。教大家如何安装安装MMDetection和MMPose。实战项目以三角板关键点检测场景为例，结合OpenMMLab开源目标检测算法库MMDetection、开源关键点检测算法库MMPose、开源模型部署算法库MMDeploy，全面讲解项目全流程：数据集：Labelme标注数据集、整理标注格式至MS COCO目标检测：分别训练Faster R CNN和RTMDet-Tiny目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测。
windows安装mmaction2以及验证推理
qq_43694194的博客
03-31 1722
我是研究骨骼行为识别方向的，有另一个pyskl是一个专门用于骨骼行为识别的开源工具箱，感兴趣的话可以看下我的专栏里的其它博客，介绍了pyskl的安装以及如何制作自己的骨骼行为数据集。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值