本发明公开了一种实时轻量级2D人体姿态估计方法：首先提取视频帧图像，消除图像中的高斯噪声，然后通过融入注意力机制的目标检测算法检测图像中的目标人物位置，再通过改进的轻量级OpenPose模型提取人体骨骼关节点坐标，后利用贝塞尔曲线得到关节运动轨迹，同时使用轨迹相似性度量算法计算得到关节间的距离数组，最后利用线性变换分类器对获取的关节点坐标进行分类，从而快速准确地识别出人物的姿态；本发明工作高效，更具实时性，以较低的设备成本运行，并以较低的计算量处理骨架数据，对噪声的干扰具有很强的鲁棒性，使人体姿

　　(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114140828 A (43)申请公布日 2022.03.04 (21)申请号 9.5 G06V 10/82 (2022.01) G06K 9/62 (2022.01) (22)申请日 2021.12.06 G06N 3/04 (2006.01) (71)申请人 西北大学 G06N 3/08 (2006.01) 地址 710069 陕西省西安市太白北路229号 (72)发明人 耿国华李启航冯龙王雨 赵燕婷武浩东周蓬勃刘阳洋 (74)专利代理机构 西安众和至成知识产权代理 事务所(普通合伙) 61249 代理人 强宏超 (51)Int.Cl. G06V 40/10 (2022.01) G06V 10/30 (2022.01) G06V 10/34 (2022.01) G06V 10/32 (2022.01) G06V 10/764 (2022.01) 权利要求书2页 说明书4页 附图5页 (54)发明名称 一种实时轻量级2D人体姿态估计方法 (57)摘要 本发明公开了一种实时轻量级2D人体姿态 估计方法：首先提取视频帧图像，消除图像中的 高斯噪声，然后通过融入注意力机制的目标检测 算法检测图像中的目标人物位置，再通过改进的 轻量级OpenPose模型提取人体骨骼关节点坐标， 后利用贝塞尔曲线得到关节运动轨迹，同时使用 轨迹相似性度量算法计算得到关节间的距离数 组，最后利用线性变换分类器对获取的关节点坐 标进行分类，从而快速准确地识别出人物的姿 态；本发明工作高效，更具实时性，以较低的设备 成本运行，并以较低的计算量处理骨架数据，对 噪声的干扰具有很强的鲁棒性，使人体姿态估计 A 方法更具准确性、及时性以及在复杂的环境背景 8 下表现更佳，消除了光线和阴影对人体姿态估计 2 8 0 的影响。 4 1 4 1 1 N C CN 114140828 A 权利要求书 1/2页 1.一种实时轻量级2D人体姿态估计方法，其特征在于，包括以下步骤： 步骤1：对视频流提取出的视频帧图像进行预处理：以中心点为基准，将图像统一缩放 裁剪； 步骤2：对步骤1得到的视频帧图像进行平滑处理，并抑制图像中的高斯噪声； 步骤3：将Senet通道注意力机制融入到目标检测算法中，对步骤2得到的图像进行目标 检测； 步骤4：在原始的OpenPose模型网络中，用深度可分离卷积为核心的Mobilenet网络替 换VGG19； 步骤5：通过改进的OpenPose模型提取人体骨骼关节点坐标； 步骤6：将步骤5获得的人体骨骼关节点坐标通过贝塞尔曲线得到关节运动轨迹，并使 用轨迹相似性度量算法得到关节间的距离数组； 步骤7：利用线获取的关节点坐标进行分类，判断人物的行为姿 态。 2.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤1 中将图像统一缩放裁剪为512×512mm大小。 3.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤2 中使用高斯滤波器抑制图像中的高斯噪声。 4.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤3 中将Senet通道注意力机制融入到Tiny_YOLOv3目标检测算法中，对步骤2得到的图像进行 目标检测。 5.根据权利要求1所述的实时轻量级2D人体姿态估计方法，其特征在于：所述的步骤4 中用深度可分离卷积为核心的Mobilenet网络替换OpenPose网络结构中的VGG19，同时采用 residual结构的3个3×3的卷积替换一个7×7卷积。 6.根据权利要求5所述的实时轻量级2D人体姿态估计方法，其特征在于：采用深度可分 离卷积的形式对每一个3×3卷积继续改进。 7.根据权利要求6所述的实时轻量级2D人体姿态估计方法，其特征在于：步骤4所述的 深度可分离卷积由深度卷积和点卷积组成； 假设输入图像大小为D ×D ×M，卷积核大小为D ×D ×M，输出图像大小为D ×D ×N， 1 1 K K 0 0 则传统卷积的参数量为： W ＝(D ×D ×M)×N         (1) stand K K 其中，W 表示的传统卷积的参数量，D ×D 代表卷积核的长、宽，D ×D 和D ×D 分别 stand K K 1 1 0 0 代表输入图像和输出图像的长和宽，M和N代表图像的深度； 而深度卷积的卷积核尺寸大小为(D ，D ，1)，共有M个，点卷积的卷积核尺寸大小为(1， K K 1，M)，共有N个，则深度卷积和点卷积的参数量为： W ＝(D ×D ×1)×M           (2) depthwise K K W ＝(1×1×M)×N              (3) pointwise 其中W 表示深度卷积的参数量，W 表示点卷积的参数量； depthwise pointwise 因此，深度可分离卷积参数量为： W ＝W +W D depthwise pointwise 2 2 CN 114140828 A 权利要求书 2/2页 ＝(D ×D ×1)×M+(1×1×M)×N   (4) K K 其中，W表示的是深度可分离卷积参数量； D 所以，深度可分离卷积参数量与传统卷积参数量的参数之比为： 其中η表示的是深度可分离卷积参数量与传统卷积参数量的参数之比，W 表示的是深度 D 可分离卷积参数量，W 表示的传统卷积的参数量，N代表输出图像的深度， 代表卷积核 stand 大小的平方。 3 3 CN 114140828 A 说明书 1/4页 一种实时轻量级2D人体姿态估计方法 技术领域 [0001] 本发明属于计算机图形处理技术领域，具体涉及一种实时轻量级2D人体姿态估计 方法。 背景技术 [0002] 秦腔“形成于秦，精进于汉，昌明于唐，完整于元，成熟于明，广播于清，几经演变， 蔚为大观答”，是相当古老的剧种，堪称中国戏曲的鼻祖。旧时，在中国西北辽阔的大地乃至 西域国家，秦腔曾是老百姓最为喜爱和掌握的艺术形式。它简单灵活、轻松幽默、亲切随和， 富有浓郁的地域特色和乡土气息。然而随着现代经济高速发展，互联网快速普及，国民大众 的娱乐方式发生了变化。秦腔原始的娱乐性功能被削弱，受众群体老龄化，面临着生存和发 展的危机。 [0003] 通过对摄像头生成的视频流逐帧提取图像，采用基于OpenPose改进的方法对视频 流中的人物进行实时人体姿态估计，以此用来进行实时人机交互，让人们可以边看秦腔戏 曲视频边跟着学，极大地推动了秦腔文化的发展，以更加现代化的方式让人们重拾对传统 戏剧的兴趣，体会秦腔这一传统中华文化的深厚艺术积累和丰富的人文内涵。 [0004] 目前，2D人体姿态估计是一个热门的研究课题，涵盖了广泛的应用范围。人们已经 尝试了许多方法来定位身体部位的解剖关键点。Myers等人使用带有八个摄像头的运动捕 捉系统研究了100名高尔夫球手挥杆时的臀部和躯干运动。Fujimori等人开发了一套可穿 戴套装可以用全身的触觉传感器和一个运动传感器来捕捉运动，以此来估计其方向。Evans 等人使用电磁运动捕捉系统来估计三维高尔夫挥杆运动。Liu等人提出了一个康复系统，并 使用Kinect相机的骨骼定位模块从深度图像中捕获3D数据摄像机从深度图像中捕获3D数 据，从单个图片中获得静态手势。这些传统的人体姿态识别方法缺乏准确性和即时性，并且 在复杂的环境背景下表现不佳。 发明内容 [0005] 针对现有技术存在的不足，本发明的目的在于提供一种实时轻量级2D人体姿态估 计方法，具有较高的实时性，以较低的设备成本运行，并以较低的计算量处理骨架数据，工 作高效，同时对噪声的干扰具有很强的鲁棒性。 [0006] 为了实现上述目的，本发明采用以下技术方案予以实现： [0007] 一种实时轻量级2D人体姿态估计方法，包括以下步骤： [0008] 步骤1：对视频流提取出的视频帧图像进行预处理：以中心点为基准，将图像统一 缩放裁剪； [0009] 步骤2：对步骤1得到的视频帧图像进行平滑处理，并抑制图像中的高斯噪声； [0010] 步骤3：将Senet通道注意力机制融入到目标检测算法中，对步骤2得到的图像进行 目标检测； [0011] 步骤4：在原始的OpenPose模型网络中，用深度可分离卷积为核心的Mobilenet网 4 4 CN 114140828 A 说明书 2/4页 络替换VGG19； [0012] 步骤5：通过改进的OpenPose模型提取人体骨骼关节点坐标； [0013] 步骤6：将步骤5获得的人体骨骼关节点坐标通过贝塞尔曲线得到关节运动轨迹， 并使用轨迹相似性度量算法得到关节间的距离数组； [0014] 步骤7：利用线获取的关节点坐标进行分类，判断人物的行 为姿态。 [0015] 本发明还具有以下技术特征： [0016] 优选的，所述的步骤1中将图像统一缩放裁剪为512×512mm大小。 [0017] 优选的，所述的步骤2中使用高斯滤波器抑制图像中的高斯噪声。 [0018] 优选的，所述的步骤3中将Senet通道注意力机制融入到Tiny_YOLOv3目标检测算 法中，对步骤2得到的图像进行目标检测。 [0019] 优选的，所述的步骤4中用深度可分离卷积为核心的Mobilenet网络替换OpenPose 网络结构中的VGG19，同时采用residual结构的3个3×3的卷积替换一个7×7卷积。 [0020] 进一步的，采用深度可分离卷积的形式对每一个3×3卷积继续改进。 [0021] 进一步的，步骤4所述的深度可分离卷积由深度卷积和点卷积组成； [0022] 假设输入图像大小为D ×D ×M，卷积核大小为D ×D ×M，输出图像大小为D ×D 1 1 K K 0 0 ×N，则传统卷积的参数量为： [0023] W ＝(D ×D ×M)×N    (1) stand K K [0024] 其中，W 表示的传统卷积的参数量，D ×D 代表卷积核的长、宽，D ×D 和D ×D stand K K 1 1 0 0 分别代表输入图像和输出图像的长和宽，M和N代表图像的深度； [0025] 而深度卷积的卷积核尺寸大小为(D ，D ，1)，共有M个，点卷积的卷积核尺寸大小为 K K (1，1，M)，共有N个，则深度卷积和点卷积的参数量为： [0026] W ＝(D ×D ×1)×M    (2) depthwise K K [0027] W ＝(1×1×M)×N    (3) pointwise [0028] 其中W 表示深度卷积的参数量，W 表示点卷积的参数量； depthwise pointwise [0029] 因此，深度可分离卷积参数量为： [0030] W ＝W +W D depthwise pointwise [0031] ＝(D ×D ×1)×M+(1×1×M)×N    (4) K K [0032] 其中，W表示的是深度可分离卷积参数量； D [0033] 所以，深度可分离卷积参数量与传统卷积参数量的参数之比为： [0034] [0035] 其中η表示的是深度可分离卷积参数量与传统卷积参数量的参数之比，W 表示的 D 是深度可分离卷积参数量，W 表示的传统卷积的参数量，N代表输出图像的深度， 代表 stand 卷积核大小的平方。 [0036] 本发明与现有技术相比，具有如下技术效果： [0037] 本发明是一种实时轻量级2D人体姿态估计方法，首先通过高斯滤波消除图像中的 高斯噪声，然后通过融入注意力机制的目标检测算法检测图像中的目标人物位置，再将检 5 5 CN 114140828 A 说明书 3/4页 测后的图像通过改进的OpenPose模型提取人体骨骼关节点坐标，通过贝塞尔曲线得到关节 运动轨迹和轨迹相似性度量算法得到关节间的距离数组，最后利用线性变换分类器对获取 的关节点坐标进行分类，从而快速准确地识别出人物的姿态活动； [0038] 本发明方法使系统工作高效，具有较高的实时性，以较低的设备成本运行，并以较 低的计算量处理骨架数据，同时对噪声的干扰具有很强的鲁棒性，提高了人体姿态估计方 法的准确性、及时性，实现在复杂的环境背景下有效提取，消除了光线和阴影对人体姿态估 计的影响。 附图说明 [0039] 图1是提取到的视频帧图像； [0040] 图2是高斯滤波器处理后的视频帧图像； [0041] 图3是融入SEBlock的Tiny_YOLOv3的网络结构图； [0042] 图4是目标检测结果图； [0043] 图5是采用residual结构改进7×7卷积核的网络结构图； [0044] 图6是采用深度可分离卷积改进3×3卷积核的网络结构图； [0045] 图7是使用改进的OpenPose提取的骨骼关节点； [0046] 图8是OpenPose所能识别的关节点； [0047] 图9是通过贝塞尔曲线和轨迹相似性度量算法得到的关节轨迹； [0048] 图10是人体姿态估计图； [0049] 图11是方法总体框架。 具体实施方式 [0050] 以下结合实施例对本发明的具体内容做进一步详细解释说明。 [0051] 本发明提供了一种实时轻量级2D人体姿态估计方法，具体包括以下步骤： [0052] 步骤1：对视频流提取出的视频逐帧图像进行预处理：以中心点为基准，将图像统 一缩放裁剪为512×512mm大小，如图1是得到的视频帧图像； [0053] 步骤2：对步骤1得到的视频帧图像进行平滑处理，通过使用高斯滤波器抑制图像 中的高斯噪声，如图2是使用高斯滤波器处理后的视频帧图像； [0054] 步骤3：将Senet通道注意力机制融入到Tiny_YOLOv3目标检测算法中，对步骤2得 到的图像进行目标检测，如图3是融入注意力机制的Tiny_YOLOv3网络结构，图4是目标检测 结果图； [0055] 步骤4：在原始的OpenPose模型网络中，用深度可分离卷积为核心的Mobilenet网 络替换VGG19，同时采用residual结构的3个3×3的卷积替换一个7×7卷积；采用residual 结构改进7×7卷积核如图5所示。同时，采用深度可分离卷积的形式对每一个3×3卷积继续 改进，如图6所示。 [0056] 深度可分离卷积由深度卷积和点卷积组成。假设输入图像大小为D ×D ×M，卷积 1 1 核大小为D ×D ×M，输出图像大小为D ×D ×N，则传统卷积的参数量为： K K 0 0 [0057] W ＝(D ×D ×M)×N    (1) stand K K [0058] 其中，W 表示的传统卷积的参数量，D ×D 代表卷积核的长、宽，D ×D 和D ×D stand K K 1 1 0 0 6 6 CN 114140828 A 说明书 4/4页 分别代表输入图像和输出图像的长和宽，M和N代表图像的深度。 [0059] 而深度卷积的卷积核尺寸大小为(D ，D ，1)，共有M个卷积核，点卷积的卷积核尺寸 K K 大小为(1,1，M)，共有N个，则深度卷积和点卷积的参数量为： [0060] W ＝(D ×D ×1)×M     (2) depthwise K K [0061] W ＝(1×1×M)×N    开云体育控股科技有限公司(3) pointwise [0062] 其中，W 表示深度卷积的参数量，W 表示点卷积的参数量。 depthwise pointwise [0063] 因此，深度可分离卷积参数量为： [0064] W ＝W +W D depthwise pointwise [0065] ＝(D ×D ×1)×M+(1×1×M)×N   (4) K K [0066] 其中，W表示的是深度可分离卷积参数量。 D [0067] 所以，深度可分离卷积参数量与传统卷积参数量的参数之比为： [0068] [0069] 其中，η表示的是深度可分离卷积参数量与传统卷积参数量的参数之比，W 表示的 D 是深度可分离卷积参数量，W 表示的传统卷积的参数量，N代表输出图像的深度2d人体姿态估计， 代表 stand 卷积核大小的平方。 [0070] 步骤5：通过改进的OpenPose模型提取人体骨骼关节点坐标。识别结果如图7所示。 OpenPose所能识别的关节点如图8所示。 [0071] 步骤6：将步骤5获得的人体骨骼关节点坐标通过贝塞尔曲线得到关节运动轨迹， 并使用轨迹相似性度量算法得到关节间的距离数组。计算结果如图9所示。 [0072] 步骤7：利用线计算得到的关节间的距离数组进行分类，判 断人物的姿态活动。分类结果如图10所示。整体框架如图11所示。 7 7 CN 114140828 A 说明书附图 1/5页 图1 图2 8 8 CN 114140828 A 说明书附图 2/5页 图3 图4 9 9 CN 114140828 A 说明书附图 3/5页 图5 图6 图7 10 10 CN 114140828 A 说明书附图 4/5页 图8 图9 11 11 CN 114140828 A 说明书附图 5/5页 图10 图11 12 12

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　3年级语文下册_0.《状元大课堂·情境卷》3语下 作业课件_期末专项复习卷（三） 常规句型训练.pptx

　　重庆市铜梁二中2023-2024学年高一上学期9月月考历史 Word版无答案.docx

　　重庆市字水中学2022-2023学年高二下学期第一次月考数学Word版含解析.docx

　　庄河市高级中学2022-2023学年高二上学期12月月考（B卷）化学含答案.doc

　　3年级语文下册_0.《状元大课堂·情境卷》3语下 作业课件_期末专项复习卷（四） 语文园地集训.pptx

　　提供农业、铸造、给排水、测量、发电等专利信息的免费检索和下载；后续我们还将提供提供专利申请、专利复审、专利交易、专利年费缴纳、专利权恢复等更多专利服务。并持续更新最新专利内容，完善相关专利服务，助您在专利查询、专利应用、专利学习查找、专利申请等方面用得开心、用得满意！

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者