①假设人体的形状由p个关节点的坐标表示，对给定的2D人体关节点序列定义为：W＝

　　②运用非负稀疏编码，对Human3.6M数据集中的三个训练集S1,S5,S6的15个动作，每个

　　数，表示B是k×3行p列的矩阵，从第一行开始，每三行代表第k个原子的p个关节点

　　③根据稀疏表示原理，采用融合稀疏表示的3D可变形状模型来表示人体形状，将单帧

　　据，提取输入数据的高维特征，采用RELU激活函数；第二层用于解码数据，预测人体p个关键

　　点的3D位置；将输入数据转化为X，Y，Z三个坐标轴方向的分量，分别对不同方向的关节点位

　　置细化，对于每个方向的分量设置三层LSTM单元：用于学习对应分量上人物姿态的时间变

　　化特征，在每一个方向上的LSTM单元上增加了一个残差连接用于融合输入数据与学习到的

　　时间变化特征，然后通过第二层线性层解码，回归相应方向分量上p个关键点的3D姿态坐标

　　1)设定损失函数：定义MLSTM降噪编/解码器模型的损失函数由以下两项组成：第一项

　　为具有N个序列的训练集中，每个序列T帧的3D关节点位置的优化值与其对应的3D标注数据

　　首先对于N个序列，将每个序列第t帧的3D关节点位置的优化值与对应帧的3D标注数据

　　其中，为优化后的第t帧3D关节点位置的优化值，为对应帧的3D标注数据，(*)

　　其次对于N个序列，将每个序列第t帧的相邻帧的3D关节点位置的优化值的一阶平滑约

　　2)训练模型：首先对输入数据采用时间上的零均值标准化处理，然后采用一个长度为

　　T，步长为1的滑窗来选取序列长度，对选取序列长度之后的输入数据进行200次迭代训练，

　　每个迭代对整个输入数据进行一次完整的遍历，采用ADAM优化器训练网络，初始学习速率

　　为0.0001，每50次迭代学习率衰减0.1，LSTM单元的神经元个数为1024个，权值由Xavier初

　　值由Kaiming初始化器初始化，批处理大小为16个序列，每个序列长度T为5，将迭代训练后

　　2.如权利要求1所述的一种基于稀疏和深度的3D人体姿态估计方法，其特征在于将单

　　拉格朗日乘子法以能量泛函的形式将稀疏系数求解过程表示为求解最小化能量泛函：

　　本发明涉及一种3D人体姿态估计技术，尤其是涉及一种基于稀疏和深度的3D人体

　　图像或视频中估计其对应的3D人体姿态对于高级计算机视觉任务来说，如人机交互，视频

　　监控，虚拟现实和人体行为分析等，有着重要且广泛的应用。然而，从单目图像或视频中估

　　计3D人体姿态极具挑战性：首先，从单目图像或视频中重构3D人体姿态本身是一个病态问

　　题。几何角度上讲，从单视角下估计人体3D的姿态存在着固有的任意性(Lee  H  J ,Chen

　　能够得到的3D姿态并不是唯一的。此外，人体姿态的丰富性以及在3D姿态估计过程中存在

　　类内可变性、非刚体形变等问题，使3D姿态估计问题变得极其复杂。并且，在姿态估计过程

　　中含有大量的变化参数，比如光照、摄像机位置参数等，同时也存在场景遮挡以及人体自我

　　特征，如肤色，纹理，轮廓等，并将其映射成3D人体姿态。近几年的工作通常将3D估计解耦为

　　中人体的2D姿态特征；(2)将获取的2D特征表达向3D空间映射，获得对应3D空间下的人体姿

　　态。将姿态估计分解为这两步，目的是通过现有的2D姿态估计网络，消除图像中光照，背景

　　等因素对后续3D估计的影响。在深度学习的影响下，基于图像的2D姿态估计在近几年发展

　　迅速，许多工作实现了利用卷积神经网络(CNN)来回归图像中2D关节位置的置信热图，得到

　　2D人体姿态。这在一定程度上促进了3D姿态估计的发展，同时也提高了3D姿态估计的性能。

　　据集，从给定的2D姿态重构3D姿态目前仍然是一个充满挑战的问题。Martinez等(2017)提

　　出一种简单的深度网络用来学习从2D到3D姿态的映射关系，实验采用Human3.6M(Ionescu

　　的2D坐标作为输入。他们的实验结果表明，使用现有最好的2D姿态估计网络获得最优的2D

　　估计，能够提高3D估计准确率，但其得到的3D姿态与使用2D标注获得的结果相比仍然误差

　　较大。由此，Martinez认为2D姿态估计的误差是导Kaiyun Sports致3D姿态估计产生误差的主要原因。2D估

　　计的误差主要是由于2D图像中一些视角或杂乱场景可能存在着大量噪声和遮挡，这导致2D

　　基于以上原因，如何在2D误差或噪声干扰下从2D姿态映射到最优、最合理的3D姿

　　本发明所要解决的技术问题是提供一种可以有效消除2D姿态到3D姿态求解结果

　　的任意性，提高单目视频的3D人体姿态估计精度的基于稀疏和深度的3D人体姿态估计方

　　本发明解决上述技术问题所采用的技术方案为：一种基于稀疏和深度的3D人体姿

　　①假设人体的形状由p个关节点的坐标表示，对给定的2D人体关节点序列定义为：

　　②运用非负稀疏编码，对Human3.6M数据集中的三个训练集S1,S5,S6的15个动作，

　　每个动作分别学习出一个基础姿态字典B，大小表示为 k为基础姿态字典B的原子

　　个数， 表示B是k×3行p列的矩阵，从第一行开始，每三行代表第k个原子的p个关节

　　[0012] ⑤对于步骤④获得的3D姿态初始序列 进行优化，修正时间不连贯

　　[0013] ⑤‑1将通过稀疏表示方法初始化后的3D初始序列 设定为MLSTM的

　　入数据，提取输入数据的高维特征，采用RELU激活函数；第二层用于解码数据，预测人体p个

　　关键点的3D位置；将输入数据转化为X，Y，Z三个坐标轴方向的分量，分别对不同方向的关节

　　点位置细化，对于每个方向的分量设置三层LSTM单元：用于学习对应分量上人物姿态的时

　　间变化特征，在每一个方向上的LSTM单元上增加了一个残差连接用于融合输入数据与学习

　　到的时间变化特征，然后通过第二层线性层解码，回归相应方向分量上p个关键点的3D姿态

　　1)设定损失函数：定义MLSTM降噪编/解码器模型的损失函数由以下两项组成：第

　　一项为具有N个序列的训练集中，每个序列T帧的3D关节点位置的优化值与其对应的3D标注

　　数据的均方误差；第二项为相邻帧之间的3D关节点位置的优化值的一阶平滑约束：

　　首先对于N个序列，将每个序列第t帧的3D关节点位置的优化值与对应帧的3D标注

　　[0019] 其中， 为优化后的第t帧3D关节点位置的优化值， 为对应帧的3D标注数据，

　　其次对于N个序列，将每个序列第t帧的相邻帧的3D关节点位置的优化值的一阶平

　　2)训练模型：首先对输入数据采用时间上的零均值标准化处理，然后采用一个长

　　度为T，步长为1的滑窗来选取序列长度，对选取序列长度之后的输入数据进行200次迭代训

　　练人体姿态估计示意图，每个迭代对整个输入数据进行一次完整的遍历，采用ADAM优化器训练网络，初始学习速

　　率为0.0001，每50次迭代学习率衰减0.1，LSTM单元的神经元个数为1024个，权值由Xavier

　　权值由Kaiming初始化器初始化，批处理大小为16个序列，每个序列长度T为5，将迭代训练

　　利用拉格朗日乘子法以能量泛函的形式将稀疏系数求解过程表示为求解最小化能量泛函：

　　与现有技术相比，本发明的优点在于在给定2D姿态数据的前提下，通过以下两个

　　角度提高单目视频的3D人体姿态估计精度：一是，通过先验知识从给定的2D姿态得到较为

　　合理(未必精确)的单帧3D姿态映射；二是，利用视频帧间的时间相关性约束估计优化的3D

　　姿态；利用预学习的3D姿态字典得到最优的3D姿态表示，可以有效消除2D姿态到3D姿态求

　　解结果的任意性，在2D关节点缺失时保证该模型仍然可靠；本发明提出的带有残差结构的

　　MLSTM降噪编/解码器模型，能够保持连续帧的3D姿态在空间结构上和时间上的一致性，缓

　　解每帧的独立误差造成的估计序列在时间上不连贯的问题，进一步提高3D姿态估计的精

　　图3为基于数据集的单帧初始化效果对比图，图中：第一列为数据集给出的2D骨

　　图4为基于数据集的视频3D估计效果对比图，(a)为单独行走，(b)为一起行走，图

　　中：第一列为数据集给出的2D骨架，第二列为现有技术方法的估计骨架，第三列为本发明方

　　图5为基于CPM探测的视频3D估计效果对比图(CPM)，图中：第一列为CPM探测得到

　　的2D骨架，第二列为现有技术方法的估计骨架，第三列为本发明方法的估计骨架，第四列为

　　本发明提出的一种基于稀疏与深度的3D人体姿态估计方法，流程框图如图1所示，

　　①假设人体的形状由p个关节点的坐标表示，对给定的2D人体关节点序列定义为：

　　②稀疏表示模型中，稀疏字典的学习尤为重要，字典的好坏将直接3D估计的效果

　　以及稀疏表示解的稀疏性。本发明采用矩阵分解与稀疏编码的在线学习方法(Mairal  J ,

　　字典。运用非负稀疏编码，对Human3.6M数据集中的三个训练集S1,S5,S6的15个动作，每个

　　动作分别学习出一个基础姿态字典B，大小表示为 k为基础姿态字典B的原子个

　　数， 表示B是k×3行p列的矩阵，从第一行开始，每三行代表第k个原子的p个关节点

　　形状模型(Zhou等，2015)来表示人体形状，将单帧2D人体姿态坐标W

　　的姿态初始值，用第t帧3D人体姿态坐标表示为 记为 表示 是一个3行p列的矩

　　③‑3在不考虑噪声的情况下，根据稀疏表示原理，为了用尽可能少的原子来线D姿态，本发明采用洪等(洪金华,张荣,郭立君.基于L(1/2)正则化的三维人

　　影，最小化其与2D关节点位置的距离能够求解对应的3D姿态参数。式(3)是一个带有正交约

　　束的非凸优化问题，对于此问题本发明采用了洪等(2018)提出的谱范数近端梯度算法及交

　　能够将非凸问题转化为凸优化问题，并且能够保证解的正交性和稀疏性，最终通过式(1)得

　　到单帧人体姿态的3D初始值 经过基于稀疏表示(SR)的空间模型，可得到不考虑时间关

　　[0057] ⑤对于步骤④获得的3D姿态初始序列 进行优化，修正时间不连贯

　　[0058] ⑤‑1如图2所示，将通过稀疏表示方法初始化后的3D初始序列 设定

　　为MLSTM的降噪编/解码器模型输入，将对应的优化3D序列 设定为输出；

　　estimation[J].2017.)：第一层用于编码输入数据，提取输入数据的高维特征，采用RELU激