1.一种基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，其特征在于，包括如

　　RGB相机添加深度测量设备采集输入图片的彩色图像，以及对应的深度图像，并进行数

　　将RGBD图像输入到人体网格恢复HMR算法框架中，获得服从正态分布的蒙皮多人线性

　　通过密集人体姿态转换建立三维人体模型和网格表面对应关系，定义身体部位，每个

　　身体部位拥有对应法线贴图和位移贴图UV坐标，每个坐标根据3D表面空间和IUV空间预定

　　使用基于区域的方法，利用图像中同一区域的均匀性识别不同的区域对图像进行划

　　通过双映射投影得到网格顶点生成IUV图，其中I表示人体的具体部位，UV表示身体部

　　位法线和位移贴图，IUV图作为模板投影到二维平面中，得到连续的二维映射IUV图；

　　姿态参数、体型参数、网格顶点、三维关节和二维关节的参数误差，并推测蒙皮多人线性模

　　2.根据权利要求1所述的基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，其

　　特征在于，在S1所述HMR算法框架中RGB编码器与特征编码器对特征进行融合，提取人体轮

　　3.根据权利要求1所述的基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，其

　　特征在于，在S1中还包括：经回归分析处理得到相机缩放、旋转以及平移参数，用于预测三

　　4.根据权利要求1所述的基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，其

　　特征在于，在S2所述身体部位包括头部、躯干、上下臂、上下腿、手和脚，其中头部、躯干和上

　　下肢等肢体部位被划分为上部，下部，前部，后部，保证身体部位与网格处于同一平面。

　　5.根据权利要求1所述的基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，其

　　特征在于，在S4中所述交叉分布对齐，利用VAE神经网络中编码器对视图潜在分布进行对

　　三维人体网格恢复在虚拟现实、安全系统、游戏行业、虚拟试衣等多个领域具有广

　　泛应用。技术的进步拓宽了三维人体建模行业的发展并随之产生大规模的3D扫描系统，该

　　系统依靠激光扫描以及深度相机获取三维人体网格数据，但在扫描过程中受机器自身参

　　数、周围环境以及预处理繁杂等因素影响，难以产生精确的重复性高、不确定度低的测量数

　　随着蒙皮多人线性(SMPL)模型的出现，通过输入并改变体型参数(人体高矮胖瘦、

　　头身比等)以及姿态参数(关节相对角度、人体运动位姿)进行人体建模，模拟肌肉在肢体运

　　动过程中的凸起和凹陷，精确刻画肌肉拉伸及收缩运动的形貌。但现有蒙皮多人线性

　　(SMPL)模型以RGB图片作为输入，投影点的误差、人体骨架关节核心位置的复杂结构往往导

　　致重建出的三维模型存在不同程度失真。此外，现有的基于SMPL模型的三维人体建模方法

　　大多使用RGB图片作为输入，从二维数据中求解出人体的三维特征，一方面增大了算法的求

　　不能适应复杂多变的工作环境等问题，提出了基于蒙皮多人线性模型的人体姿态估计和网

　　廓，将RGBD图像输入至人体网格恢复(HMR)算法获取姿态参数、体型参数人体蒙皮模型、三维关节及网格

　　顶点，其次由密集人体姿态转化(Densepose)建立不同身体部位三维人体模型与网格表面

　　之间联系，将每个像素点经过双映射投影回归至网格顶点。通过数据集进行多样化模拟最

　　RGB相机添加深度测量设备采集输入图片的彩色图像以及对应的深度图像并进行

　　数据预处理，得到RGBD图像，还原人体二维关节点以及人体轮廓，将RGBD图像输入到人体网

　　格恢复(HMR)算法框架中，获得服从正态分布的蒙皮多人线性模型姿态参数θ、体型参数β和

　　。HMR算法框架中RGB编码器与特征编码器能够对特征进行融合，提取人体轮廓，

　　从而实现从二维人体图像导出三维人体模型，避免了多余背景以及冗余信息对建模的影

　　S2、利用密集人体姿态转化(Densepose)算法对人体网格恢复算法中导出的三维

　　通过密集人体姿态转换(Densepose)建立三维人体模型和网格表面对应关系，定

　　义身体部位I，其中每个身体部位拥有对应法线贴图和位移贴图(UV)坐标。每个坐标根据3D

　　表面空间和IUV空间预定义的双映射投影回归网格顶点。在此基础上使用基于区域的方法，

　　通过双映射投影得到网格顶点生成IUV图(I表示人体的具体部位，UV表示身体部

　　位法线和位移贴图，即贴图上哪一点贴到对应的位置上)，IUV图作为模板投影到二维平面

　　中，得到连续的二维映射IUV，利用三维人体蒙皮多人线性模型数据集SMPLify‑x进行多样

　　通过交叉分布对齐(利用VAE神经网络中编码器对视图潜在分布进行对齐，同时为

　　减少分布对齐损失的信息，在解码器重构过程中引入交叉对齐来平衡多视图数据)融合模

　　(包括回归网格输出的可训练对齐)作为迭代循环输入回归器纠正训练过程中预测

　　的姿态参数、体型参数、网格顶点、三维关节、二维关节等参数误差并推测蒙皮多人线性模

　　(1)本发明根据输入图像提取人体尺寸信息，在此基础上修改人体模型几何结构，

　　(2)本发明采用RGB编码器与特征编码器进行特征融合提取人体轮廓，避免了多余

　　(3)本发明增加了对人体形态的调整过程，结合实际测量人体结构引入蒙皮多人

　　线性模型约束并计算参数损失，网格顶点平均误差接近0.06m，得到更真实的人体模型。

　　时获得RGB彩色数据和Depth深度数据采用密集人体姿态转换(Densepose)算法建立二维图

　　像和网格表面对应关系，利用现有蒙皮多人线性模型数据集SMPLify‑x进行多样化模拟将

　　三维模型降维得到二维高斯热图，通过交叉分布对齐完成最终蒙皮多人线性模型姿态估计

　　和网格恢复。基于蒙皮多人线性模型的人体姿态估计和网格恢复方法，具体步骤如下：

　　步骤1：RGB相机添加深度测量设备采集输入图片的彩色图像以及对应的深度图

　　像，并进行数据预处理，得到RGBKaiyun SportsD图像，输入图片经过RGB编码器与深度编码器输出图像特

　　征，经回归分析处理得到相机缩放、旋转、平移参数s,r,t，以及蒙皮多人线性模型姿态参数

　　节位置将迭代后预测的模型参数输入鉴别器来判断三维人体模型姿态是否合理，具体步骤

　　步骤2：定义24个身体部位I(包括头部、躯干、上下臂、上下腿、手和脚，其中头部、

　　躯干和上下肢等肢体部位被划分为上部，下部，前部，后部，保证身体部位与网格处于同一

　　平面)，其中每个身体部位拥有对应纹理贴图(UV)坐标。记IUV图为[I,U,V]∈R

　　中P为身体的24个部位，H和W为IUV图的高度和宽度，索引通道I∈{0,1}

　　图像背景，1表示身体部分索引。每个坐标根据3D表面空间和IUV空间预定义的双映射投影

　　回归网格顶点。在此基础上使用基于区域的方法，即通过利用图像中同一区域的均匀性来

　　识别不同的区域对图像进行划分，作为映射到3D形状和姿势之前的中间步骤。这种分割提

　　供了一个人的完整空间覆盖，而不是常用的关键点稀疏集，同时还保留了足够的关于部分

　　步骤3：利用三维人体蒙皮蒙皮多人线性模型数据集SMPLify‑x进行多样化模拟。

　　[0027] 步骤4：编码器ResNet‑18提取二维关节输入输出特征 输入迭代回归

　　器，通过步骤1中的姿态参数、体型参数、相机参数预测三维人体模型Θ＝{β，θ，γ}。使用多

　　层感知器(MLP)保持空间维度不变的情况下进行通道缩减将输入的多个数据集映射到单一

　　点v、预测三维关节 和预测二维关节 使用方差不确定度预测损失函数，用以评价预

　　二维关节、三维关节、蒙皮多人线性模型参数权重。基于蒙皮多人线性模型完成人体姿态估

　　中，人体关节处均方根误差约为0.001m，并结合实际测量人体结构引入蒙皮多人线性模型