
1.一种三维人体骨骼姿态估计模型训练方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特征在于,所述图像特征提取模块采用四个卷积网络和三个膨胀卷积网络;所述第一点云特征提取模块采用第一五层自注意力网络,所述第一五层自注意力网络的每一层后接一个下采样层并在所述第一五层自注意力网络最后的输出端接一个第一平均池化层;所述第二点云特征提取模块采用第二五层自注意力网络,所述第二五层自注意力网络的输出端接一个第二平均池化层;所述无线信道特征提取模块采用三个残差神经网络、一个自注意力网络和一个二维平均池化层融合网络。
3.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特征在于,所述模态间特征融合模块将所述图像特征、所述激光雷达特征、所述毫米波雷达特征和所述无线信道特征融合的步骤包括:
4.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特开云体育官方入口征在于,基于夏普利值法计算所述四类模态数据的单模态m贡献度值的表达式为:
5.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特征在于,模拟训练产生的均方根误差的表达式为:
6.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特征在于,对模拟训练产生的均方根误差基于高斯混合模型建立两个均值不同的高斯分布并废弃其中均值较高者对应的噪声数据,均值较高者对应的噪声数据组成的噪声样本和均值较低者对应的正常数据组成的正常样本的表达式为:
7.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,其特征在于,基于所述三维人体骨骼姿态预测值和真实值的均方根误差,并引入可塑权重巩固损失构建联合损失的表达式为:
8.根据权利要求1所述三维人体骨骼姿态估计模型训练方法,将所述优等模态类对应的特征提取模块参数按照第一权重融合其初始特征提取模块参数,将所述次等模态类对应的特征提取模块参数按照第二权重融合其初始特征提取模块参数表达式为:
10.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现如权利要求1至9中任一项所述方法的步骤三维姿态估计模型。
本发明提出一种三维人体骨骼姿态估计方法及模型训练方法,四类模态数据输入特征提取模块,提取四类特征经模态间特征融合模块融合后输入三维坐标估计模块输出三维人体骨骼姿态预测值;每一轮迭代训练三维人体骨骼姿态估计模型时基于夏普利值法计算单模态贡献度值并划分模态类别;当前批次样本进行模拟训练,不同模态类别噪声模态数据分别拟合,模拟训练的均方根误差建立两个高斯分布,均值较高者对应的噪声数据去除后的当前批次样本训练三维人体骨骼姿态估计模型,基于预测值和真实值的均方根误差和可塑权重巩固损失构建联合损失更新三维人体骨骼姿态估计模型参数,不同模态对应特征提取模块参数按照预设权重分别融合初始特征提取模块参数。