本发明涉及一种运动姿态识别模型构建方法和运动姿态识别方法。该运动姿态识别模型构建方法包括,获取分别与不同运动姿态对应的人体运动信号,其中,所述人体运动信号包括三维度加速度信号,对所述人体运动信号进行预处理,获得模型输入信号,基于所述模型输入信号对预设模型进行训练,获得运动姿态识别模型,所述运动姿态识别模型用于输出运动姿态分类结果,其中,所述预设模型包括依次设置的卷积网络、双向长短期记忆网络和注意力层。本发明的技术方案可以有效提高人体运动姿态识别的精度和效率。

　　获取分别与不同运动姿态对应的人体运动信号,其中,所述人体运动信号包括三维度加速度信号,

　　基于所述模型输入信号对预设模型进行训练,获得运动姿态识别模型,所述运动姿态识别模型用于输出运动姿态分类结果,其中,所述预设模型包括依次设置的卷积网络、双向长短期记忆网络和注意力层。

　　2.根据权利要求1所述的运动姿态识别模型构建方法,其特征在于,所述获取分别与不同运动姿态对应的人体运动信号包括,

　　获取分别与步行、慢跑、上楼、下楼、坐下和站立姿态对应的所述人体运动信号。

　　3.根据权利要求1所述的运动姿态识别模型构建方法,其特征在于,所述对所述人体运动信号进行预处理,获得模型输入信号包括,

　　从经滤波的所述三维度加速度信号中分离出三维度重力加速度信号和三维度线性加速度信号,

　　基于所述三维度加速度信号和所述三维度线性加速度信号获得所述模型输入信号。

　　4.根据权利要求3所述的运动姿态识别模型构建方法,其特征在于,所述基于所述三维度加速度信号和所述三维度线性加速度信号获得所述模型输入信号包括,

　　利用滑动窗口对所述三维度加速度信号和所述三维度线性加速度信号进行分割,分别获得X、Y、Z轴加速度数据和X、Y、Z轴线性加速度数据,

　　分别对多组所述X、Y、Z轴加速度数据匹配对应的运动姿态作为标签,作为第一模型输入数据,并分别对多组所述X、Y、Z轴线性加速度数据匹配对应的运动姿态作为标签,作为第二模型输入数据,所述第一模型输入数据和所述第二模型输入数据构成所述模型输入数据。

　　5.根据权利要求4所述的运动姿态识别模型构建方法,其特征在于,所述卷积网络包括两个并行设置的卷积层组合,两个所述卷积层组合分别用于输入所述第一模型输入数据和所述第二模型输入数据,两个所述卷积层组合的输出用于经拼接后作为所述双向长短期记忆网络的输入。

　　6.根据权利要求5所述的运动姿态识别模型构建方法,其特征在于,所述卷积层组合包括四个依次设置的一维卷积层,所述一维卷积层包括卷积层、批量标准化层、激活层、池化层。

　　7.根据权利要求5所述的运动姿态识别模型构建方法,其特征在于,所述双向长短期记忆网络包括LSTM前向层和LSTM反向层,所述LSTM前向层和所述LSTM反向层用于分别输入经拼接后的所述卷积网络的输出,所述LSTM前向层和所述LSTM反向层的输出用于经拼接后作为所述注意力层的输入。

　　所述处理器,用于当执行所述计算机程序时,实现如权利要求1至7任一项所述的运动姿态识别模型构建方法。

　　将经过预处理的所述人体运动信号输入根据如权利要求1至7任一项所述的运动姿态识别模型构建方法建立的运动姿态识别模型,获得运动姿态分类结果。

　　所述处理器,用于当执行所述计算机程序时,实现如权利要求9所述的运动姿态识别方法。

　　[0001]本发明涉及计算机应用技术领域,具体而言,涉及一种运动姿态识别模型构建方法和运动姿态识别方法。

　　[0002]在运动训练以及健康状况监测等领域,将人体行为识别,或者说人体运动姿态识别运用于例如数据分析、预测监控等方面,具有越来越广泛的应用。人体行为识别应用的核心是行为识别算法,其以机器学习方法为主,包括基于决策树、随机森林以及支持向量机等的算法,其均需要先对数据进开云体育官网行特征提取,然后依据特征进行分类。但是特征提取主要是利用人工的方法处理采集的数据,并量化数据的特征,而数据的特征提取工作往往会增加研究人员的负担,工作效率较低。此外,在特征选择上,研究人员通常很难选择合适的特征,导致分类结果也常常不够理想。

　　[0003]针对现有技术的不足,本发明提供一种运动姿态识别模型构建、运动姿态识别方法和装置、存储介质。

　　[0004]第一方面,本发明提供了一种运动姿态识别模型构建方法,该方法包括如下步骤,

　　[0005]获取分别与不同运动姿态对应的人体运动信号,其中,所述人体运动信号包括三维度加速度信号,

　　[0007]基于所述模型输入信号对预设模型进行训练,获得运动姿态识别模型,所述运动姿态识别模型用于输出运动姿态分类结果,其中,所述预设模型包括依次设置的卷积网络、双向长短期记忆网络和注意力层。

　　[0008]第二方面,本发明提供了一种运动姿态识别模型构建装置,该装置包括存储器和处理器,所述存储器,用于存储计算机程序,所述处理器,用于当执行所述计算机程序时,实现如上所述的运动姿态识别模型构建方法。

　　[0009]第三方面,本发明提供了一种运动姿态识别方法,该方法包括如下步骤,

　　[0011]将经过预处理的所述人体运动信号输入根据如上所述的运动姿态识别模型构建方法建立的运动姿态识别模型,获得运动姿态分类结果。

　　[0012] 第四方面,本发明提供了一种运动姿态识别装置,该装置包括存储器和处理器,所述存储器,用于存储计算机程序,所述处理器,用于当执行所述计算机程序时,实现如上所述的运动姿态识别方法。

　　[0013] 在本发明中,在通过例如三轴加速度传感器采集到人体运动信号后,可首先对人体运动信号进行预处理,使其适用于对预设模型的训练。预设模型包括依次设置的卷积网络、双向长短期记忆网络和注意力层,其中,利用卷积网络可以更好地提取数据中的隐式特

　　征,将卷积网络提取后的初步特征作为双向长短期记忆网络的输入,利用双向长短期记忆网络可以提取时序中的前后特征的特性,可以保证信息不被丢失,再利用注意力机制的注意力特性可得出最优姿态识别特征信息,进而可显著提高运动姿态识别的准确率和效率。

　　[0014] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

　　[0015] 图1为本发明实施例的运动姿态识别模型构建方法的流程示意图,

　　[0020] 以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。

　　[0021] 如图1所示,本发明实施例的一种运动姿态识别模型构建方法包括如下步骤,

　　[0022] 获取分别与不同运动姿态对应的人体运动信号,其中,所述人体运动信号包括三维度加速度信号。

　　[0023] 具体地,人体运动信号可通过例如三轴加速度传感器等采集获得,其可获得X轴、Y 轴、Z轴三个维度的相应加速度信号。另外,不同的人体运动姿态通常包括步行、慢跑、上楼、下楼、坐下和站立六种,每种运动姿态对应的人体运动信号有所区别,可以采集特定运动姿态下的人体运动信号形成对应关系,也可以通过随机的人体运动信号确定其所对应的运动姿态。

　　[0025] 具体地,获取与不同运动姿态对应的人体运动信号后,可根据数据特点进行信息挖掘,或者进行滤波等降噪处理。使经过预处理的信号更有利于高效、精确识别模型的建立。

　　[0026] 基于所述模型输入信号对预设模型进行训练,获得运动姿态识别模型,所述运动姿态识别模型用于输出运动姿态分类结果,其中,所述预设模型包括依次设置的一维卷积网络、双向长短期记忆网络和注意力层。

　　[0027] 具体地,可将人体运动信号作为样本,各自对应的运动姿态作为相应标签,对包括卷积网络(CNN) 、双向长短期记忆网络(BLSTM)和注意力层(Attention)的预设模型进行训练,以获得运动姿态识别模型。

　　[0028] 在本实施例中,在通过例如三轴加速度传感器采集到人体运动信号后,可首先对人体运动信号进行预处理,使其适用于对预设模型的训练。预设模型包括依次设置的卷积网络、双向长短期记忆网络和注意力层,其中,利用卷积网络可以更好地提取数据中的隐式

　　特征,将卷积网络提取后的初步特征作为双向长短期记忆网络的输入,利用双向长短期记忆网络可以提取时序中的前后特征的特性,可以保证信息不被丢失,再利用注意力机制的注意力特性可得出最优姿态识别特征信息,进而可显著提高运动姿态识别的准确率和效率。

　　[0029] 可选地,所述获取分别与不同运动姿态对应的人体运动信号包括,

　　[0030] 获取分别与步行、慢跑、上楼、下楼、坐下和站立姿态对应的所述人体运动信号。

　　[0031] 具体地,通过三轴加速度传感器可以获取用户在X轴、Y轴和Z轴三个维度的加速度信号等运动信号,包括X轴方向加速度信号、Y轴方向加速度信号和Z轴方向加速度信号等。在采集用于模型训练的数据时,可使用户分别以步行、慢跑、上楼、下楼、坐下和站立姿态进行动作,获取分别与不同运动姿态对应的人体运动信号。另外,也可将在同等条件下采集的数据中一部分作为训练集,一部分作为验证集,例如80,作为训练集(20)作为验证集。

　　[0032] 在本实施例中,可使用WISDM公开数据集,其中,参与该数据采集的人数为36人,该数据集通过将智能手机置于裤口袋位置,利用手机中的三轴加速度传感器进行数据采集,采样频率为20Hz,采集的动作分为6类,即,步行、慢跑、上楼、下楼、坐下和站立。该数据集一共含有1098209条数据,每条数据由参与者编号、动作姿态标签、采集时间以及X、Y、Z三轴加速度信号构成。

　　[0033] 可选地,所述对所述人体运动信号进行预处理,获得模型输入信号包括,

　　[0035] 具体地,可利用移动均值滤波方法对原始采集数据进行降噪处理,在本实施例中,可采用滑动窗口长度为5的移动均值滤波器对数据进行降噪处理,其具体计算方式如下,

　　[0037] 其中,yi为第i个样本的移动均值,xi是第i个样本的原始信号,此处采用滑动窗口为5,即计算样本的前2个数据xi‑2、xi‑1和后2个数据xi+2、xi+1以及样本本身xi这5个数据的均值。

　　[0038] 从经滤波的所述三维度加速度信号中分离出三维度重力加速度信号和三维度线] 具体地,上述采集的加速度信号为重力加速度和线性加速度的叠加量。考虑到在运动过程中,身体线性加速度的高频特性和重力加速度的低频特性,可利用截至频率为

　　0.3Hz的三阶低通巴特沃斯滤波器分离出重力加速度信号和线性加速度信号。因重力加速度受地球本身重力影响的特点,选择线性加速度数据作为样本数据。

　　[0040] 基于所述三维度加速度信号和所述三维度线性加速度信号获得所述模型输入信号。

　　[0041] 具体地,可将三维度加速度信号和三维度线性加速度信号共同作为样本数据,或者说模型输入信号,以提供更为准确、有效的数据信息,用于模型训练。更具体而言,可以将三维度加速度信号(记作图2所示的Acc)和三维度线所示的Body acc)分别作为预设模型的样本数据。

　　[0042] 可选地,所述基于所述三维度加速度信号和所述三维度线性加速度信号获得所述模型输入信号包括,

　　[0043] 利用滑动窗口对所述三维度加速度信号和所述三维度线性加速度信号进行分割,分别获得X、Y、Z轴加速度数据和X、Y、Z轴线] 具体地,对滤波后的X、Y、Z三轴加速度信号以及分离得到的三轴线性加速度信号进行数据分割,可利用窗口长度为128,重叠率为50,的滑动窗口对数据进行分割,采用上述数据,共可分割得到17518组包含X、Y、Z三轴加速度数据以及17518组包含X、Y、Z三轴线] 分别对多组所述X、Y、Z轴加速度数据匹配对应的运动姿态作为标签,作为第一模型输入数据,并分别对多组所述X、Y、Z轴线性加速度数据匹配对应的运动姿态作为标签,作为第二模型输入数据,所述第一模型输入数据和所述第二模型输入数据构成所述模型输入数据。

　　[0046] 具体地,在获得多组X、Y、Z三轴加速度数据以及X、Y、Z三轴线性加速度数据后,将其作为样本,并标记每个样本的运动姿态标签,可将数字0‑5作为标签分别表示步行、慢跑运动姿态模型、上楼、下楼、坐下和站立六种运动姿态。

　　[0047] 可选地,所述卷积网络包括两个并行设置的卷积层组合,两个所述卷积层组合分别用于输入所述第一模型输入数据和所述第二模型输入数据,两个所述卷积层组合的输出用于经拼接后作为所述双向长短期记忆网络的输入。

　　[0048] 具体地,如图2所示,预设模型包括依次设置的卷积网络(CNN) 、双向长短期记忆网络(BLSTM)和注意力层(Attention) ,且在注意力层(Attention)之后,还包括全连接层和SoftMax分类器。其中,在卷积网络中,包括两个并行设置的卷积层组合,上述三维度加速度信号(Acc)和三维度线性加速度信号(Body acc)分别作为二者的输入,各自输出经拼接后输入双向长短期记忆网络。

　　[0049] 在本实施例中,可以有效利用卷积网络的隐式特征提取能力提取输入数据的隐式特征。

　　[0050] 可选地,所述卷积层组合包括四个依次设置的一维卷积层,所述一维卷积层包括卷积层、批量标准化层、激活层、池化层。

　　[0052] 可选地,所述双向长短期记忆网络包括LSTM前向层和LSTM反向层,所述LSTM前向层和所述LSTM反向层用于分别输入经拼接后的所述卷积网络的输出,所述LSTM前向层和所述LSTM反向层的输出用于经拼接后作为所述注意力层的输入。

　　[0053] 具体地,如图4所示,双向长短期记忆网络(BLSTM)由两层前向传播层,或者说LSTM 前向层,和两层反向传播层,或者说LSTM反向层构成,每层LSTM的隐藏神经元数量为64。经拼接后的卷积网络的输出用于分别输入LSTM前向层和LSTM反向层,LSTM前向层和LSTM反向层的输出经拼接后输入注意力层。

　　[0054] 在本实施例中,将卷积网络提取后的X、Y、Z三轴加速度信号与X、Y、Z三轴线页

　　度信号隐式特征进行拼接后作为双向长短期记忆网络的输入,可有效利用长短时记忆网络的前后时序特征提取能力进一步提取时序隐式特征。

　　[0055] 可选地,注意力层的输出经过1层全连接层(神经元数量为6)以及SoftMax分类器。

　　[0056] 具体地,将双向长短期记忆网络的输出作为注意力层的输入,每一个输出的尺寸为8*128,通过注意力层计算出这8个时序数据中每个数据对最终输出结果的权重,将计算后的权重与每个时序向量进行相乘再相加得到最终的输出,输出向量尺寸为1*128。

　　[0057] 进一步地,将上述输出向量作为输入进入全连接层,以将128维数据转换成6维数据,再将全连接层输出作为输入进入SoftMax分类器,可通过如下公式计算不同类别的不同概率,

　　[0059] 其中,vi为第i个类别的输出值,k为总共的姿态类别数目,SoftMax(vi)为最终输出类别的概率。通过SoftMax函数可将多分类的输出值转换为范围在[0, 1]且和为1的概率分布,通过极大似然估计输出对应索引作为姿态分类结果。

　　[0060] 在训练过程中,可通过最小化损失函数对模型进行训练,其中采用交叉熵损失函数作为损失函数,利用反向传播算法更新各层神经网络中的权重,交叉熵损失函数具体计算如下,

　　[0062] 其中, 为每个训练样本的标签,在训练过程中将样本标签转换成独热编码形式(one‑hot编码) ,yi为分类结果的输出值。

　　[0063] 另外,在实际训练过程中,需要调节模型中的超参数设置。具体而言,在卷积层中需要确定卷积核,池化核的大小,在双向长短期记忆网络中需要确定各层LSTM神经元的数量。为了防止过拟合,采用dropout防止过拟合机制,为了获得最佳的模型识别效果,对各超参数进行遍历组合,确定了如下参数。经训练获得的运动姿态识别模型的具体参数可见表

　　[0066] 通过模型结构调整和超参数调优,可完成对运动姿态识别模型的设计和训练。为了验证模型的训练效果,可分别采用上述验证集或者三轴加速度传感器实时采集的数据进行验证。

　　[0072] 计算每种运动姿态的样本统计量,求得各评价指标,如下式所示,

　　[0077] 使用上述验证集进行验证时,获得的本发明的运动姿态识别模型的各项评价指标如表2所示。

　　[0080] 表3为本发明的运动姿态识别模型在验证集上的识别混淆矩阵。混淆矩阵的每一列代表预测类别,每一列的总数表示预测为该类别的数据的数目,每一行代表数据的真实归属类别,每一行的数据总数表示该类别的数据实例的数目,每一列中的数值表示真实数据被预测为该类的数目。利用混淆矩阵可以更好地展示出每个人的运动姿态的识别结果。

　　[0084] 为了比较本发明运动姿态识别模型的效果,表4展示了在WISDM数据集上多种方法的识别准确率、精确率和召回率。

　　[0087] 可以看到,基于本发明运动姿态识别模型的方法在各项评价指标的性能表现最佳,平均准确率超过99,,平均精确率和平均召回率接近99,,明显优于决策树和逻辑回归等需要手工提取特征的人体运动姿态识别传统方法,相比于CNN、LSTM、深度信念网络等深度学习方法也有优势,这说明了本发明提出并构建的运动姿态识别模型在人体运动姿态识别上具有比较好的优势,拥有更高的识别效率和识别准确率,具有实际应用价值。

　　[0088] 在本发明另一实施例中,一种运动姿态识别模型构建装置包括存储器和处理器,所述存储器,用于存储计算机程序,所述处理器,用于当执行所述计算机程序时,实现如上所述的运动姿态识别模型构建方法。

　　[0090] 在本发明另一实施例中,一种计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的运动姿态识别模型构建方法。

　　[0091] 如图5所示,本发明实施例的一种人体运动姿态识别方法包括如下步骤,

　　[0093] 具体地,可通过例如三轴加速度传感器获取用户的人体运动信号。可选地,对人体运行信号进行相应预处理后输入人体运动姿态识别模型,其中,预处理主要包括滤波与分割等。

　　[0094] 将经过预处理的所述人体运动信号输入根据如上所述的运动姿态识别模型构建方法建立的运动姿态识别模型,获得运动姿态分类结果。

　　[0095] 具体地,在进行运动姿态识别时,可实时采集用户的运行数据,经预处理后,输入模型,以获得运动姿态分类结果。另外,如上所述,也可将在同等条件下采集的数据中一部分作为训练集,一部分作为验证集,此时可将验证集作为模型输入进行效果验证。

　　[0096] 在本发明另一实施例中,一种运动姿态识别装置包括存储器和处理器,所述存储器,用于存储计算机程序,所述处理器,用于当执行所述计算机程序时,实现如上所述的运动姿态识别方法。

　　[0098] 在本发明另一实施例中,一种计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的运动姿态识别方法。

　　[0099] 读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

　　[0100] 尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。