一种基于无线信号的多人三维姿态估计方法，包括以下步骤：步骤一，使用WiFi设备采集信道状态信息CSI信号，使用相机拍摄对应的视频进行监督；步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成热力图和目标框图；步骤三，对CSI信号进行预处理；步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入CSI‑2D网络进行训练；步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个人体的二维姿态；步骤六，每个人体二维姿态组成视频

　　(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114219853 A (43)申请公布日 2022.03.22 (21)申请号 6.1 (22)申请日 2021.11.12 (71)申请人 杭州昌泽信息技术有限公司 地址 310012 浙江省杭州市西湖区文三路 199号创业大厦809 (72)发明人 于水瀛应建新 (74)专利代理机构 杭州斯可睿专利事务所有限 公司 33241 代理人 王利强 (51)Int.Cl. G06T 7/73 (2017.01) G06T 3/00 (2006.01) G06K 9/00 (2022.01) G06K 9/62 (2022.01) 权利要求书3页 说明书7页 附图2页 (54)发明名称 一种基于无线信号的多人三维姿态估计方 法 (57)摘要 一种基于无线信号的多人三维姿态估计方 法，包括以下步骤：步骤一，使用WiFi设备采集信 道状态信息CSI信号，使用相机拍摄对应的视频 进行监督；步骤二，将视频经过AlphaPose进行处 理，输出人体目标框和人体关键点处理生成热力 图和目标框图；步骤三，对CSI信号进行预处理； 步骤四，将预处理完的CSI信号与视频帧进行对 应，将五个CSI数据为一段数据输入CSI‑2D网络 进行训练；步骤五，将CSI信号在CSI‑2D模型输出 的热力图和目标框图进行处理，回归出每个人体 的二维姿态；步骤六，每个人体二维姿态组成视 A 频帧输入到2D‑3D模型并结合二维坐标，生成多 3 人三维姿态。本发明成本较低、精度较高。 5 8 9 1 2 4 1 1 N C CN 114219853 A 权利要求书 1/3页 1.一种基于无线信号的多人三维姿态估计方法，其特征在于，所述方法包括以下步骤： 步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频进行 监督； 步骤二，将视频经过AlphaPose进行处理三维姿态估计模型，输出人体目标框和人体关键点处理生成热力 图和目标框图，作为无线信号训练的标注； 步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除CSI信 号的异常点和环境噪声，去除静态直流分量； 步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输入 CSI‑2D网络进行训练； 步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个人体 的二维姿态； 步骤六，每个人体二维姿态组成视频帧输入到2D‑3D模型并结合二维坐标，生成多人三 维姿态。 2.如权利要求1所述的一种基于无线信号的多人三维姿态估计方法，其特征在于，所述 步骤一的过程如下： 1.1在会议室环境中布置收发设备和摄像头，使用两台装有Intel5300网卡的笔记本进 行数据收发实验，使用了6根定向天线个分成一组，同组天线cm，组成一个类似WiFi路由器设备，一组作为发射器(T)，另一组作为接收器(R)；使用 WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率信号的信号衰 减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反射穿透的3×3 ×30的信道状态信息CSI信号； 1.2使用相机拍摄对应的视频，过程为：使用单目RGB摄像头记录20FPS视频帧，四个志 愿者参与数据采集，分别有多人、单人的数据进行采集，动作做出包括挥手、拍手、走路、踢 腿、下蹲、跳、打拳和握手动作，保存时间戳以便与CSI信号部分进行对应。 3.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于， 所述步骤二中，将AlphaPose输出生成热力图和目标框图的过程为：将视频帧输入 AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生成的关键点坐标经过高 斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换，使用4个尺度目标框，将 这些多尺度变换的目标框坐标分别放在多个图上生成张量，两个张量将作为CSI‑2D模型的 标注来监督其学习。 4.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于， 所述步骤三中，对采集数据进行数据预处理过程如下； 3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏： 其中，H (f,t)是天线的信道状态信息， 是天线的信道状态信息的共轭，H 1 1,S (f)和H (f)分别是其静态路径部分，K和L为多径数，α(f,t)为l路径上的幅度衰减函数， 2,S l 2 2 CN 114219853 A 权利要求书 2/3页 为多普勒频移函数； 3.2消除环境的噪声； 首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使用高 性能的基于非线性小波变换软阈值法滤波器对高频噪声进行滤除， 其中，当小波系数w的绝对值大于等于给定阈值thr的时候，小波系数w的绝对值减去阈 值并乘以sgn函数，而当小波系数w小于给定阈值thr的时候，小波系数置为0； 选择标准使用的是启发式阈值原则，即当信噪比很小时，使用无偏似然估计原则进行 去噪，当信噪比很大时，使用固定阈值的方法进行去噪； 3.3去除静态直流分量； 静态直流分量直很大，但是并不包含所需要的人体运动信息，减去信号均值来消除静 态变量。 5.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于， 所述步骤四中，将预处理完的CSI信号与视频帧进行对应，过程为：视频的帧为20FPS，CSI信 号发射频率为100Hz，在采集视频和CSI信号记录下时间戳，将视频和CSI信号进行对应。 6.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于， 所述步骤五中，CSI‑2D模型训练过程如下： 使用学习率为0.06，训练40轮，将数据集划分为训练集：验证集＝2:8，优化器采用Adam 优化器，偏移设置为0.9； CSI‑2D模型的训练目标是减少与基于视觉的网络模型预测出来的关键点热力图的差 异，计算的损失L由多损失构成： L＝λL +λL ； 1 box 2 JHMs 其中，使用二分类损失来计算窗口损失L ，使用L2损失(平方损失)乘以元素权重来计 box 算联合位置误差L ，另外设置窗口损失权重系数λ为0.1，设置联合位置误差损失权重系 JHMs 1 数λ为1； 2 LJHMs计算公式如下： 式中 即为MSE损失公式， 表示的是视频标签数据矩阵， 表示的是模型生 成的矩阵， 为元素权重，通过使用Matthew权重来实现注意力机制； 式中Π(·)为当 函数的值为+1，当 函数的值为‑1； 将输入的CSI张量先进行上采样，然后经过一个残差块和U‑Nets，输出经过池化层，将 box和JHMs在同一个网络模型中输出，所以将池化以后的输出进过两个卷积层和BN层输出 表示张量，将输出的多尺度box图和热力图进行处理提取出每个人的二维关键点，操作如 下： 3 3 CN 114219853 A 权利要求书 3/3页 将多尺度box图中通过各个尺度分割出的人体目标框进行评估，评估出最好的作为最 终每个人体的目标检测框，然后将热力图和单个人体目标框图进行相乘操作提取出单个人 体的热力图，最终使用argmax函数回归出关键点坐标： 其中，j表示关键点的个数，p表示人数， 表示回归出第j个关键点第p个人的坐标 位置， 表示第j个关键点的热力图， 表示第p个人的目标检测框图。 7.如权利要求1或2所述的一种基于无线信号的多人三维姿态估计方法，其特征在于， 所述步骤六中，多人二维坐标生成多人3D坐标的过程为：将单人二维坐标序列经过归一化 处理，输入到2D‑3D模型中，生成单人三维坐标，联合单人二维坐标和单人三维坐标，最终在 同一个三维坐标系中生成多人三维人体骨架。 4 4 CN 114219853 A 说明书 1/7页 一种基于无线信号的多人三维姿态估计方法 技术领域 [0001] 本发明属于无线通信技术领域，涉及一种基于无线信道状态信息进行多人三维姿 态估计的方法。 背景技术 [0002] 在人体姿态估计上，基于相机的姿态估计的方法包括二维甚至三维姿态估计已经 相当成熟，但是通过相机这种传统的传感器技术受光照、遮挡以及背景限制明显，而且存在 隐私问题。 [0003] 基于无线信号对人体进行感知有着很大的潜力，近几年，无线感知在人类感知方 面的研究也有了一些成果，包括行为识别、呼吸检测、目标定位、人群计数等。基于无线信号 人类传感的两种基本方法是：一种是基于设备，要求人佩戴或携带设备/传感器；另一种无 设备，该设备使用位于环境中的传感元件来监测人类的行动，而不要求人类携带任何设备 或传感器。基于设备的方法虽然通常是准确的，但在许多重要的现实生活场景中并不实用 或方便，例如要求老年人或痴呆症患者在任何时候都携带设备。无设备的人类传感为这些 场景提供了明显的优势。 [0004] 很多研究结果证明无线信号在视频模型的监督下可以很好的完成二维以及三维 姿态估计任务。Zhao等人提出了RF‑Pose，这是一种基于编解码器的人体姿态估计深度学习 体系结构。其输入信号是发射连续调制频率波(FMCW)的天线阵列，这种信号相比商用WiFi 虽然能获取到物体离信号所在的距离，但是成本高，无法进行普及。Wang等人第一次将商用 WiFi收集的CSI信号进行人体姿态估计，获得人体掩膜，二维关节点和关节有效区域部分 (PAFs)。Guo等人同样使用深度学习从使用多方向接收CSI信号获取人体骨架。前面几种方 法仅仅获取二维姿态，Jiang等人提出了一种从CSI信号获取三维姿态的方法，通过使用 VICON系统(一种姿态捕获摄像机)来当做标记对CSI进行模型训练，直接端到端学习三维姿 态模型学习压力大，学习准确度并不高，仍然局限于原地的姿态运动。 [0005] 综上所述，目前现有技术存在的问题如下：基于CSI的人体姿态估计大多停留在二 维上，在三维姿态估计也仅仅是原地不动情况下进行三维姿态估计并且仅限单人的情况 下，而且并不能实现很好的精度。另外CSI信号对环境的干扰影响比较大，如果解决环境问 题也是一个难点。解决上述问题的难度：如何从CSI数据训练出细粒度的三维人体姿态模 型；如何实现多人情况下的姿态估计；如何消除环境噪声的影响。 发明内容 [0006] 为了克服已有技术的不足，本发明提供了一种成本较低、精度较高的基于无线信 号的多人三维姿态估计方法。 [0007] 本发明解决其技术问题所采用的技术方案是： [0008] 一种基于无线信号的多人三维姿态估计方法，包括以下步骤： [0009] 步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频 5 5 CN 114219853 A 说明书 2/7页 进行监督； [0010] 步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成 热力图和目标框图，作为无线] 步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除 CSI信号的异常点和环境噪声，去除静态直流分量； [0012] 步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输 入CSI‑2D网络进行训练； [0013] 步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个 人体的二维姿态； [0014] 步骤六，每个人体二维姿态组成视频帧输入到2D‑3D模型并结合二维坐标，生成多 人三维姿态。 [0015] 进一步，所述步骤一的过程如下： [0016] 1.1在会议室环境中布置收发设备和摄像头，使用两台装有Intel5300网卡的笔记 本进行数据收发实验，使用了6根定向天线个分成一组，同组天线cm，组成一个类似WiFi路由器设备，一组作为发射器(Kaiyun SportsT)，另一组作为接收器(R)；使用 WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率信号的信号衰 减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反射穿透的3×3 ×30的信道状态信息CSI信号。； [0017] 1.2使用相机拍摄对应的视频，过程为：使用单目RGB摄像头记录20FPS视频帧，四 个志愿者参与数据采集，分别有多人、单人的数据进行采集，动作做出包括挥手、拍手、走 路、踢腿、下蹲、跳、打拳和握手动作，保存时间戳以便与CSI信号部分进行对应。 [0018] 再进一步，所述步骤二中，将AlphaPose输出生成热力图和目标框图的过程为：将 视频帧输入AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生成的关键点 坐标经过高斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换，使用4个尺度 目标框，将这些多尺度变换的目标框坐标分别放在多个图上生成张量。两个张量将作为 CSI‑2D模型的标注来监督其学习。 [0019] 更进一步，所述步骤三中，对采集数据进行数据预处理过程如下； [0020] 3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏： [0021] [0022] 其中，H (f,t)是天线的信道状态信息， 是天线的信道状态信息的共轭， 1 H (f)和H (f)分别是其静态路径部分，K和L为多径数，α(f,t)为l路径上的幅度衰减函 1,S 2,S l 数， 为多普勒频移函数； [0023] 3.2消除环境的噪声； [0024] 首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使 用高性能的滤波器对高频噪声进行滤除，使用基于非线性小波变换软阈值法， 6 6 CN 114219853 A 说明书 3/7页 [0025] [0026] 其中，当小波系数w的绝对值大于等于给定阈值thr的时候，小波系数w的绝对值减 去阈值并乘以sgn函数，而当小波系数w小于给定阈值thr的时候，小波系数置为0。 [0027] 阈值选择标准使用的是启发式阈值原则，即当信噪比很小时，使用无偏似然估计 原则进行去噪，当信噪比很大时，使用固定阈值的方法进行去噪； [0028] 3.3去除静态直流分量； [0029] 静态直流分量直很大，但是并不包含所需要的人体运动信息，减去信号均值来消 除静态变量。 [0030] 所述步骤四中，将预处理完的CSI信号与视频帧进行对应，过程为：视频的帧为 20FPS，CSI信号发射频率为100Hz，在采集视频和CSI信号记录下时间戳，将视频和CSI信号 进行对应。 [0031] 所述步骤五中，CSI‑2D模型训练过程如下： [0032] 使用学习率为0.06，训练40轮，将数据集划分为训练集：验证集＝2:8，优化器采用 Adam优化器，偏移设置为0.9； [0033] CSI‑2D模型的训练目标是减少与基于视觉的网络模型预测出来的关键点热力图 的差异，计算的损失L由多损失构成： [0034] L＝λL +λL ； 1 box 2 JHMs [0035] 其中，使用二分类损失来计算窗口损失L ，使用L2损失(平方损失)乘以元素权重 box 来计算联合位置误差L ，另外设置窗口损失权重系数λ为0.1，设置联合位置误差损失权 JHMs 1 重系数λ为1； 2 [0036] LJHMs计算公式如下： [0037] [0038] 式中 即为MSE损失公式， 表示的是视频标签数据矩阵， 表示的是模型 生成的矩阵， 为元素权重，通过使用Matthew权重来实现注意力机制； [0039] 式中Π(·)为当 函数的值为+1，当 函数的值为‑1； [0040] 将输入的CSI张量先进行上采样，然后经过一个残差块和U‑Nets，输出经过池化 层，将box和JHMs在同一个网络模型中输出，所以将池化以后的输出进过两个卷积层和BN层 输出表示张量，将输出的多尺度box图和热力图进行处理提取出每个人的二维关键点，操作 如下： [0041] 将多尺度box图中通过各个尺度分割出的人体目标框进行评估，评估出最好的作 为最终每个人体的目标检测框，然后将热力图和单个人体目标框图进行相乘操作提取出单 个人体的热力图，最终使用argmax函数回归出关键点坐标： [0042] [0043] 其中，j表示关键点的个数，p表示人数， 表示回归出第j个关键点第p个人的 坐标位置， 表示第j个关键点的热力图， 表示第p个人的目标检测框图。 7 7 CN 114219853 A 说明书 4/7页 [0044] 所述步骤六中，多人二维坐标生成多人3D坐标的过程为：将单人二维坐标序列经 过归一化处理，输入到2D‑3D模型中，生成单人三维坐标，联合单人二维坐标和单人三维坐 标，最终在同一个三维坐标系中生成多人三维人体骨架。 [0045] 本发明提出了一种新的CSI信号进行多人三维姿态估计方法，将信号经过数据预 处理，在视频二维姿态估计深度学习模型监督下进行无线网络二维姿态和人体目标框联合 训练，将输出二维姿态结合视频帧经过预训练好的三维姿态模型输出可移动的三维姿态骨 架。 [0046] WiFi信号进行人体姿态估计将可以很好的应用到市场中，包括对一些行动不方便 的病人或者老人的活动检测和生活辅助，使用WiFi信号可以很好的避开一些隐私问题；对 在杂物丛生的环境下将人体应用到游戏、动画、AR中；另外可以在昏暗环境中对人体进行检 测。可以满足低成本和高精度的要求。 [0047] 本发明的有益效果主要表现在： [0048] 1、使用商用WiFi实现二维以及三维多人姿态估计，这种方法成本低，仅需WiFi设 备就能实现，精度高； [0049] 2、本发明使用多尺度目标框，解决了多人交互时一个人关键点占用另一个空间的 技术问题，从而提高了多人目标分割过程中多人交互时的准确度； [0050] 3、本发明在生成三维姿态方面，三维部分联合二维关节点、位置以及视频帧对动 作进行平滑处理从而提高模型的精度，减轻了直接进行端到端学习模型的压力； [0051] 4、本发明在二维姿态识别上舍弃了关键点亲和场(PAFs)，而是通过结合人体目标 框来提高模型的实时性；本发明采集了数据集包括挥手、拍手、走路、踢腿、握手、下蹲、跳、 打拳8个动作，四个志愿者参加，分单人和多人的视频和CSI数据。 附图说明 [0052] 图1是本发明实施例提供的基于信道状态信息三维姿态估计的方法流程图； [0053] 图2是本发明实施例提供的原始CSI信号的预处理流程图； [0054] 图3是CSI‑2D模块的网络结构图。 具体实施方式 [0055] 下面结合附图对本发明作进一步描述。 [0056] 参照图1～图3，一种基于无线信号的多人三维姿态估计方法，包括以下步骤： [0057] 步骤一，使用WiFi设备采集信道状态信息CSI信号，同时使用相机拍摄对应的视频 进行监督； [0058] 步骤二，将视频经过AlphaPose进行处理，输出人体目标框和人体关键点处理生成 热力图和目标框图，作为无线] 步骤三，对收集到的信号进行预处理，包括消除两个天线之间的相位偏移、去除 CSI信号的异常点和环境噪声，去除静态直流分量； [0060] 步骤四，将预处理完的CSI信号与视频帧进行对应，将五个CSI数据为一段数据输 入CSI‑2D网络进行训练； [0061] 步骤五，将CSI信号在CSI‑2D模型输出的热力图和目标框图进行处理，回归出每个 8 8 CN 114219853 A 说明书 5/7页 人体的二维姿态； [0062] 步骤六，每个人体二维姿态组成视频帧输入到2D‑3D模型并结合二维坐标，生成多 人三维姿态。 [0063] 如图1所示，本发明实施例提供的基于无线信道状态信息进行多人三维姿态估计 的方法，包括以下步骤 [0064] 步骤一，使用WiFi设备采集信道状态信息CSI信号，过程如下： [0065] 使用WiFi设备发射频率为100Hz，30个不同频率的子载波信号可以获取不同频率 信号的信号衰减和相位变化以了解传播路径的不同尺度的信息，接收端接收到经过目标反 射穿透的3×3×30的信道状态信息(CSI)信号。 [0066] 使用相机拍摄对应的视频，过程为： [0067] 使用单目RGB摄像头记录20FPS视频帧，四个志愿者参与了数据采集，分别有多人、 单人的数据进行采集，动作做出包括挥手、拍手、走路、踢腿、下蹲、跳、打拳、握手等动作，保 存时间戳以便与CSI信号部分进行对应。 [0068] 步骤二，将AlphaPose输出生成热力图和目标框图，过程如下： [0069] 将视频帧输入AlphaPose模型中生成17个人体关键点和人体目标框位置坐标，生 成的关键点坐标经过高斯模糊处理生成热力图张量；生成的目标框坐标经过多尺度变换， 本发明使用了4个尺度目标框，将这些多尺度变换的目标框坐标分别放在多个图上生成张， 两个张量将作为CSI‑2D模型的标注来监督其学习。 [0070] 步骤三，对采集数据进行数据预处理，过程如下； [0071] 3.1消除两个天线之间的相位偏移，使用了共轭相乘法来消除相偏： [0072] [0073] 其中H (f,t)是天线的信道状态信息， 是天线的信道状态信息的共轭， 1 H (f)和H (f)分别是其静态路径部分，K和L为多径数，α(f,t)为l路径上的幅度衰减函 1,S 2,S l 数， 为多普勒频移函数； [0074] 3.2消除环境的噪声； [0075] 首先使用Hample异常值滤波器去除原始信号最明显的离群点，异常值去除以后使 用高性能的滤波器对高频噪声进行滤除。使用基于非线性小波变换软阈值法， [0076] [0077] 其中，当小波系数w的绝对值大于等于给定阈值thr的时候，小波系数w的绝对值减 去阈值并乘以sgn函数，而当小波系数w小于给定阈值thr的时候，小波系数置为0； [0078] 阈值选择标准使用的是启发式阈值原则，即当信噪比很小时，使用无偏似然估计 原则进行去噪，当信噪比很大时，使用固定阈值的方法进行去噪； [0079] 3.3去除静态直流分量； [0080] 静态直流分量直很大，但是并不包含所需要的人体运动信息，可以减去信号均值 9 9 CN 114219853 A 说明书 6/7页 来消除静态变量； [0081] 步骤四，将预处理完的CSI信号与视频帧进行对应，过程如下： [0082] 视频的帧为20FPS，CSI信号发射频率为100Hz，在采集视频和CSI信号记录下时间 戳，将视频和CSI信号进行对应； [0083] 步骤五，CSI‑2D模型训练过程，过程如下： [0084] 使用学习率为0.06，训练40轮，将数据集划分为训练集：验证集＝2:8，优化器采用 Adam优化器，偏移设置为0.9； [0085] CSI‑2D模型的训练目标是减少与基于视觉的网络模型预测出来的关键点热力图 的差异，计算的损失L由多损失构成： [0086] L＝λL +λL ； 1 box 2 JHMs [0087] 其中，使用二分类损失来计算窗口损失L ，使用L2损失(平方损失)乘以元素权重 box 来计算联合位置误差L ，另外设置窗口损失权重系数λ为0.1，设置联合位置误差损失权 JHMs 1 重系数λ为1； 2 [0088] L 计算公式如下： JHMs [0089] [0090] 式中 [0091] 式中 即为MSE损失公式， 表示的是视频标签数据矩阵， 表示的是模 型生成的矩阵， 为元素权重，通过使用Matthew权重来实现注意力机制； [0092] [0093] 式中Π(·)为当 函数的值为+1，当 函数的值为‑1。 [0094] 将输入的CSI张量先进行上采样，然后经过一个残差块和U‑Nets，输出经过池化 层，将box和JHMs在同一个网络模型中输出，所以将池化以后的输出进过两个卷积层和BN层 输出表示张量。将输出的多尺度box图和热力图进行处理提取出每个人的二维关键点，操作 如下： [0095] 将多尺度box图中通过各个尺度分割出的人体目标框进行评估，评估出最好的作 为最终每个人体的目标检测框，然后将热力图和单个人体目标框图进行相乘操作提取出单 个人体的热力图，最终使用argmax函数回归出关键点坐标： [0096] [0097] 其中，j表示关键点的个数，p表示人数， 表示回归出第j个关键点第p个人的 坐标位置， 表示第j个关键点的热力图， 表示第p个人的目标检测框图； [0098] 步骤六，多人二维坐标生成多人3D坐标，过程如下： [0099] 将单人二维坐标序列经过归一化处理，输入到2D‑3D模型中，生成单人三维坐标， 联合单人二维坐标和单人三维坐标，最终在同一个三维坐标系中生成多人三维人体骨架。 [0100] 下面结合实验对本发明实验结果进行详细的描述： [0101] 一、实验环境和数据采集：在10m*15m的会议室环境中布置收发设备和摄像头，使 10 10 CN 114219853 A 说明书 7/7页 用两台装有Intel5300网卡的笔记本进行数据收发实验，使用了6根定向天线个分 成一组，组成一个类似WiFi路由器设备，一组作为发射器(T)，另一组作为接收器(R)，收发 天线GHz为中心的记录符合802.11nWiFi通信标准的正交频 分复用信号(OFDM)WiFi信号，有30个子载波，发射频率为100Hz，30个不同频率的子载波信 号可以获取不同频率信号的信号衰减和相位变化以了解传播路径的不同尺度的信息，接收 端接收到经过目标反射穿透的3×3×30的信道状态信息(CSI)信号。在收集CSI信号的同 时，在接收端使使用单目RGB摄像头记录20FPS视频帧。 [0102] 四个志愿者参与了数据采集，志愿者在分别多人、单人，在收发天线之间做出包括 挥手、拍手、走路、踢腿、下蹲、跳、打拳、握手等动作，保存时间戳以便视频帧时间与CSI信号 收集时间进行对应。 [0103] 二、数据处理：将CSI采集工具获得的*.dat文件在MATLAB数据处理工具中进行数 据预处理，具体包括：消除两个天线之间的相位偏移；Hample异常值滤波器去除原始信号最 明显的离群点；基于非线性小波变换软阈值法去除噪声；去除静态直流分量。 [0104] 三、模型训练：将采集到的CSI数据制作成数据集，以训练集:验证集＝2:8划分数 据集，在训练中使用了具有β1＝0.9，β2＝0.999的Adam优化器。在计算MW权重时中使用了k ＝1，b＝1。这些网络被训练了40轮。 [0105] 本发明在模型评估上通过视频模型生成的二维和三维关节点来作为真实值对整 个模型进行评估。 [0106] 表1为本模型在多人数据集上各个关键点在平移、旋转和比例中与真实值对齐后 的误差(P‑MPJPE)结果，P‑MPJPE越低越好； [0107] [0108] 表1 [0109] 关节点序列分别表示:1：中臀；2：左臀；3：左膝；4：左踝；5：右臀:；6：右膝；7：右踝； 8：脊柱、9：胸；10：颈；11：头；12：左肩；13：左肘；14：左腕；15：右肩；16：右肘；17：右腕。 [0110] 从表1中可以看出，本发明方法的总体P‑MPJPE可以达到30.4mm，相比WiPose的 37.9mm提高了7.5mm。 [0111] 本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用 途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范 围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。 11 11 CN 114219853 A 说明书附图 1/2页 图1 12 12 CN 114219853 A 说明书附图 2/2页 图2 图3 13 13

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　提供农业、铸造、给排水、测量、发电等专利信息的免费检索和下载；后续我们还将提供提供专利申请、专利复审、专利交易、专利年费缴纳、专利权恢复等更多专利服务。并持续更新最新专利内容，完善相关专利服务，助您在专利查询、专利应用、专利学习查找、专利申请等方面用得开心、用得满意！

　　2026财达证券股份有限公司四川分公司招聘1人笔试备考题库及答案解析.docx

　　有理数的乘方（4种题型）-2023年新七年级数学（浙教版）（解析版）.pdf

　　2026财达证券股份有限公司深圳分公司招聘1人笔试参考题库及答案解析.docx

　　QZTT 2102-2016 彩钢板机房、一体化(集装箱)机房技术要求(V2.0).pdf

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者