本发明提供一种基于双目相机的人体关键点三维坐标检测系统及方法，涉及视觉三维测量技术领域，包括：获取第一图像和第二图像并识别得到多个模板关键点和多个目标关键点；对于每一个模板关键点，在第一图像中建立对应的模板匹配块，随后根据模板关键点和关联的目标关键点于第二图像中搜寻对应的多个候选匹配点并建立对应的候选匹配块，从各候选匹配块中筛选出对应的目标匹配块，并将目标匹配块关联的候选匹配点作为该模板关键点的目标匹配点；对于每个模板关键点，根据模板关键点和对应的目标匹配点计算得到对应的视差，随后利用视差处理得

　　(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116952128 A (43)申请公布日 2023.10.27 (21)申请号 8.8 (22)申请日 2023.06.20 (71)申请人 乐歌人体工学科技股份有限公司 地址 315000 浙江省宁波市鄞州区经济开 发区启航南路588号（鄞州区瞻岐镇） (72)发明人 项乐宏王翀夏银水郑瑜杰 张海川 (74)专利代理机构 上海申新律师事务所 31272 专利代理师 吴轶淳 (51)Int.Cl. G01B 11/00 (2006.01) G06V 10/24 (2022.01) G06V 10/46 (2022.01) G06V 10/75 (2022.01) G06V 40/10 (2022.01) 权利要求书3页 说明书7页 附图3页 (54)发明名称 一种基于双目相机的人体关键点三维坐标 检测系统及方法 (57)摘要 本发明提供一种基于双目相机的人体关键 点三维坐标检测系统及方法，涉及视觉三维测量 技术领域，包括 ：获取第一图像和第二图像并识 别得到多个模板关键点和多个目标关键点；对于 每一个模板关键点，在第一图像中建立对应Kaiyun Sports的模 板匹配块，随后根据模板关键点和关联的目标关 键点于第二图像中搜寻对应的多个候选匹配点 并建立对应的候选匹配块，从各候选匹配块中筛 选出对应的目标匹配块，并将目标匹配块关联的 候选匹配点作为该模板关键点的目标匹配点；对 于每个模板关键点，根据模板关键点和对应的目 A 标匹配点计算得到对应的视差，随后利用视差处 8 理得到模板关键点在相机坐标系下的三维坐标。 2 1 2 有益效果是得到的人体关键点三维坐标 ，误差 5 9 6 小，精度高。 1 1 N C CN 116952128 A 权利要求书 1/3页 1.一种基于双目相机的人体关键点三维坐标检测系统，其特征在于，在用户身前设置 有所述双目相机，包括： 识别模块，用于获取双目相机对用户拍摄得到的第一图像和第二图像，并分别识别所 述第一图像和所述第二图像中的人体骨架得到所述第一图像中的多个模板关键点和所述 第二图像中的多个目标关键点并对应关联； 匹配模块，连接所述识别模块，用于对于每一个所述模板关键点，在所述第一图像中建 立对应的模板匹配块，随后根据所述模板关键点和关联的所述目标关键点于所述第二图像 中搜寻与所述模板关键点对应的多个候选匹配点并建立对应的候选匹配块，并从各所述候 选匹配块中筛选出与所述模板匹配块差异最小的作为对应的目标匹配块，并将所述目标匹 配块关联的所述候选匹配点作为对应的所述模板关键点的目标匹配点； 坐标计算模块，连接所述匹配模块，用于对于每个所述模板关键点，根据所述模板关键 点和对应的所述目标匹配点计算得到对应的视差，随后利用所述视差和所述模板关键点于 所述第一图像中的图像坐标处理得到所述模板关键点在相机坐标系下的三维坐标。 2.根据权利要求1所述的人体关键点三维坐标检测系统，其特征在于，所述识别模块包 括： 第一存储单元，用于存储预先保存的骨架识别模型； 骨架识别单元，连接所述第一存储单元，用于分别获取所述第一图像和所述第二图像 并输入所述骨架识别模型中，将所述第一图像中识别到的骨架上的各骨架关节点作为所述 模板关键点，将所述第二图像中识别到的骨架上的各骨架关节点作为所述目标关键点； 关联单元，连接所述骨架识别单元，用于将识别出的人体骨架中相同部位的骨架关节 点对应的所述模板关键点和所述目标关键点对应关联。 3.根据权利要求1所述的人体关键点三维坐标检测系统，其特征在于，所述匹配模块包 括： 第二存储单元，用于存储预先设置的标准边长，以及用户与所述双目相机的人机距离； 匹配块建立单元，用于对于每一个所述模板关键点，以所述模板关键点为矩形中心，以 所述标准边长为匹配块边长建立对应的所述模块匹配块； 搜寻单元，连接所述匹配块建立单元和所述第二存储单元，用于对于每一个所述模板 关键点，根据所述模板关键点于所述第一图像中的纵坐标和对应的所述目标关键点于所述 第二图像中的横坐标在所述第二图像中得到所述模板关键点对应的初始匹配点，根据所述 人机距离计算得到搜索半径，随后以所述初始匹配点为起始点，并以所述搜索半径在所述 初始匹配点的横坐标轴上搜寻得到多个候选匹配点，并以各所述候选匹配点为矩形中心以 所述标准边长为匹配块边长建立对应的所述候选匹配块； 匹配单元，分别连接所述搜寻单元和所述匹配块建立单元，用于对于每一个所述模板 匹配块，与对应的各所述候选匹配块分别计算差异值，并根据各所述差异值得到与所述模 板关键点差异最小的所述候选匹配块作为对应的目标匹配块，将所述目标匹配块关联的所 述目标匹配点作为所述模板匹配块对应的所述模板关键点对应的所述目标匹配点。 4.根据权利要求1所述的人体关键点三维坐标检测系统，其特征在于，所述坐标计算模 块包括： 视差计算单元，用于对于每一个所述模板关键点，根据所述模板关键点和对应的所述 2 2 CN 116952128 A 权利要求书 2/3页 目标匹配点计算得到对应的所述视差； 坐标计算单元，连接所述视差计算单元，用于对于每一个所述模板关键点，根据对应的 所述视差计算得到所述模板关键点在所述相机坐标系下的Z轴坐标，并且根据所述模板关 键点在所述第一图像中的所述图像坐标和所述Z轴坐标进行坐标系转化得到所述相机坐标 系下的X轴坐标和Y轴坐标，将所述X轴坐标、所述Y轴坐标和所述Z轴坐标作为所述模板关键 点的所述三维坐标。 5.根据权利要求3所述的人体关键点三维坐标检测系统，其特征在于，所述匹配单元中 所述差异值的计算公式为： 其中，A表示所述候选匹配块，B表示所述模板匹配块，w和h分别表示匹配块的宽和高。 下标i,j表示匹配块中的第i行第j列的元素。 6.根据权利要求3所述的人体关键点三维坐标检测系统，其特征在于，所述搜索半径的 计算公式为： 其中，R表示所述搜索半径，f表示所述双目相机在x轴上的归一化焦距，t表示所述双 x x 目相机的光心的距离,n为预设系数n∈(1.5，2)，D为所述人机距离。 7.根据权利要求4所述的人体关键点三维坐标检测系统，其特征在于，所述坐标计算单 元中所述Z轴坐标的计算公式为： 其中，t表示所述双目相机的光心的距离，d表示所述模板关键点和对应的所述目标匹 x 配点之间的视差，f表示所述双目相机在x轴上的归一化焦距。 x 8.根据权利要求4所述的人体关键点三维坐标检测系统，其特征在于，所述坐标计算单 元中坐标系转化的公式为： 其中，f ，f表示所述双目相机x轴和y轴上的归一化焦距，u ，v表示x轴和y轴上的像素 x y 0 0 偏移量，X、Y、Z分别表示所述模板关键点的所述X轴坐标、所述Y轴坐标和所述Z轴坐标，x为 所述模板关键点在所述第一图像中的X轴坐标，y为所述模板关键点在所述第一图像中的Y 轴坐标。 9.根据权利要求4所述的人体关键点三维坐标检测系统，其特征在于，所述视差计算单 元中所述视差的计算公式为： d＝x‑x 其中，x为所述模板关键点在所述第一图像中的X轴坐标，x为所述目标匹配点在所述 第二图像中的X轴坐标。 3 3 CN 116952128 A 权利要求书 3/3页 10.一种基于双目相机的人体关键点三维坐标检测方法，其特征在于，应用于如权利要 求1‑9中任意一项所述的人体关键点三维坐标检测系统，则所述人体关键点三维坐标检测 方法包括； 步骤S1，所述人体关键点三维坐标检测系统获取双目相机对用户拍摄得到的第一图像 和第二图像，并分别识别所述第一图像和所述第二图像中的人体骨架得到所述第一图像中 的多个模板关键点和所述第二图像中的多个目标关键点并对应关联； 步骤S2，所述人体关键点三维坐标检测系统对于每一个所述模板关键点，根据在所述 第一图像中建立对应的模板匹配块，随后根据所述模板关键点和关联的所述目标关键点于 所述第二图像中搜寻与所述模板关键点对应的多个候选匹配点并建立对应的候选匹配块， 并从各所述候选匹配块中筛选出与所述模板匹配块差异最小的作为对应的目标匹配块，并 将所述目标匹配块关联的所述候选匹配点作为对应的所述模板关键点的目标匹配点； 步骤S3，所述人体关键点三维坐标检测系统对于每个所述模板关键点，根据所述模板 关键点和对应的所述目标匹配点计算得到对应的视差，随后利用所述视差和所述模板关键 点于所述第一图像中的图像坐标处理得到所述模板关键点在相机坐标系下的三维坐标。 4 4 CN 116952128 A 说明书 1/7页 一种基于双目相机的人体关键点三维坐标检测系统及方法 技术领域 [0001] 本发明涉及视觉三维测量技术领域，尤其涉及一种基于双目相机的人体关键点三 维坐标检测系统及方法。 背景技术 [0002] 双目视觉相机参照人类利用两眼观察同一物件的视差得到深度感知的原理，从而 实现对画面中物体深度的估计。在理想状态下，距离相机较近的中性笔笔帽在左右相机画 面的横轴有明显距离；而距离相机较远的玻璃窗在左右画面中的横轴基本一致。基于这种 方法，可以得到中性笔离相机更近而玻璃窗离相机更远。利用同一物体上的同一个部分在 横轴上的距离(下称视差)，同时结合相机的焦距、距离等信息，可计算得到它们和相机之间 的大致距离。 [0003] 而现有技术中，对于基于双目相机同一时刻拍摄的两张图片计算视差时常常会因 为对两张图片中对应关键点匹配效果不好而出现较大的误差，导致最终计算得到的人体三 维坐标不准确。 发明内容 [0004] 针对现有技术中存在的问题，本发明提供一种基于双目相机的人体关键点三维坐 标检测系统，在用户身前设置有所述双目相机，包括： [0005] 识别模块，用于获取双目相机对用户拍摄得到的第一图像和第二图像，并分别识 别所述第一图像和所述第二图像中的人体骨架得到所述第一图像中的多个模板关键点和 所述第二图像中的多个目标关键点并对应关联； [0006] 匹配模块，连接所述识别模块，用于对于每一个所述模板关键点，根据在所述第一 图像中建立对应的模板匹配块，随后根据所述模板关键点和关联的所述目标关键点于所述 第二图像中搜寻与所述模板关键点对应的多个候选匹配点并建立对应的候选匹配块，并从 各所述候选匹配块中筛选出与所述模板匹配块差异最小的作为对应的目标匹配块，并将所 述目标匹配块关联的所述候选匹配点作为对应的所述模板关键点的目标匹配点； [0007] 坐标计算模块，连接所述匹配模块，用于对于每个所述模板关键点，根据所述模板 关键点和对应的所述目标匹配点计算得到对应的视差，随后利用所述视差和所述模板关键 点于所述第一图像中的图像坐标处理得到所述模板关键点在相机坐标系下的三维坐标。 [0008] 优选的，所述识别模块包括： [0009] 第一存储单元，用于存储预先保存的骨架识别模型； [0010] 骨架识别单元，连接所述第一存储单元，用于分别获取所述第一图像和所述第二 图像并输入所述骨架识别模型中，将所述第一图像中识别到的骨架上的各骨架关节点作为 所述模板关键点，将所述第二图像中识别到的骨架上的各骨架关节点作为所述目标关键 点； [0011] 关联单元，连接所述骨架识别单元，用于将识别出的人体骨架中相同位置的骨架 5 5 CN 116952128 A 说明书 2/7页 关节点对应的所述模板关键点和所述目标关键点对应关联。 [0012] 优选的，所述匹配模块包括： [0013] 第二存储单元，用于存储预先设置的标准边长，以及用户与所述双目相机的人机 距离； [0014] 匹配块建立单元，用于对于每一个所述模板关键点，以所述模板关键点为矩形中 心，以所述标准边长为匹配块边长建立对应的所述模块匹配块； [0015] 搜寻单元，连接所述匹配块建立单元和所述第二存储单元，用于对于每一个所述 模板关键点，根据所述模板关键点于所述第一图像中的纵坐标和对应的所述目标关键点于 所述第二图像中的横坐标在所述第二图像中得到所述模板关键点对应的初始匹配点，根据 所述人机距离计算得到搜索半径，随后以所述初始匹配点为起始点，并以所述搜索半径在 所述初始匹配点的横坐标轴上搜寻得到多个候选匹配点，并以各所述候选匹配点为矩形中 心以所述标准边长为匹配块边长建立对应的所述候选匹配块； [0016] 匹配单元，分别连接所述搜寻单元和所述匹配块建立单元，用于对于每一个所述 模板匹配块，与对应的各所述候选匹配块分别计算差异值，并根据各所述差异值得到与所 述模板关键点差异最小的所述候选匹配块作为对应的目标匹配块，将所述目标匹配块关联 的所述目标匹配点作为所述模板匹配块对应的所述模板关键点对应的所述目标匹配点。 [0017] 优选的，所述坐标计算模块包括： [0018] 视差计算单元，用于对于每一个所述模板关键点，根据所述模板关键点和对应的 所述目标匹配点计算得到对应的所述视差； [0019] 坐标计算单元，连接所述视差计算单元，用于对于每一个所述模板关键点，根据对 应的所述视差计算得到所述模板关键点在所述相机坐标系下的Z轴坐标，并且根据所述模 板关键点在所述第一图像中的所述图像坐标和所述Z轴坐标进行坐标系转化得到所述相机 坐标系下的X轴坐标和Y轴坐标，将所述X轴坐标、所述Y轴坐标和所述Z轴坐标作为所述模板 关键点的所述三维坐标。 [0020] 优选的，所述匹配单元中所述差异值的计算公式为： [0021] [0022] 其中，A表示所述候选匹配块，B表示所述模板匹配块，w和h分别表示匹配块的宽和 高。下标i,j表示匹配块中的第i行第j列的元素。 [0023] 优选的，所述搜索半径的计算公式为： [0024] [0025] 其中，R表示所述搜索半径，f表示所述双目相机在x轴上的归一化焦距，t表示所 x x 述双目相机的光心的距离,n为预设系数n∈(1.5，2)，D为所述人机距离。 [0026] 优选的，所述坐标计算单元中所述Z轴坐标的计算公式为： [0027] [0028] 其中，t表示所述双目相机的光心的距离，d表示所述模板关键点和对应的所述目 x 6 6 CN 116952128 A 说明书 3/7页 标匹配点之间的视差，f表示所述双目相机在x轴上的归一化焦距。 x [0029] 优选的，所述坐标计算单元中坐标系转化的公式为： [0030] [0031] 其中，f ，f表示所述双目相机x轴和y轴上的归一化焦距，u ，v表示x轴和y轴上的 x y 0 0 像素偏移量，X、Y、Z分别表示所述模板关键点的所述X轴坐标、所述Y轴坐标和所述Z轴坐标， x为所述模板关键点在所述第一图像中的X轴坐标，y为所述模板关键点在所述第一图像中 的Y轴坐标。 [0032] 优选的，所述视差计算单元中所述视差的计算公式为： [0033] d＝x‑x [0034] 其中，x为所述模板关键点在所述第一图像中的X轴坐标，x为所述目标匹配点在 所述第二图像中的X轴坐标。 [0035] 本发明还提供一种基于双目相机的人体关键点三维坐标检测方法，应用于上述的 人体关键点三维坐标检测系统，则所述人体关键点三维坐标检测方法包括； [0036] 步骤S1，所述人体关键点三维坐标检测系统获取双目相机对用户拍摄得到的第一 图像和第二图像，并分别识别所述第一图像和所述第二图像中的人体骨架得到所述第一图 像中的多个模板关键点和所述第二图像中的多个目标关键点并对应关联； [0037] 步骤S2，所述人体关键点三维坐标检测系统对于每一个所述模板关键点，根据在 所述第一图像中建立对应的模板匹配块，随后根据所述模板关键点和关联的所述目标关键 点于所述第二图像中搜寻与所述模板关键点对应的多个候选匹配点并建立对应的候选匹 配块，并从各所述候选匹配块中筛选出与所述模板匹配块差异最小的作为对应的目标匹配 块，并将所述目标匹配块关联的所述候选匹配点作为对应的所述模板关键点的目标匹配 点； [0038] 步骤S3，所述人体关键点三维坐标检测系统对于每个所述模板关键点，根据所述 模板关键点和对应的所述目标匹配点计算得到对应的视差，随后利用所述视差和所述模板 关键点于所述第一图像中的图像坐标处理得到所述模板关键点在相机坐标系下的三维坐 标。 [0039] 上述技术方案具有如下优点或有益效果：提出了一种关键点匹配方法，在识别出 骨架的关键点后，再以匹配块的方式进一步在两幅图像中进行关键点匹配以得到对应的视 差用于计算人体关键点的三维坐标，具有速度快，精度高，误差小的优点。 附图说明 [0040] 图1为本发明的较佳的实施例中，一种基于双目相机的人体关键点三维坐标检测 系统的结构示意图； [0041] 图2为本发明的较佳的实施例中，一种基于双目相机的人体关键点三维坐标检测 方法的流程示意图； [0042] 图3为本发明的较佳的实施例中，骨架识别后的第一图像和第二图像。 7 7 CN 116952128 A 说明书 4/7页 具体实施方式 [0043] 下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方 式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。 [0044] 本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于双 目相机的人体关键点三维坐标检测系统，在用户身前设置有双目相机，如图1所示，包括： [0045] 识别模块1，用于获取双目相机对用户拍摄得到的第一图像和第二图像，并分别识 别第一图像和第二图像中的人体骨架得到第一图像中的多个模板关键点和第二图像中的 多个目标关键点并对应关联； [0046] 匹配模块2，连接识别模块1，用于对于每一个模板关键点，根据在第一图像中建立 对应的模板匹配块，随后根据模板关键点和关联的目标关键点于第二图像中搜寻与模板关 键点对应的多个候选匹配点并建立对应的候选匹配块，并从各候选匹配块中筛选出与模板 匹配块差异最小的作为对应的目标匹配块，并将目标匹配块关联的候选匹配点作为对应的 模板关键点的目标匹配点； [0047] 坐标计算模块3，连接匹配模块2，用于对于每个模板关键点，根据模板关键点和对 应的目标匹配点计算得到对应的视差，随后利用视差和模板关键点于第一图像中的图像坐 标处理得到模板关键点在相机坐标系下的三维坐标。 [0048] 具体的，本实施例中，在智能升降桌升降时需要根据桌前的用户来调节最终的升 降位置，此时就需要检测得到用户准确的三维坐标，本发明提供一种基于双目相机的人体 关键点三维坐标检测系统，在升降桌上设置双目相机，检测得到用户的三维坐标，用于升降 桌的升降。 [0049] 首先双目相机对用户进行拍摄，得到左右视觉的第一图像和第二图像，其中一张 作为模板图像，另外一张作为目标图像，随后对两张图像中的人体骨架相同部位进行匹配， 以匹配块的方式在目标图像中找到与模板图像中模板关键点对应的目标匹配点，最后根据 各个模板关键点和模板关键点对应的目标匹配点得到对应的视差，最后根据视差分别算出 各模板关键点在相机坐标系下的三维坐标。 [0050] 本发明较佳的实施例中，如图1所示，识别模块1包括： [0051] 第一存储单元11，用于存储预先保存的骨架识别模型； [0052] 骨架识别单元12，连接第一存储单元11，用于分别获取第一图像和第二图像并输 入骨架识别模型中，将第一图像中识别到的骨架上的各骨架关节点作为模板关键点，将第 二图像中识别到的骨架上的各骨架关节点作为目标关键点； [0053] 关联单元13，连接骨架识别单元12，用于将识别出的人体骨架中相同位置的骨架 关节点对应的模板关键点和目标关键点对应关联。 [0054] 具体的，本实施例中，如图3所示，先对两幅图像分别进行人体骨架识别，分别在模 板图像中识别出人体骨架并标注出左右手肘、脖子、左右肩膀等骨架关节点作为模板关键 点，以及在目标图像中识别人体骨架并标注出左右手肘、脖子、左右肩膀等骨架关节点作为 目标关键点，并将相同位置的模板关键点和目标关键点对应关联。 [0055] 本发明较佳的实施例中，如图1所示，匹配模块2包括： [0056] 第二存储单元21，用于存储预先设置的标准边长，以及用户与双目相机的人机距 离； 8 8 CN 116952128 A 说明书 5/7页 [0057] 匹配块建立单元22，用于对于每一个模板关键点，以模板关键点为矩形中心，以标 准边长为匹配块边长建立对应的模块匹配块； [0058] 搜寻单元23，连接匹配块建立单元23和第二存储短语21，用于对于每一个模板关 键点，根据模板关键点于第一图像中的纵坐标和对应的目标关键点于第二图像中的横坐标 在第二图像中得到模板关键点对应的初始匹配点，根据人机距离计算得到搜索半径，随后 以初始匹配点为起始点，并以搜索半径在初始匹配点的横坐标轴上搜寻得到多个候选匹配 点，并以各候选匹配点为矩形中心以标准边长为匹配块边长建立对应的候选匹配块； [0059] 匹配单元24，分别连接搜寻单元23和匹配块建立单元22，用于对于每一个模板匹 配块，与对应的各候选匹配块分别计算差异值，并根据各差异值得到与模板关键点差异最 小的候选匹配块作为对应的目标匹配块，将目标匹配块关联的目标匹配点作为模板匹配块 对应的模板关键点对应的目标匹配点。 [0060] 本发明较佳的实施例中，搜寻单元中搜索半径的计算公式为： [0061] [0062] 其中，R表示搜索半径，f表示双目相机在x轴上的归一化焦距，t表示双目相机的 x x 光心的距离,n为预设系数n∈(1.5，2),D为人机距离。 [0063] 具体的，本实施例中，在目标图像中搜寻目标匹配点时，以匹配块的方式搜寻，先 以各模板关键点为矩形中心，以标准边长为匹配块边长分别建立对应的模板匹配块，关于 匹配块的标准边长N,需要根据实际情况设置，通常需要考虑匹配精度与算法运行的速度。N 越大，匹配精度越高，算法速度越慢；N越小，匹配精度越低，算法运行速度越快。另外，我们 建议将N设置为奇数，在这里N可以设置为{7，9，11，13}等。随后在目标图像中以模板关键点 于模板图像中的纵坐标和对应的目标关键点于目标图像中的横坐标在目标图像中得到模 板关键点对应的初始匹配点。 [0064] 一般处于在升降桌前的用户与双目相机的距离为桌板的宽度(可能实际会有几公 分误差但对最后的结果影响可以忽略)，将其作为人机距离，以前述公式可以计算出一个搜 索半径R，R为根据 计算得到的预估视差再乘上预设系数n得到的，根据测试n取值范围 为1.5‑2之间均可。以R为搜索半径，在初始匹配点的X轴方向上进行搜寻得到各候选匹配 点，搜寻时同样的，也以候选匹配点为矩形中心，以预设的标准边长N为匹配块边长建立匹 配块，对于一个模板匹配块可以得到多个候选匹配块，随后分别计算模板匹配块和各个对 应的候选匹配块之间的差异值。 [0065] 本发明较佳的实施例中，匹配单元中差异值的计算公式为： [0066] [0067] 其中，A表示候选匹配块，B表示模板匹配块，w和h分别表示匹配块的宽和高。下标 i,j表示匹配块中的第i行第j列的元素。 [0068] 具体的，本实施例中，计算两匹配块之间的差异值时，匹配块的宽高分别以像素为 单位，按照行列遍历匹配块中的像素点，分别计算两匹配块中各行各列中对应的的像素点 9 9 CN 116952128 A 说明书 6/7页 之间的差异再求和即可得到两匹配块之间的差异值。 [0069] 计算得到模板匹配块和各个对应的候选匹配块之间的差异值后，从中选择差异值 最小的候选匹配块作为该模板匹配块对应的目标匹配块，也就等同于，搜寻到了模板关键 点对应的目标匹配点。 [0070] 本发明较佳的实施例中，坐标计算模块3包括： [0071] 视差计算单元31，用于对于每一个模板关键点，根据模板关键点和对应的目标匹 配点计算得到对应的视差； [0072] 坐标计算单元32，连接视差计算单元33，用于对于每一个模板关键点，根据对应的 视差计算得到模板关键点在相机坐标系下的Z轴坐标，并且根据模板关键点在第一图像中 的图像坐标和Z轴坐标进行坐标系转化得到相机坐标系下的X轴坐标和Y轴坐标，将X轴坐 标、Y轴坐标和Z轴坐标作为模板关键点的三维坐标。 [0073] 本发明较佳的实施例中，视差计算单元31中，视差的计算公式为： [0074] d＝x‑x [0075] 其中，x为模板关键点在模板图像中的X轴坐标，x为目标匹配点在目标图像中的X 轴坐标。 [0076] 本发明较佳的实施例中，坐标计算单元中Z轴坐标的计算公式为： [0077] [0078] 其中，t表示双目相机的光心的距离，d表示模板关键点和对应的目标匹配点的视 x 差，f 表示双目相机在x轴上的归一化焦距。 x [0079] 本发明较佳的实施例中，坐标计算单元31中，坐标系转化的公式为： [0080] [0081] 其中，f ，f表示双目相机x轴和y轴上的归一化焦距，u ，v表示x轴和y轴上的像素 x y 0 0 偏移量，X、Y、Z分别表示模板关键点的X轴坐标、Y轴坐标和Z轴坐标，x为模板关键点在模板 图像中的X轴坐标，y为模板关键点在模板图像中的Y轴坐标。 [0082] 具体的，本实施例中，各个模板关键点都以前述的方式搜寻到了对应的目标匹配 点，那么此时可以计算得到各个模板关键点和对应的目标匹配点之间的视差。 [0083] 随后，每个模板关键点都计算得到了对应的视差之后，以其中一个模板关键点为 例，通过 [0084] [0085] 可以计算得到该模板关键点在相机坐标系下的Z轴坐标。 [0086] 由于人体骨架检测模型得到模板关键点的二维坐标(x,y)是在图像中以像素值为 单位的坐标，而前面获得的Z轴坐标Z以长度(毫米)为单位，单位度量的不统一将会造成后 续结果的误差，因此需要对单位进行转换。根据相机标定的相关理论以及所读取到的RGB相 机的内参，将RGB图像上的二维坐标(x,y)转换为相机坐标系下的坐标(X,Y)。通过如下公式 进行转化： 10 10 CN 116952128 A 说明书 7/7页 [0087] [0088] [0089] 其中f ，f表示x轴和y轴上的归一化焦距，u ，v表示x轴和y轴上的像素偏移量。 x y 0 0 [0090] 到此即可计算出该模板关键点在相机坐标下的三维坐标。 [0091] 通过上述方法，分别计算各个模板关键点在相机坐标系下的三维坐标，即可得到 人体骨架上左右手肘、脖子、左右肩膀各骨架关节点在相机坐标系下的三维坐标。 [0092] 本发明还提供一种基于双目相机的人体关键点三维坐标检测方法，应用于上述的 人体关键点三维坐标检测系统，则人体关键点三维坐标检测方法，如图2所示包括: [0093] 步骤S1，人体关键点三维坐标检测系统获取双目相机对用户拍摄得到的第一图像 和第二图像，并分别识别第一图像和第二图像中的人体骨架得到第一图像中的多个模板关 键点和第二图像中的多个目标关键点并对应关联； [0094] 步骤S2，人体关键点三维坐标检测系统对于每一个模板关键点，根据在第一图像 中建立对应的模板匹配块，随后根据模板关键点和关联的目标关键点于第二图像中搜寻与 模板关键点对应的多个候选匹配点并建立对应的候选匹配块，并从各候选匹配块中筛选出 与模板匹配块差异最小的作为对应的目标匹配块，并将目标匹配块关联的候选匹配点作为 对应的模板关键点的目标匹配点； [0095] 步骤S3，人体关键点三维坐标检测系统对于每个模板关键点，根据模板关键点和 对应的目标匹配点计算得到对应的视差，随后利用视差和模板关键点于第一图像中的图像 坐标处理得到模板关键点在相机坐标系下的三维坐标。 [0096] 以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对 于本领域技术人员而言人体三维坐标系，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和 显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。 11 11 CN 116952128 A 说明书附图 1/3页 图1 12 12 CN 116952128 A 说明书附图 2/3页 图2 13 13 CN 116952128 A 说明书附图 3/3页 图3 14 14

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　新疆警察学院《地理课程与教学论实践》2023-2024学年第二学期期末试卷.doc

　　2026年珠宝首饰行业报告：柔性制造助力按需定制生产发展[001].docx

　　浙江省杭州市江干区实验中学2025-2026学年初三2月网上月考数学试题含解析.doc

　　T∕GDACM 0156-2025 中医康复指南 中风（脑卒中）.docx

　　深度解析(2026)《GBT 2408-2021塑料 燃烧性能的测定 水平法和垂直法》.pptx

　　《GBT 46980-2025光伏组件防火性能试验方法》培训.pptx

　　深度解析(2026)GBT 8627-2007《建筑材料燃烧或分解的烟密度试验方法》——从标准解读到未来防火安全趋势前瞻.pptx

　　2025年课件-FOCUS-PDCA循环提高护理人员用药安全查对执行率PPT质量持续改进经典优秀案例分享-新版.pdf

　　深度解析(2026)《GBT 2406.2-2009塑料 用氧指数法测定燃烧行为 第2部分：室温试验》.pptx

　　宣贯培训(2026年)《GBT 20285-2006材料产烟毒性危险分级》：构筑生命安全防线，引领材料防火抑烟新纪元.pptx

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者