导航：X技术最新专利计算;推算;计数设备的制造及其应用技术

　　本专利针对传统三维人体建模依赖多视角数据或复杂设备的问题，提出基于单视角点云数据的建模方法。通过训练神经网络，结合预设三维人体模板，利用单视角点云与模板间的对应关系进行形变，实现高效三维模型重建与特征提取，降低了设备成本和操作复杂度。

　　1.本发明涉及信息采集技术领域，尤其涉及一种人体三维模型构建方法和人体特征信息获取方法。

　　2.目前的3d人体模型的构建都是基于三维人体扫描设备采集的数据构建的，然而现有的三维人体扫描设备价格昂贵，在大多数需要人体模型信息的采集领域中还未普及使用。目前在大多数人体信息采集领域中使用的基本都是单视角人体信息采用设备，例如采用rgb-d单目相机来采集单视角人体信息，基于采集的单视角人体信息无法构建完整的人体3d模型，这样对于某些人体三维模型上的位置信息就无法准确的获取。

　　3.本发明提供一种人体三维模型构建方法和人体特征信息获取方法，用以解决现有技术中基于单视角人体信息无法准确获取人体特征信息的技术问题。

　　6.将所述单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；所述人体模型构建网络用于根据所述单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对所述三维人体模板数据进行变形，得到所述待测者的三维人体模型。

　　7.根据本发明提供的一种人体三维模型构建方法，所述人体模型构建网络通过以下方法训练获取：

　　9.删除所述三维人体完整点云数据的部分区域数据，得到对应的单视角人体点云训练数据；

　　11.依据所述全局特征约束损失及重建损失，将所述单视角人体点云训练数据、完整三维人体点云训练数据和三维人体模板数据输入到人体模型构建网络中，以训练所述人体模型构建网络；使得所述人体模型构建网络获取所述单视角人体点云数据和三维人体模板数据之间的对应关系；

　　12.所述三维人体模板数据为将标准三维人体数据按照预设的存储格式进行存储得到。

　　13.根据本发明提供的一种人体三维模型构建方法，所述人体模型构建网络包括编码器和解码器；

　　14.所述编码器用于对输入的完整人体点云训练数据和单视角人体点云训练数据分别进行特征提取，得到对应的全局特征；所述全局特征约束损失用于表示所述编码器输出

　　的所述完整人体点云训练数据对应的全局特征和所述单视角人体点云训练数据对应的全局特征之间的差异，全局特征约束损失越小，表示单视角人体模型特征越接近于完整人体特征；

　　15.所述解码器用于对所述三维人体模板数据按照输入的全局特征进行姿态和体型上的变形。

　　16.根据本发明提供的一种人体三维模型构建方法，在得到所述待测者的三维人体模型以后还包括，采用预设的单边倒角距离处理方法对得到的待测者的三维人体模型进行优化处理。

　　19.将所述单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；所述人体模型构建网络用于根据所述单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对所述三维人体模板数据进行变形，得到所述待测者的三维人体模型；

　　20.对所述待测者的三维人体模型上的人体目标部位进行特征提取得到所述目标特征信息；所述目标特征信息包括人体目标部位的位置信息。

　　21.根据本发明提供的一种人体三维模型构建方法，所述人体模型构建网络通过以下方法训练获取：

　　23.删除所述三维人体完整点云数据的部分区域数据，得到对应的单视角人体点云训练数据；

　　25.依据所述全局特征约束损失及重建损失，将所述单视角人体点云训练数据、完整三维人体点云训练数据和三维人体模板数据输入到人体模型构建网络中，以训练所述人体模型构建网络；使得所述人体模型构建网络获取所述单视角人体点云数据和三维人体模板数据之间的对应关系；

　　26.所述三维人体模板数据为将标准三维人体数据按照预设的存储格式进行存储得到。

　　27.根据本发明提供的一种人体三维模型构建方法，在得到所述待测者的三维人体模型之后还包括，采用预设的单边倒角距离处理方法对得到的待测者的三维人体模型进行优化处理。

　　30.模型构建模块，用于将所述单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；所述人体模型构建网络用于根据所述单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对所述三维人体模板数据进行变形，得到所述待测者的三维人体模型；

　　31.特征提取模块，用于对所述待测者的三维人体模型上的人体目标部位进行特征提取得到所述目标特征信息；所述目标特征信息包括人体目标部位的位置信息。

　　32.另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人体特征信息获取方法。

　　33.另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人体特征信息获取方法。

　　34.另一方面，本发明还提供一种计算机程序产品人体3d立体模型，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人体特征信息获取方法。

　　35.本发明提供的人体三维模型构建方法，获取待测者的单视角人体点云数据，将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型。依据本发明的三维模型构建方法，可以实现基于单视角人体点云数据构建三维人体模型，进一步实现基于三维人体模型采集人体上的特征信息。

　　36.依据本发明提供人体特征信息获取方法，获取待测者的单视角人体点云数据，根据单视角人体点云数据构建三维人体模型，然后基于三维人体模板数据上的目标部位信息，从构建的三维人体模型上提取得到目标特征信息，使得提取的目标特征信息更加准确。

　　37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

　　40.图3是本发明提供的单视角人体点云和三维人体点云对应关系示意图之一；

　　41.图4是本发明提供的单视角人体点云和三维人体点云对应关系示意图之二；

　　45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

　　46.本发明提供的人体三维模型构建方法，预先训练好人体模型构建网络，人体模型构建网络通过大量数据训练单视角人体点云数据和三维人体模板数据之间的对应关系。具体为获取待测者的单视角人体点云数据之后，将单视角人体点云数据输入到人体模型构建网络中，人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点

　　云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型(此处的三维人体模型既可以是点云数据，也可以是网格数据，取决于三维人体模板数据的数据格式)，即将单视角人体点云的查找，转变成三维人体模板数据和构建的三维人体模型顶点关系的对应，这样可以精确的找到目标特征点，同时也可以精确地找到目标特征点附近的临近点。

　　48.本实施例提供一种人体三维模型构建方法，如图1，该人体三维模型构建方法包括：

　　50.例如，本实施例中通过rgb-d单目相机来采集单视角人体点云数据。

　　51.步骤102：将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型。

　　52.具体的，本实施例中的人体模型构建网络包括编码器和解码器，并且通过以下方法训练获取：

　　53.步骤201：获取多个三维人体完整点云数据作为完整三维人体点云训练数据。例如，采用三维点云采集设备采集人体在多个姿态下的三维人体完整点云数据作为完整三维人体点云训练数据。

　　54.步骤202：删除三维人体完整点云数据的部分区域数据，得到对应的单视角人体点云训练数据。

　　55.本实施例中技术人员手动删除三维人体完整点云训练数据的背部数据即可得到单视角人体点云训练数据。

　　57.依据所述全局特征约束损失及重建损失，将所述单视角人体点云训练数据、完整人体点云训练数据和预设三维人体模板数据输入到人体模型构建网络中，以训练所述人体模型构建网络；使得所述人体模型构建网络获取所述单视角人体点云数据和所述三维人体模板数据之间的对应关系。

　　59.编码器用于对输入的完整人体点云训练数据和单视角人体点云训练数据分别进行特征提取，得到对应的全局特征；全局特征约束损失用于表示编码器输出的完整人体点云训练数据对应的全局特征和单视角人体点云训练数据对应的全局特征之间的差异，全局特征约束损失越小，表示单视角人体模型特征越接近于完整人体特征，进而使得网络对输入的单视角人体点云能输出更加准确的变形后的模板点云。

　　60.解码器用于对三维人体模板数据按照编码器输出的全局特征进行姿态和体型上的变形并输出待测者的三维人体模型；重建损失用于判断解码器输出的待测者三维人体模型对输入单视角点云对应的完整人体点云的重建精度。例如本实施例的重建损失为解码器输出的三维人体模型顶点和单视角对应的完整人体点云之间的点对点误差。

　　62.其中，三维人体模板数据为将标准三维人体数据按照预设的存储格式进行存储得到。一般的，三维人体模板数据都是通过参数化模型进行存储，即参数化模型中的特征位置即存储人开云体育官方入口体的特征信息，例如模型的第100个存储位置存储的是人体的左肩膀关节点的信息。如图3和图4所示，通过训练所得的对应关系即可将单视角人体点云和三维人体模板数据相对应。

　　63.例如，训练直到全局特征约束损失和重建损失共同构成的训练完成依据满足预设要求，则确定人体模型构建网络训练完成。

　　64.在一种实施例中，在得到待测者的三维人体模型之后还包括，采用预设的单边倒角距离处理方法对得到的待测者的三维人体模型进行优化处理。得单视角人体点云与三维人体模板数据之间的对应关系查找变为两个完整参数化人体顶点关系的对应，进一步利用kd-tree(k-dimensional树的简称)查找到所有点云的近邻点。

　　65.依据本实施例的三维模型构建方法，可以实现基于单视角人体点云数据构建三维人体模型，方便基于三维人体模型采集人体上的特征信息。同时，依据本实施例的方法构建人体三维模型时无需必须依赖三维人体扫描设备，采用单视角信息采集设备使得设备成本更低。

　　67.本实施例提供一种人体特征信息获取方法，如图5，该人体特征信息获取方法包括：

　　69.步骤302：将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型。

　　70.步骤303：对待测者的三维人体模型上的人体目标部位进行特征提取得到目标特征信息；目标特征信息包括人体目标部位的位置信息。

　　71.其中，本实施例的人体模型构建网络的训练方法和上述实施例一相同相似，本实施例中不再赘述。

　　72.在本实施例中，在得到待测者的三维人体模型之后，还采用预设的单边倒角距离处理方法对得到的待测者的三维人体模型进行优化处理，其中具体的优化处理方法与上述实施例一中相同，此处不再赘述。

　　73.依据本实施例的人体特征信息获取方法，获取待测者的单视角人体点云数据，根据单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型，然后基于人体目标部位的位置信息从三维人体模型上提取得到目标特征信息，这样可以根据对应关系准确的提取目标特征信息(如目标点云数据位置信息)以及周围的点云位置信息。

　　75.如图6，本实施例提供一种人体特征信息获取装置，该装置包括：获取模块601、模型构建模块602和特征提取模块603。

　　77.模型构建模块602用于将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型。

　　78.特征提取模块603用于对待测者的三维人体模型上的人体目标部位进行特征提取得到目标特征信息；目标特征信息包括人体目标部位的位置信息。

　　79.其中，本实施例的各个模块的功能的实现方法与上述实施例的方法对应，此处不再赘述。

　　80.采用本实施例的人体特征信息获取装置可以基于单视角人体信息采集设备准确的获取的三维人体模型上目标特征信息。

　　81.图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线通过通信总线完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行人体特征信息获取方法，该方法包括：获取待测者的单视角人体点云数据；将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型；对待测者的三维人体模型上的人体目标部位进行特征提取得到目标特征信息；目标特征信息包括人体目标部位的位置信息。

　　82.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

　　83.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人体特征信息获取方法，该方法包括：获取待测者的单视角人体点云数据；将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型；对待测者的三维人体模型上的人体目标部位进行特征提取得到目标特征信息；目标特征信息包括人体目标部位的位置信息。

　　84.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人体特征信息获取方法，该方法包括：获取待测者的单视角人体点云数据；将单视角人体点云数据输入到训练得到的人体模型构建网络中，得到待测者的三维人体模型；人体模型构建网络用于根据单视角

　　人体点云数据，以及预先获取的单视角人体点云数据和三维人体模板数据之间的对应关系，对三维人体模板数据进行变形，得到待测者的三维人体模型；对待测者的三维人体模型上的人体目标部位进行特征提取得到目标特征信息；目标特征信息包括人体目标部位的位置信息。

　　85.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

　　86.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

　　87.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。