
支付宝 AR “尬舞技”功能正式上线,用户可以根据屏幕提示动作跳舞并在线实时打分,ISV 可以基于尬舞技设计人体交互游戏与 AR 增强特效等。该功能基于蚂蚁多媒体人体姿态估计技术和 AR 的交互技术实现,在移动端实现人体 18 个关键点的实时和高精度检测,为产品运营提供流量引入服务。该技术采用了关键点检测及分组 Bottom-up 思想,通过网络结构优化和基于 xNN 的剪枝、定点化训练等多种方法,降低了模型的计算复杂度,使其既能保证高精度,又能实时在移动端的应用场景有较好的表现。
多人姿态识别技术,基于人体姿态估计与打分模块。用户使用已有的人体姿态检测 API 进行人体姿态检测,之后调用人体姿态打分模块进行打分。与单人打分不同的是,在每一个人体姿态检测后人体姿态识别技术,打分模块需要打分两次。这两次打分分别调用的是双人左右人体的分别打分,两次打分取最大值输出即可。
双人姿态 1 的打分模块对应第二部分的姿态id对应示意图中的,在人体姿态检测后,打分分别调用单人的 2 和 3 的打分 id(对应 poseID 为 1 和 2),合计两次打分,取其中的最高值输出。
双开云体育官方入口人姿态 2 的打分为新增加内容,对应新的打分脚本中的 12 和 13 号 id(对应 poseID 为 11 和 12)。在人体姿态检测后,打分分别调用 12 和 13 号打分 id,合计两次打分,取其中的最高值输出。