CVPR'24香港理工最新KTPFormer,超强3D 姿势估计SOTA!
作者Jihua Peng | 编辑：计算机视觉工坊
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群
本文介绍的KTPFormer模型在3D姿势估计领域引入了两种新颖的注意力机制，即KPA和TPA，以增强模型对全局相关性的建模能力。通过在三个公共数据集上进行实验验证，作者展示了KTPFormer在提高性能方面的有效性，并且只带来了很小的计算开销增加。这种模型设计的灵活性和通用性使得它可以轻松地集成到其他基于Transformer的3D姿势估计模型中，为该领域的研究提供了新的思路和方法。
本文介绍了一种新型的Transformer模型，称为KTPFormer，用于3D人体姿态估计。相较于现有的基于Transformer的方法，KTPFormer利用了人体解剖结构和关节运动轨迹的先验知识，通过两个先验注意力模块KPA和TPA来更好地学习空间和时间相关性。与其他基于图的Transformer方法不同，KPA和TPA模块被设计为轻量级的插件模块，可以简单有效地与各种基于Transformer的方法结合，提高了3D姿态估计的性能。该方法在多个基准测试中表现优异，是一种简单而有效的改进方法，可用于提高基于Transformer的模型在3D人体姿态估计中的性能。
本文的贡献为：
提出了两个新的先验注意力模块，KPA和TPA，可以简单而有效地与MHSA和MLP结合，形成了用于3D姿势估计的KTPFormer。
本文的KTPFormer在Human3.6M、MPI-INF-3DHP和HumanEva基准测试中均优于现有方法。
KPA和TPA被设计为轻量级的即插即用模块，可以集成到各种基于Transformer的方法（包括基于扩散的方法）中用于3D姿势估计。大量实验证明，作者的方法可以有效提高性能，而不会大幅增加计算资源。
本文提出了一种新颖的Kinematics and Trajectory Prior Knowledge-Enhanced Transformer（KTPFormer）方法，用于3D人体姿态估计。该方法将运动学和轨迹先验注意力与MHSA结合，可以同时建模空间和时间信息。KTPFormer利用seq2seq管道进行姿态估计，能够预测与输入2D关键点序列对应的3D姿态序列。具体流程包括将2D姿态序列输入Kinematics-Enhanced Transformer，生成高维空间标记，然后经过空间MHSA学习全局关节相关性。接着，将序列重塑为时间标记输入Trajectory-Enhanced Transformer，生成具有关节运动轨迹信息的时间标记，并通过时间MHSA学习帧间的全局一致性。最后，将输出特征输入堆叠的时空Transformer进行编码，通过回归头预测3D姿态序列的坐标。
2.1 运动学增强Transformer
本节介绍了运动学增强Transformer（Kinematics-Enhanced Transformer，简称KET）的工作原理。该模型接收2D关键点序列作为输入，并将其转换为高维空间标记，以便于后续的处理。具体来说，输入的2D关键点序列首先经过Kinematics Prior Attention（KPA）模块，将运动学先验知识嵌入到2D关键点序列中。接着，这些处理后的关键点序列被输入到空间多头自注意力机制（Spatial Multi-Head Self-Attention，简称MHSAS）中，用于学习关节之间的全局相关性。KPA模块通过构建关节之间的关系矩阵，将人体解剖结构信息和关节运动轨迹信息注入到关键点序列中，以提高模型对关节间关系的理解能力。最终，经过MHSAS处理后的特征被输入到多层感知器（MLP）中进行进一步处理，以输出最终的姿态估计结果。整个过程保留了Transformer的固有结构，提高了模型的灵活性和可解释性。
2.2 轨迹增强Transformer
本节介绍了轨迹增强Transformer（Trajectory-Enhanced Transformer，简称TET）的工作原理。该模型旨在将关节在帧间运动的先验轨迹信息整合到标记序列中，以提高对关节间时间相关性的理解能力。首先，通过Trajectory Prior Attention（TPA）模块构建时间局部拓扑，连接相同轨迹的关键点。然后，模拟时间全局拓扑，考虑相邻和非相邻帧之间的隐含时间相关性。利用线性变换将标记序列转换为高维空间标记，并利用可学习的权重矩阵允许不同关键点学习不同的先验知识。最后，通过时间多头自注意力机制（Temporal Multi-Head Self-Attention，简称MHSAT）模拟全局时间相关性，进一步提高了模型对关节间时间相关性的建模能力。整体而言，TET能够有效地学习并整合关节在帧间的运动轨迹信息，为3D人体姿态估计提供了更准确的时间建模方法。
2.3 堆叠的时空编码器
在被重新整形后，HST 被送入由交替的空间和时间 Transformer 组成的堆叠式时空编码器中。堆叠的层数为 L。在输入编码器（空间或时间）之前，序列特征根据 MHSA 的类型重新整形。
2.4 回归头部
本节介绍了如何利用线性层作为回归头部，用于预测3D姿势序列。网络的整体损失函数由加权均值每关节位置误差损失、时间一致性损失和每关节平均速度误差损失组成，其中超参数λT和λM用于调节各损失项的重要性。
在实验部分，作者首先介绍了使用的三个公开数据集：Human3.6M、MPI-INF-3DHP和HumanEva。其中，Human3.6M是一个室内场景数据集，包含360万个视频帧，11位专业演员在4个同步摄像头视图下表演15种动作；MPI-INF-3DHP是一个大型公开数据集；HumanEva是一个较小的数据集，为了与之前的工作进行公平比较，作者选择评估方法在HumanEva的S1、S2、S3三个主体上的表现。
在实验协议方面，作者使用了两种协议：Protocol#1是指平均每关节位置误差（MPJPE），即预测的关节坐标与地面实况的平均欧几里得距离；Protocol#2是指经过预测的3D姿势与通过Procrustes分析对齐的地面实况3D姿势的重构误差，称为P-MPJPE。
在实现细节方面，作者在Pytorch框架上实现了他们的方法，使用了一块GeForce RTX 3090 GPU。输入2D关键点是通过2D姿势检测器或2D地面实况获得的。作者将堆叠的时空编码器的数量L设置为7，每个编码器包含14个空间和时间变换层。训练阶段使用Adam优化器，批量大小为7。学习率初始化为0.00007，每个epoch衰减0.99。作者还介绍了将扩散模型引入3D姿势估计的实验设置，以及该方法的参数设置。
在与最新方法的比较中，作者将他们的方法与基于Human3.6M数据集的最新方法进行了比较。结果显示，作者的方法在MPJPE和P-MPJPE方面实现了最先进的结果，MPJPE为33.0mm，P-MPJPE为26.2mm。作者的方法在MPJPE和P-MPJPE方面优于D3DP方法。此外，作者的方法在不使用扩散过程的情况下也获得了最佳结果。作者还在MPI-INF-3DHP数据集上验证了他们方法的泛化能力，结果表明其方法具有强大的泛化能力。最后，作者进行了消融实验和定性分析，验证了他们方法的有效性和鲁棒性。
本文介绍了一种新型的Kinematics and Trajectory Prior Knowledge-Enhanced Transformer（KTPFormer），用于3D姿势估计。该模型利用了两种新颖的先验注意力机制（KPA和TPA），能够有效地增强建模全局相关性的能力。实验结果表明，KTPFormer在提高性能方面表现出色，且计算开销仅有很小增加。此外，KPA和TPA可以轻松集成到各种基于Transformer的3D姿势估计器中，具有很好的通用性和灵活性。
[1]KTPFormer: Kinematics and Trajectory Prior Knowledge-Enhanced Transformer for 3D Human Pose Estimation
计算机视觉工坊交流群
目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉 、大模型 、 工业3D视觉 、SLAM 、自动驾驶 、三维重建 、无人机 等方向，细分群包括：
2D计算机视觉： 图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型： NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉： 相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM： 视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶： 深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。
三维重建： 3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机： 四旋翼建模、无人机飞控等
除了这些，还有求职 、硬件选型 、视觉产品落地 、最新论文 、3D视觉最新产品 、3D视觉行业新闻 等交流群
添加小助理: dddvision，备注：研究方向+学校/公司+昵称 （如3D点云+清华+小草莓） , 拉你入群。
3D视觉学习知识星球
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、 BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、 无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、 LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、 MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等 。
实况球会经理：3D画面+实时策略，即将开启公测
置身于距离赛场最近的教练席位，指挥着亲力打造的球队冲锋陷阵，与球员并肩向比赛荣誉发起冲击，这样的执教体验是无数球迷的绿茵梦想。凭借着虚幻4引擎的画面表现与对战术玩法的深度研发，《实况球会经理》打造了3D画面+实时策略的梦幻组合，为玩家们带来最真实、完善的执教之旅，游戏将于7月2号正式开启公测，各位球迷准备好领取你的主教练offer了吗？
搭载虚幻引擎，3D画面打造真实体验
《实况球会经理》加持虚幻4引擎，游戏画面在保持真实性的同时兼具体育游戏的顺滑。不止是3D拟真画面，从球员个人到球场整体，目光所及的游戏画面均与真实赛场接近：球员建模经过3D扫描，精确还原球员发型与面孔细节，包括已退役传奇球星标志性庆祝在内的球员肢体动作，球员的赛场英姿都通过动作捕捉技术完美呈现在画面中。放眼整座球场，虚幻4引擎同样带来了细腻的草皮观感与逼真的光影效果，辅以球场万千观众的欢呼呐喊，无论是视觉冲击还是赛场氛围都无可挑剔。
正因为在画面品质层面优异的表现，《实况球会经理》的球迷玩家们才能够在游戏中体验到真实赛场的沉浸感，每一场即时对战都如同亲自站在球场边指挥球队，沐浴在数以万计的球迷助威声中。而灵动、真实的球员模型则让巨星触手可及，无论是C罗、梅西这些现役球员，还是贝肯鲍尔、克鲁伊夫等传奇巨星，都将近距离呈现在玩家面前，结合游戏为玩家们准备一键切换2D/3D画面的小细节，不仅能够一眼明晰的看出球员配合状态、球队站位变化，从而第一时间掌握场上大局，更能够细致欣赏球员个人的精彩表演，感受如艺术般的进球瞬间。
丰富战术玩法，运筹帷幄赢得即时对战
作为一款主打足球策略的全新手游，《实况球会经理》在即时对战中的玩法则向玩家们诠释了主教练执教工作的精髓所在。除了球队阵型随心可以设置外，球队战术也包括了进攻与防守两类打法下的诸多设定，追求快速反击可以设定长传、侧翼进攻等选项，追求传控足球也可以布置短传、保持队形等选择。在球员个人层面，则能够进行点球、定位球等安排，进一步丰富球队进攻套路。阵型与战术的合理搭配，才能够让球员之间的化学反应更为激烈，球队才能并发出最大实力。若想关注最新资讯，请多多关注网易手游频道！
安卓、iPhone实况照片效果大PK，为何Reno12后浪更猛？
实况照片新玩法，安卓后浪更猛，谁将笑到最后？
在过去的几年里，实况照片功能逐渐成为手机拍照新体验。这种功能可以在拍照前后记录短视频，生成动态照片效果，让静止的照片变得生动有趣。苹果公司最先在iPhone 6s上推出了Live Photos实况照片功能，用户反馈不错，可以很好地记录下拍照前后的精彩瞬间。（第一结束
随着实况照片功能在苹果手机上获得成功，安卓阵营也加入了这一行列。近年来，越来越多的安卓手机也开始支持实况照片拍摄。与iPhone的Live Photos相比，安卓阵营的实况照片效果还有待完善和提高。
目前主流安卓机型的实况照片效果还无法与iPhone 6s旗舰机型相媲美。这主要是因为苹果在硬件上进行了加速优化，采用了专门的硬件加速技术，可以更流畅地播放动态照片。而安卓阵营由于硬件差异，加上缺乏统一优化，导致实况照片效果参差不齐。
近期有一些安卓手机厂商开始加大实况照片功能的研发投入，试图在这一领域超越苹果。比如，OPPO最新发布的Reno12系列手机，就在实况照片拍摄上做了不少优化和改进。
据了解，OPPO Reno12系列在硬件和算法上都进行了升级，以提升实况照片的拍摄效果。硬件方面，这款手机搭载了业内顶级的影像处理芯片，可以对动态画面进行更好的捕捉和处理。算法方面，OPPO也推出了自主研发的AI智能拍摄算法，通过深度学习等技术，对实况照片的画质、流畅度等进行了优化 。
除了硬件和算法的提升，OPPO Reno12系列还增加了一些创新功能，让实况照片拍摄更加出众。比如，这款手机支持长达5秒的实况照片录制时长，可以记录更长的动态场景。还新增了实况照片编辑功能，用户可以对拍摄的动态照片进行剪辑、添加滤镜等后期处理。
业内人士表示，OPPO在Reno12系列上对实况照片功能的大幅升级，展现出这家手机厂商在影像拍摄领域的决心。OPPO有望进一步加大在这一领域的投入，持续提升实况照片的拍摄体验。（结束）
除了OPPO之外，其他安卓手机厂商也在加大实况照片功能的研发力度，希望能在这一领域取得突破。
比如，三星最新发布的Galaxy S24旗舰手机，就在实况照片拍摄上做了重点优化。这款手机采用了三星自主研发的＂动态视觉增强＂技术，可以对实况照片的画质、流畅度等进行AI增强，让动态画面更加细腻生动。
另外，vivo也推出了一款专注影像拍摄的新机型vivo X80 Pro，其中实况照片功能就是一大亮点。这款手机不仅支持长达10秒的实况照片录制，而且还新增了＂动态全景＂模式，可以拍摄超广角的动态全景照片，为用户带来全新体验。
业内人士，实况照片功能正成为手机厂商新的竞争焦点。各家厂商都有望在硬件、算法、功能等多方面持续加码，以提升实况照片的拍摄质量，吸引更多用户。
实况照片功能未来还有哪些发展趋势和创新点呢？对此，多家手机厂商和业内专家都作出了自己的判断和。
在硬件层面，未来手机可能会采用专门的实况照片拍摄芯片，进一步提升动态画面的捕捉和处理能力。有师预计，未来5年内，手机厂商在实况照片硬件上的投入将持续增长。
在算法层面，AI技术有望进一步渗透到实况照片拍摄中，通过深度学习等技术，对动态画面进行智能和优化，提升画质、去噪、防抖等多方面效果 。
在功能层面，实况照片拍摄模式也有望进一步拓展。比如，未来可能会出现实况照片+AR增强现实的创新玩法，让用户可以在动态照片中添加虚拟元素；也可能会出现实况照片的3D重建功能，让平面照片变成立体动态画面等。
在体验层面，实况照片的分享和社交功能也将得到加强。用户不仅可以在手机上欣赏动态照片，还能将其分享到社交平台，让更多人一同体验生动的瞬间。