自研多模态追踪算法，PICO 为「手柄小型化」找到新思路

　　9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。

　　如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。

　　通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV模态手柄追踪算法,让手柄在LED灯减少或处于盲区的背景下,也能实时、有效追踪。

　　自研Centaur多模态融合追踪算法

　　VR设备的轻量化和小型化,一直是XR行业探索和努力的方向。

　　基于当前行业主流的“光学追踪+惯性导航系统”追踪方案,开发无灯环手柄会面临两大技术难点:首先,减少LED灯的数量,会影响光学追踪的稳定性;其次,更少的LED观测数量,会增大手柄初始化与追踪解算难度。但如果在手柄上增加新的传感器,这又会提升造价成本,并增加手柄的耗电速率。

　　*PICO 4系列手柄与PICO 全新研发的无灯环手柄

　　PICO全新自研的Centaur多模态融合追踪算法,将光学追踪算法和CV模态手柄追踪算法进行了有效融合。这不仅解决了无灯环手柄「识别难」的问题,也为XR行业的追踪交互提供了新的思路。头显既能通过光学追踪算法识别手柄上LED灯发出的红外光,还能够在LED灯被手部遮挡时,通过CV模态追踪算法识别裸手的特征,从而准确还原出手柄控制器的6DoF信息。两大算法结合手柄本身具备的惯性导航系统,使得新手柄无需增加新的传感器,也能实现稳定、精准的追踪。

　　创新技术研发思路

　　为了率先实现Centaur多模态追踪算法的产品化,PICO组建了跨部门的攻关小组,包括手柄追踪算法团队、裸手追踪算法团队和交互数据团队。经过多次论证后,最终实现了一套基于神经网络的多模态手柄追踪框架,其融合了惯性测量单元(IMU)、光学传感器和手部图像信息。

　　* PICO Centaur多模态融合算法 模型

　　在框架设计中,手柄追踪算法团队负责提升光学追踪的稳定性,并搭建算法框架;裸手追踪算法团队设计了SOTA端到端的6DoF位姿估计模型,提升手部追踪的稳定性;而交互数据团队则通过自研多源三维数据采集设备与高精重建算法,提供大量标注数据。

　　这样的追踪系统,不仅能基于红外 LED 实现高精度追踪,还能够利用裸手检测“隔山打牛”。为了验证效果,PICO还联合极客玩家进行了极限测试,在音游、游动健身等对追踪精度要求极高的场景下,该算法的追踪效果都可媲美PICO 4的HyperSense振感手柄。

　　搭建全方位自研体系

　　PICO Centuar多模态追踪算法的推出,得益于PICO在两大核心算法上的技术积累。PICO Neo3和PICO 4两代产品的打磨,帮助PICO 在光学追踪领域积累了扎实的技术。与此同时,PICO 在裸手追踪上也持续探索,相关技术已位列全球第一梯队。PICO通过不断优化端到端的时序模型、千万级高精训练集以及MTP延迟测试方案,在算法延迟与追踪丢失率方面实现技术突破,在游戏、运动等快速甩动手柄的场景下,给用户带来流畅且稳定的体验。

　　而这些技术创新背后,是PICO独立自研的高精度数据平台,以及专业的测试平台。

　　比如为了生产更符合开发需求的高精度裸手姿态数据,PICO一方面采用了业内的基于相机阵列的自研多视角手部姿态标注技术,另一方面针对该特定任务进行预重建,进一步提升手部姿态数据的精度。这无疑为算法的训练,提供了强大的支撑和助力。

　　*PICO多模态同步相机系统 采集高精度数据

　　近期,PICO交互数据实验室团队的研究发现,被国际会议ICCV 2023成功收录,包含了一篇Oral论文和三篇会议论文。这些涉及高效数据获取、高精度数据标注、数据应用等方面的实践研究,也代表了国际计算机视觉领域的成果。

　　*PICO交互数据实验室的研究成果,被国际会议ICCV 2023收录

　　作为全球的XR品牌,PICO 凭借前瞻性的技术意识和充分的技术积累,创新研发了多模态的融合追踪算法,为行业AI交互提供了全新思路,也进一步助推了手柄的轻量化,为用户提供更符合人体工学,且兼具细腻振感的交互体验。