七鑫易维实现眼控VR全视场角追踪技术：或是目前最好的眼控VR方案

本篇文章1920字，读完约5分钟

实现眼控虚拟现实的全场角度跟踪是虚拟现实领域的一个遗憾。像smi和tobii这样的国际眼球追踪技术公司还没有宣布他们在这个领域的成就。最近，国内眼球追踪技术公司有望实现突破。近日，齐新一伟向雷锋透露。眼控虚拟现实已经研制成功，采用眼动跟踪技术的虚拟现实头部显示器已经进入测试阶段，可以实现眼控交互和局部渲染。

在技术实现上，虚拟现实设备上眼球跟踪的实现与计算机设备上的有很大不同。由于虚拟现实设备的使用条件和结构的限制，光学设计和跟踪算法更加复杂。因为当玩家使用虚拟现实设备时，它离人眼非常近，而且瞳孔、虹膜和眼球都不在摄像机前面，而且还被眼睑和睫毛遮挡，通过传统算法很难准确定位眼球。此时，传统跟踪方法得到的人眼模型将会脱颖而出，然后人眼的旋转会对图像产生很大的影响，同样的旋转角度会导致运动模糊变大，增加图像处理的难度。

为了解决这个问题，我们可以使用特殊的光学设备，优化虚拟现实设备的跟踪算法，这样我们就可以在不影响虚拟现实体验的情况下很好地捕捉人眼的特征点。

眼控虚拟现实能带来什么？全场角度跟踪

虚拟现实设备上的眼睛跟踪需要在很宽的范围内被跟踪，几乎达到人眼的旋转极限:30°垂直和50°水平，这可以完全覆盖fov大于110的主流虚拟现实设备。跟踪方案是根据人眼运动的限制而设计的，因此跟踪范围广，可以覆盖整个虚拟现实显示屏而没有死角。

高精度和低延迟

除了跟踪范围之外，另一个非常重要的因素是跟踪精度，特别是在虚拟现实游戏中，它要求非常高的实时操作和精度。为了让玩家感觉没有延迟，有必要在眼球运动数据采集的速度上下功夫，而眼球跟踪技术可以弥补这个缺点。

防抖跟踪算法

因为虚拟现实设备在使用时需要戴在头上，并且大多数虚拟现实应用必须配合头的运动，所以头的运动将导致虚拟现实设备和头之间的位移变化。在这种运动状态下获取准确的眼球数据无疑是对硬件和算法的最大挑战。因此，防抖算法可以专门添加到虚拟现实设备的眼睛控制方案中，这样即使玩家在使用过程中移动头部也不会影响眼睛跟踪的准确性。

眼控虚拟现实将为虚拟现实带来一个全新的游戏。在射击游戏中，光标可以被眼睛锁定，当用户闭上一只眼睛时，瞄准镜可以自动调出。还可以根据游戏场景中玩家的不同观看点触发不同的场景。当玩家看十字路口时，地图导航会自动出现，当他们看npc的不同部分时会触发不同的场景。

此外，眼动控制的交互模式也可以应用到游戏菜单中，不需要使用的菜单会自动隐藏，使用时会被眼动控制触发，使虚拟现实界面更加清晰。

这款眼控虚拟现实的市场是什么？因为眼控交互可以给虚拟现实带来很多便利和游戏，所以很多虚拟现实厂商都非常重视眼控虚拟现实的研发。启新怡威目前正在测试的眼控vr算法跟踪速度为240hz，延时小于5ms，可以实现全场角度跟踪。其中，眼跳处理，即快速眼球运动跟踪，主要是在眼跳是基于高速跟踪的情况下，通过处理眼球旋转矢量获得的，如果高于某个阈值，则认为是眼跳。

在虚拟现实行业看来，视线跟踪是一项关键技术，但最重要的方向不在于控制，而在于显示优化和社会化。视线的捕捉和重建将直接影响情感表达的效果。有人认为眼睛跟踪将成为下一代虚拟现实头部显示器的标准。虽然在互动中需要更多的内容支持，但我相信虚拟现实的发展没有问题，奇鑫艺威也更加注重互动应用。

oculus的前所有者Facebook的高管们已经与奇鑫益伟进行了谈判，希望将眼球追踪技术应用到oculus的第二代产品中，而国内公司也希望将眼球追踪技术引入到下一代产品中，并为其增加有竞争力的芯片。

目前，虚拟现实正处于高速发展时期，虚拟现实在游戏和互动娱乐中的前景是明朗的，但整个行业仍处于起步阶段——我们不知道什么样的体验是最好的，以及如何为虚拟现实找到更多的登陆途径。除了oculus这样的虚拟现实老大哥，国内外专注于技术研发的创新公司也在推动虚拟现实的发展。

诚然，眼睛跟踪与控制不是一种全新的技术产品，它已经在霍金和成千上万的残疾人身上发挥了自己的作用，也是将其应用于虚拟现实行业的一种新尝试。一位资深vr业内人士告诉雷记者:

“将这项技术应用到虚拟现实行业，结合英伟达的gameworks虚拟现实来做多分辨率视口渲染(眼球聚焦区域的分辨率高，其他区域的分辨率低)，确实是一个可行的优化策略；或者它可以在未来的虚拟现实游戏中作为一种新颖的互动方式与头盔结合使用。不过，这些想法可能不会直接触及行业痛点，但更接近leap motion或myo，这可能会引出一个有趣的话题，但不可避免的是，它会很薄弱，无法在普通用户中真正普及。”

这些技术将如何落地，它们将如何真正成为行业的必需品或应用领域的垫脚石，还有待观察。