Magic Leap整个AR项目都可能是个骗局？听大牛怎么说 | 硬创公开课

本篇文章2970字，读完约7分钟

嘉宾介绍:聂崇玲，进化动力学首席技术官。他曾在瑞士的enclustra设计咨询公司工作，专注于机器学习和高性能异构计算系统。他参与了瑞士信贷、abb、西门子和罗氏等跨国公司的许多技术研发项目；他毕业于瑞士苏黎世联邦理工学院，师从美国计算机学会和乔春明大学的古斯塔沃·阿隆索教授。

今天，神奇飞跃发布了一个新的“水母版”演示，这使一些ar癌症患者开始再次停止。这种“黑色”的黑色技术将成为下一个谷歌眼镜或一个全新的ar涅磐。不管我们怎么骚扰罗尼·阿博维茨，他都不会告诉我，但这不能阻止我对天堂里的人好奇。因此，聂崇玲首次亮相，向我们诠释了他眼中的神奇飞跃。让我们从下面开始。

婊子养的！我们与团队成员讨论了为什么总是发送演示视频，我们认为可能有以下几点:

首先，演示演示机太大，这张通过国外媒体拍摄的照片也得到一定程度的验证；

第二，原型操作起来一定很麻烦；

第三，拍摄演示视频对周围环境要求严格；

第四，效果不稳定，系统鲁棒性可能不足，导致无法直接进入；

最后，没有为产品化做准备。如果操作机演示的演示被发布，上述所有缺点无疑将被暴露，这将大大降低用户的期望，这可能不是magic leap所希望看到的。

(系统稳健性？(

是的，我们通过互联网上的一些公共信息和投资者的渠道了解到，magic leap的演示已经提前模拟了拍摄室，但仍有可能无法一次成功拍摄出效果理想的演示视频。视频中magic leap设备的定位精度和建立房间三维模型的精度都是影响系统鲁棒性的因素。系统能否适应各种应用场景是系统健壮性的体现。具体到ml中的两个演示视频，场景主要是在室内，光线比较柔和。

技术上有什么创新

首先，谈谈显示技术的创新。从魔术飞跃的技术演示视频中，除了演示如何在收到信息后将珠穆朗玛峰的全息信息地图加载到桌面上，还展示了如何购物、水母漂浮等效果。与之前的演示相比，这些惊人的效果是什么？

这是ml的第一个演示视频。我将首先讨论这个视频的惊人之处，然后将其与第二个演示视频进行比较，看看它取得了什么进展。

在第一个演示视频中，一个小机器人从桌子下面跳出来，然后随着摄像机角度的改变，机器人被桌子的腿挡住了。这里有一个关键技术，那就是在空和空周围的深度信息之间定位物体(机器人)

这是第二个演示视频。在这个演示视频中，我们看到ml已经把珠穆朗玛峰的全息信息地图放在了桌子上。在这里，我认为ml已经做了比第一个演示更复杂的处理，即检测桌子的整个平面，然后把珠穆朗玛峰的全息图放在这张桌子上。

(它怎么会比第一个演示更复杂呢？(

尽管它们都提取了深度，但珠穆朗玛峰的全息图像有了更动态的变化。在这里，我们应该始终保持全息图像和台面之间的相对关系。

水母漂浮的最后一幕，我认为这是一个很大的突破。这里，摄像机的视角(ml设备)和水母本身都在移动。ml算法可以在计算海蜇群自身位置的同时计算海蜇群在空的位置。同时，计算它们之间的直接关系，然后将水母群投射回摄像机的视角。

然后是计算机视觉的创新。"增强现实真正的核心竞争力不在于它的显示模式，而在于计算机视觉."我同意这一点，计算机视觉的创新。老实说，我在简历领域没有发现ml的重大创新。它更像是一家显示技术创新公司。这种创新的显示技术可能会将ar用户体验提升到一个新的水平。魔术飞跃演示视频中展示的简历技术可以在微软研究院、谷歌和其他公司，以及siggraph等顶级会议上看到。magic leap很好地将这一尖端cv技术和它自己的创新显示技术集成到ar应用程序中，向每个人展示了演示。

这意味着它在计算机视觉方面的进展仍停留在光场技术阶段(非数字全息技术)；上述演示的各种具体的牛突破技术主要是他们自己的创新显示技术的进步？

诚然，技术技能是优秀的，包括简历和显示技术。cv的主要创新，即计算机视觉，还没有出现，因为cv的技术进步一直是整个行业的共同进步。

为什么光场光子芯片是透明的？

嗯，我们在这里看到的“芯片”与我们正在谈论的芯片不同。它是基于mems的微机电透镜或显示器。有许多开关可以控制镜头上每个像素的光路。集成是由光路组成的3d阵列，类似于下图

每个点的光路都可以独立控制，这就是这个“芯片”的功能。

(除此之外，剩下的芯片还能使用什么？(

镜头/芯片上的图像可以通过镜头来自现实世界，也可以通过镜头/芯片边缘的接口来自ml投影仪。该芯片主要负责显示，但ar中的计算机视觉计算不是在该芯片上完成的。

整个ar项目可能是个骗局？我不认为这是个骗局。首先，我们想说ar本身绝对不是一个骗局。像微软谷歌fb这样的大公司在这个领域有技术研究。从ml发布的演示来看，该公司也有着深厚的技术积累。ml在一些早期演示中添加了cg效果，ml在一些早期演示中添加了cg效果。后续官方设备拍摄的效果不像cg版本那么黑。每个人在心理上都有一个预期的差距。这是可以理解的。ar相关技术目前处于相对早期阶段。一定有不尽人意的地方，这就是为什么我们看到最新的ml演示不如最早的cg版本酷，但它能更好地反映ml技术的真相，而不是cg骗局。

(嗯，如果有人说每个人都担心这个骗局，因为他们从谷歌眼镜中学到了东西，你对这个问题有什么看法？(

这是技术的进步和重复。在早期阶段，我们不可能要求一个新的领域来直接生产完美的产品。例如，在电影摄像机流行的时代，没有人能想到数码相机会通过第一代ccd传感器的规格成为主流。

与其他产品的区别首先，你解决了全息透镜的视觉太小的问题吗？我认为现在提及magic leap的fov并与微软的hololens相比较还为时过早；原型的可移植性还没有解决，fov可能也没用。然而，根据魔术跳跃的显示原理，理论上有可能克服这个问题并实现更大的fov甚至光场显示。这不是魔术飞跃产品化道路上的最大障碍。如果您对magic leap的显示技术原理感兴趣，可以参考magic leap公司近年来申请的专利us20140003762。有兴趣的朋友可以看看。上面有详细的描述，以及ml在显示技术上的尝试和突破。

魔术跳跃和全息透镜有什么区别？每个人都是ar设备，hololens已经发布了一个开发工具包，接近大规模生产。神奇的飞跃仍处于原型的神秘阶段。从它们背后的计算机视觉技术来看，它们是相似的。每个人都使用类似的技术，如深度提取、slam、3d重建、目标跟踪等。不同的是，每个人的显示技术都不一样。hololens使用类似谷歌眼镜的显示技术，而ml，如前所述，使用全新的显示技术。全息透镜聚焦于现在，而ml更像是为未来建造一个装置。那时，全息透镜有许多高科技。我们知道全息透镜硬件使用英特尔凌动cpu(这是微软最熟悉的x86架构)和定制全息处理单元(hpu)。操作系统仍然使用windows内核，基于hololens和微软研究公司的cv预研究技术，还发布了“黑技术”演示，holoport。

神奇飞跃和玻璃有什么区别？Meta glass是一种我不太了解的产品。我刚刚看了ted的介绍和演示。这是一种与全息透镜形状相似的装置。slam和tracking等cv技术也反映在演示中，但它没有显示meta的方案是否有3d重建技术。在这里，我打了一个问号。我把它理解为一个具有简化功能和结构的全息透镜。