国内AR技术领头羊十二居对ARKit充满期望!.docxVIP

坦白说，看到苹果发布ARKit并不意外，毕竟苹果是除了微软以外在AR布局最完整的公司之一，很多优秀的AR技术公司都被苹果收购雪藏，早在去年参加Project Tango的Hackathon的时候我已经预言过苹果一定会有动作。但是有两点是我没想到的，一个是苹果发布的时间这么快，另一个是居然没有依赖于任何硬件的升级。考虑到苹果的工程能力，ARKit的应该可以支持大部分苹果的设备（以我个人经验至少可以到5S及同水准iPad），这个也符合发布会上苹果说的世界上最大的AR平台的定位。那么回头来点评一下ARkit，我们看看它到底带来了什么功能：第一，快速稳定的运动定位，这个是最基本的AR功能，从演示中可以发现整个定位非常稳定且准确，说明精度很不错，桌面的特征并不算丰富，说明鲁棒性很好，最后渲染的Demo模型很复杂，但是感觉很流畅，说明实时性和算法能耗都深度优化过。从发布会的整个演示来看，ARkit的水准应该是业内顶级的。第二，平面和边界的估计，平面估计在单目SLAM上并不稀奇，只是从演示中很难判断是基于三维点云拟合还是IMU数据，初始化的方式看起来更像是基于IMU的。边界估计这个之前不常见，演示中唯一可以看出来的是那个虚拟小人掉到桌子外（当时过于震惊而没有截屏），说明ARkit可能不是像snapchat那样简单的VIO类算法，（从放出来的文档看就是VIO...）点云构建的部分是有一定输出的。第三，光照估计，这个不好说，单目做光照估计的需求很可能和算法本身的架构有关（直接法？），以什么形式输出不看到接口很难判断，大部分的AR应用是不需要这类数据的，除非是要基于实际光照做高还原的真实渲染。第四，尺度估计，这个就非常厉害了，做单目SLAM的同学都有了解，单目是无法解决尺度问题的，虽然视频里没有展示，但是如果真的解决了尺度问题，说明苹果在IMU和视觉融合方面做了非常先进的工作，而且工程化的非常好，很期待这个功能的实际体验。第五，对各个开发平台或引擎的支持，这点说明苹果做AR绝对是“蓄谋已久”的，并且野心很大，不给其他对手留余地，一上来就要建立一个完整且广泛的AR内容开发生态。总体来说，ARKit基本实现了单目+IMU的SLAM算法可以提供的大部分功能，并且质量很高，我相信苹果是严格检查过机型覆盖率，实时性和能耗的，那么毫无疑问，凭借广泛的硬件覆盖率，iOS会成为最有活力的AR内容发布平台，PMGO的体验肯定有质的飞跃，一大波真-AR游戏应用将会到来～十二居再来分析一下目前ARkit有何不足：第一个不足是三维重建的能力，无论从文字解释还是Demo演示来看，目前的ARkit仅仅支持平面的“重建”，这里姑且先算做重建，因为是否支持垂直面，任意角度的平面，甚至多个平面目前都还不确定（从目前发出来的文档看只支持水平面，说明平面的拟合可能是依赖于IMU的，仅用部分点云判断深度信息）。就算ARkit包含完整的平面重建能力，对于AR应用来说依然还是不足够的。增强现实最基础的要求是对现实世界的理解，比如几何体的重建，这方面缺失带来的问题就是无法和真实世界的物体发生合理的物理碰撞，比如演示中看到一个虚拟小人掉下桌子，我们是看不到这个小人掉落到地面的效果的。另外就是虚实遮挡，假设桌面上有一个水杯，那么如果无法重建水杯的Mesh，我们就看不到水杯遮挡住虚拟模型的效果，而会看到虚拟模型“叠加”在水杯之上，这个会比较影响整个AR的体验。当然我相信以苹果的实力，想做重建并不是没有办法可想。这里我有两个猜测，一个可能是三维重建的流程，交互和接口苹果还在优化中，目前AR基本的功能接口已经足够发布了，苹果想慢慢来。另一个可能是苹果想依托于硬件来解决三维重建的问题，众所周知单目做实时三维重建是非常有难度的，而基于双目或深度摄像头则可以相对简单的解决这个问题，顺便苹果还可以展现9月份即将发布的iPhone8的“特殊”，两全其美～第二个不足，就是识别的能力，目前AR最火爆的应用场景其实不是游戏而是线下营销，而线下AR营销非常依托于识别算法和定位算法的对接。苹果可以在移动端单目设备上做出这样成熟的SLAM算法，单纯的识别和定位应该都不是问题，难点可能在于定位算法如何跟识别算法对接，如果依赖于端上的识别算法，那么按照现有的苹果更新审核机制，AR内容的更新会非常麻烦，苹果可能需要提供专门的编辑器；但是如果基于云端识别，则苹果的用户群体过于庞大，到时候云识别的QPS会很惊人，是否苹果还没有准备好接受这样的考验？此外，服务于AR的单目SLAM可以说是目前业界没有很好解决的一个课题，所以苹果在这方面做出了很大的推进。而如果我们限定于二维图像的识别和跟踪，则有非常多成熟的SDK可以使用，就连Hololens也可以兼容使用Vuforia，也许苹果并不准备自己承担这和识别算法对接的需求。最后，说一下ARK