“2020 Google 开发者大会：多项 ARCore 更新带来AR开发全新可能！”

谷歌在年发布的arcore是增强现实技术开发者的平台，为android和ios客户带来有效的ar体验。 目前，该技术已支持7亿多台设备，应用于千万种应用，同时正在成长中。

在11月16日的keynote演讲和11月21日的两个会议上，以arcore的新功能和通过深度api实现ar真实感这两大主题为中心，展示了arcore的技术新功能、环境景深理解方面的高级技术探索、与本地开发者的创新合作成果 科技高手在很多角度诠释了arcore技术的更新和本土的实例，引发了科技粉丝们对ar的新热情。

arcore在中国——更多的开发者在创新运用

年从酷睿技术登陆中国，在教育、购物、游戏等多个领域与众多开发者进行了合作。 随着arcore的不断更新，许多中国开发者正在创新应用这项技术，给当地客户带来了越来越多的新体验。

用美图-ar拍摄幻想中的自己

美国公司利用arcore的增强脸部API(AugmentedFacesAPI )构建了100多个自我滤镜，让客户在拍摄照片和视频时体验ar效果。 通过强化脸部api，可以高精度提供由468个点组成的密集3d脸部网格，跟踪嘴的动作、眨眼、点头、稍多的复杂细节。

另外，新推出的瞬间放置API(instantplacementAPI )进一步推动了美国的照片。 加入几行代码，将ar对象定位到2d图像上，以便用户放置虚拟对象进行交互，而无需扫描。

用有道词典-ar身临其境地学习

有道词典采用ar打破时空的限制，让孩子们感兴趣，用比较有效的方法学习新单词。 借助arcore的环境理解( environmental understanding )和平面识别) plane finding，认识环境中的对象和特征，正确理解环境，加入酷炫逼真的3d模型，让孩子们身临其境。

在学习过程中，孩子们将精巧的模型投影到家里，从各种角度注意，不仅可以放大缩小和移动，还可以点击模型的中英文单词框，点击单词结果页面，成为中英文单词的权威释义 这大大提高了学习的幽默感，让孩子们不会弄错边学习边玩。

用滴滴-ar让路的痴永远不会迷路

有在车站、商场、机场等大公共区域，坐车也找不到司机的体验吗？ ar实景导航，让路痴很容易找到方向。

基于arcore技术，滴滴构建实景导航处理方案，实时识别客户与环境之间的定位关系，ar实景导航引导新闻实时与实景环境相结合，客户只有遵循ar标志，才能转换2d地图新闻 在这个过程中，arcore的环境理解和运动跟踪功能，保证了手机始终识别客户的方向，并给予正确的路标指导。

定位时，arcore会鼓励客户获取比较有效的定位图像，并利用运动跟踪功能感知客户的位置、移动速度和立场。 另外，arcore通过环境理解功能了解周围的现实环境，从而估算平面新闻。 无论是商场的地面，还是垂直于水平地面的墙壁和标志，都可以快速了解虚拟指示标志并相应放置，从而更真实地渲染诱惑新闻，让客户一目了然。

这种有用、有科技感的导航方法一经推出，就受到客户的好评。 该功能在中国、日本等多地上线，数据显示，该功能节省了近1/4的客户时间，满意度达到80%。

arcore的新进步——让更多的人可以在更多的地方体验更真实的世界

除了这些丰富多彩的创新合作成果之外，这次谷歌开发者大会还重点介绍了arcore技术的最新进展，给各开发者们带来了两个ar行业的重磅功能: depth api (深度api )和持续云锚( Chienteral Capi )技术。

应对深度api -界的屏蔽和相互作用的挑战

年中，谷歌发布了arcore depth api (深度api )，给开发者们带来了应对虚拟对象真实技术难题的希望，开发者可以用depth api和单个rgb摄像头绘制深度图。 由于不依赖特殊硬件，大多数arcore兼容设备都可以使用深度api。

depth api最重要的功能之一是屏蔽。 虚拟物体准确出现在现实物体的后面，与场景真正融合。 从来没有屏蔽功能，虚拟物体很容易横向空产生，就像现实世界的映射一样，可以瞬间演戏。

△左侧无遮蔽功能的猫子缺乏真实感，右侧开启遮蔽功能的猫子被真实地隐藏在遮蔽物的后面

那么深层api是如何被实践的呢？ 怎么采用深度？

首先，定义深度。 如下图所示，c点是摄像机的位置，z轴是摄像机的主轴。 大写字母的a点表示现实的物体。 从c到a点的深度是线段ca在z轴上的投影。

知道场景中物体的距离后，可以在渲染虚拟物体时使用此消息进行z buffer计算。 将当前像素点的深度与先前渲染为该像素的点的深度进行比较，如果另一个物体已经位于更近的位置，则可以通过忽略当前像素点来实现基于深度的遮挡效果。

如上图所示，我们用蓝色表示附近的深度，蓝色越深表示一个物体越接近摄像机，其深度值越低。 启用深度显示后，桌子的深度会低于椅子所在位置的深度，这样桌子就可以挡住椅子了。

另外，采用深度新闻还可以产生一系列逼真的特殊效果。 例如，更逼真的物理反弹、避开障碍物的最佳路径规划、与凹凸不平的表面完全吻合等。 也可以使用粒子的特殊效果来模拟火花、落叶、雨、雪等以前流传的渲染技术无法感受到的自然现象。

知名社会交流应用snap企业的设计师和工程师巧妙地融合了depth的诸多特征，与包括舞蹈热狗( dancing hotdog )和android版独特的海底世界) undersea world )在内的实景完美结合，成为snap 另外，snapchat也将arcore depth api集成到了滤镜开发工具中。 滤镜制作者只需将arcore depth api模板下载到开发工具中，即可进行基于深度的开发，从而沉浸在更真实的体验中。 由于大大简化了开发过程，过滤器创建者可以更轻松地应用高级深度功能。

△ snapchat滤波器的真实体验感

除了移动游戏和社交网络软件上的应用外，深层API(DepthAPI )在许多工具类应用中也闪耀着巨大的光芒。

例如，提供远程技术处理程序的应用程序teamviewer pilot会在视频会话中添加ar注释。 这是因为，由于depth api助手对环境和对象有了更好的了解，全世界的专家都可以不用出门就可以使用实时3d ar评论向客户提供远程技术支持。

△ teamviewer pilot应用程序的3d注释功能允许专家远程准确标记重要细节

三星的快速测量工具quick measure也在技术支持下不断迭代，目前quick measure在三星Galaxynote 10 +和galaxy s20 ultra的设备上应用了arcore depth api，客户可以

三星电脑技术项目经理soowan kim认为，depth api可以从多个层面丰富客户的ar体验。 扫描时间缩短，平面检测速度加快，即使是纹理不清晰的平面也能快速检测。

△利用快速测量进行更准确的测量

persistentcloudanchors-ar物体永远保留的秘密

arcore云锚点允许两个或200人通过谷歌云服务托管的锚点在同一个虚拟世界中共享和交互。 新的永久云锚点增强了这一功能，允许客户将虚拟副本存储在任何现实场景中。 它还将副本、视频新闻或3d角色的虚拟副本与现实世界中的位置相关联并永久共享。

△ sj labs用ar标记在斯德哥尔摩中央车站内导航

该技术实现了许多人在城市真实环境中交流的沉浸式ar应用和游戏。 比如马克，就是梦想世界和sybo开发的ar社会交流应用，通过高端智能手机，在现实世界中与朋友和粉丝共同发现、共同创作，完成与现实场景完美融合的ar涂鸦。 也可以利用ar和场地场景完美整合的特点，装饰房子，很多人玩大型寻宝游戏，或者城市间的慈善募捐。

△在标记应用程序上和粉丝和朋友一起ar涂鸦

另外，沉浸式文案写作室phoria与谷歌、netflix、wmf以及旺旺合作，推出自然主题的移动终端ar互动应用程序“rewild”(中文直译:返回荒野)。 最初的试映集被称为“frozen”，是系列四部曲的第一部。 在体验过程中，首先需要用手机扫描周围的环境，通过扫描和探索找到故事的ar拷贝。 该应用程序可以使用周围的空之间与ar进行通信。 仿佛看到了地球的浩劫和救济，有震撼人心的效果。

△ rewild应用可以进行充满临场感的宇宙探索

由于与5g - ar相接，沉浸在5g中的体验正在增加

我相信在讨论移动网络的未来时，5g绝对是其最重要的关键词。

5g可以实现大量、稳定、快速的数据互联，无论对顾客还是整个iot生态区，都将带来革命性的新机会，为ar的应用带来前所未有的可能性。

谷歌核心团队也与多家运营商合作，尝试了ar加5g的新应用。 例如，在韩国，这是世界上第一个进入5g全面商用的国家，lg uplus在首尔地铁站，建设了ar艺术长廊和展示车。 地铁站总是人数多、信号差的地方，但有了5g的加持，客户可以直接用手机观看韩流明显的影像和瑜伽教练的真人全息影像，流畅体验多而杂的3d角色舞蹈。

此外，谷歌还与sk telecom、文化遗产管理局合作，制作了世界上首个带有5g功能的ar增强现实文旅游体验，作为5g互联网服务的演示。 多亏了酷睿，客户可以身临其境地了解昌德宫的历史故事，生动地看到昌德宫的金泉桥、仁政殿、熙政堂等景点。 此前为了保护文化遗产而限制进入的地方也公开了。 此外，客户还可以和ar之王和王后一起拍摄ar照片，体验ar射箭、ar放风筝等丰富多彩的ar体验。 sk电信品牌宣传集团的负责人表示，今后将利用5g技术，推出越来越多的能为社会做出贡献的活动。

ar作为视觉沉浸式媒体，持续受到社会各界的关注。 谷歌作为技术的先驱，积极与全球开发者合作，在arcore大放异彩，接连带来惊喜。 这种变革性的新体验在快速发展中取得了长足的进步，但肯定有更广阔的前景。 未来，它将如何赋予社会和个人力量，改变你我的生活，让我们拭目以待吧。

我想马上做你的第一个ar应用，没有基础吗？ 谷歌和本道在中国大学mooc (慕课)合作，将arcore技术零基础免费在线课程在线化，支持开发者的学习成长。 请直接在慕课官网搜索谷歌Arcore入门开发课程，马上开始学习！

我在开发ar app，你觉得虚拟对象的效果不够好吗？ 通过谷歌的演示应用程序“酷睿深度实验室”，您可以立即体验酷睿深度api的功能。 该应用已经在谷歌play上上架，同时代码开源，直接在github上搜索arcore-depth-lab，可以免费下载相关代码、论文、简介的小视频。

本文：《“2020 Google 开发者大会：多项 ARCore 更新带来AR开发全新可能！”》