阿里巴巴达摩院XR实验室负责人谭平：XR互联网面临的三大挑战——交互、内容升维、计算

　　6月10日-11日，2022亚布力中国企业家论坛第二十二届年会在黑龙江亚布力召开。

　　“元宇宙是什么？对未来虚拟世界和现实世界，与个人有怎样的关系？”在青年论坛上，围绕“元宇宙：科幻or未来”等议题，阿里巴巴达摩院XR实验室负责人谭平阐述了自己的观点。

　　以下为谭平的演讲实录（有删减）：

　　如果元宇宙是下一代互联网，那么，AR/VR眼镜就是下一代的浏览器。浏览器是互联网时代非常重要的产品，是用户接入互联网的入口。类似的AR/VR眼镜是用户获得沉浸式体验的终端设备，是沉浸式互联网的入口，只有通过AR/VR眼镜我们才能够把虚拟和真实完美的融合起来，给用户一种全新的体验。

　　AR/VR眼镜、应用软件的发展趋势是什么？

　　在技术上我把现有的VR眼镜分为三代，第一代产品是HTCvive，这产品技术上采用分体式，结合由外向内的定位技术，这代产品有两个比较大的痛点，首先因为算力不足，需要通过线缆连接PC获得算力的支持。同时用户只可以在比较小的范围内活动，一旦超出了这个范围，设备就无法正常工作了。

　　第二代产品的典型代表是OculusQuest，这代产品采用一体机的方案解决了算力的问题，从此不再需要用线缆连接PC。同时因为定位算法的突破，用户的活动范围不再受到限制，正是因为解决了这两个痛点，这代产品在市场上开始获得成功，但是它也依然保留了两个痛点。首先，戴上ER眼镜之后用户看不到外部的环境，行动很不方便，没有安全感，导致用户的使用意愿降低。同时设备还是比较笨重的，佩戴起来舒适感不高。

　　第三代的VR眼镜就是即将要推出的一系列的新品，根据公开资料，Facebook在今年下半年会推出基于Pancoke光学方案结合视频透视能力的新的VR眼镜。通过这个视频透视技术，用户在戴上VR眼镜以后随时看到外部环境，这样可以解决使用过程中不安全感的问题，同时因为新的光学方案，可以大幅降低设备的重量，极大的提升佩戴舒适度，所以，这一代的眼镜会加速XR互联网的发展。

　　相比VR眼镜而言，AR眼镜的技术还很不成熟，不同的厂家往往采用截然不同的技术方案。比如说微软走的是从重到轻的路线，微软的Hololens功能非常强大，但是设备非常笨重，佩戴不是很舒适。手机厂家往往走一个相反的技术路线，从轻往重做，比如，我们看到小米、oppo、vivo都发布了非常轻便的AR眼镜的产品，但是功能非常简单，往往主要是作为手机的配件提供基本的文本信息提示的功能。

　　还有一条路线，往往被忽视，其实就是MR眼镜，就是在VR眼镜上通过视频透视能力来实现AR眼镜的功能，具体而言就是在VR眼镜上加装前置的高清摄像头拍到外部的画面，同时实时的在内部屏幕上显示，通过视频透视的技术实现AR眼镜的效果，这种视频透视会在下一代的VR眼镜今年推出的新品中很快普及，这代表了一个新的技术路线。

　　对于应用软件的发展趋势，我们判断应用会首先在需求强度高的领域发生。调研发现，目前的VR眼镜上60%的内容是游戏。但是，XR眼镜要想成为下一代计算平台，就一定要扩圈。核心的机会，比如说社交场景。同时我们认为，直播场景会有很好的机会，因为需求的强度非常高。

　　XR互联网面临的挑战：交互、内容升维、计算

　　在XR互联网发展的过程中，不得不面对的是技术挑战。第一大技术挑战就是交互的挑战。一个简单好用的交互是新的计算平台快速推广的关键。眼镜需要精准的捕捉用户的每一个细微的动作，我们还需要设计一整套完整的交互逻辑，使得用户可以手势、眼动甚至是表情和沉浸式的三维内容进行自然的交互，同时眼镜也需要能够感知外部环境，这样才能根据环境的不同，对用户的交互作出不同的响应。解决这些交互的问题需要非常强大的人工智能的算法，比如说视觉SLAM，地图建立、物体识别、手势追踪、眼动追踪、表情追踪等非常多的AI的算法，所有的算法必须在轻便的移动终端上实时的运行，这对算法的功耗和效率提出了很高的要求，很多问题今天并没有完全的解决，而解决这些问题则是XR互联网向前发展的一个前提条件。

　　第二个挑战是内容升维。AR/VR眼镜的内容应该是三维沉浸式的，但是，互联网应用要求绝大多数的内容是普通用户来创建的，也就是所谓的UGC的内容，普通用户可以非常容易的编辑文本，发微博，或者拍照片到朋友圈，或者是拍视频到抖音上，但是普通客户很难创作高质量的三维内容，即便是专业用户，创造三维内容也是一件费时而且昂贵的事情。我们需要有高度、沉浸式内容创造工具，让普通用户可以创造高质量的三维的场景、物体或者是人物，只有解决了这个问题，XR互联网的应用才有可能繁荣。

　　还有一个会被忽视的技术挑战——计算。内容的三维化会导致渲染引擎的算力需求爆炸式的增长，类比一个大型的三维游戏，在一个游戏里面所消耗90%以上的算力都是和渲染有关，只有10%不到的算力是在游戏的逻辑上。而今天，互联网所消耗的算力绝大多数是业务的流程和业务的逻辑上，如果今天互联网的内容全面走向三维化，计算的总量很有可能会增加10倍以上，如何应对如此庞大的算力增长，将是一个巨大的挑战。

　　要解决这个问题，一个很自然的想法是我们可以把渲染放在云上，渲染引擎在云上把画面渲染好，通过网络高速推流到AR/VR眼镜上，这样做，可以降低眼镜对算力和电池的需求，让眼镜更舒适、更轻便。但是，这也意味着我们要重构整个渲染引擎。渲染引擎是为了单台PC上的游戏应用而设计的，一台PC的算力是固定的，是有限的，而云的算力是可以动态调配的，几乎是无穷的。如何根据云的特点来重新设计渲染引擎，或者甚至如何充分调动云和光上的算力进行光云协同的渲染计算是一个全新的技术挑战。

　　 XR互联网今天还处在一个非常早期的阶段，前途是光明的，但是道路一定是曲折的。有一句话非常适合用来描述今天的XR互联网，那就是“人们往往高估一两年内能发生的改变，却低估10年会发生的改变”。今天的XR互联网还有非常多难以准确预测的因素，但是预测未来最好的方式就是去创造未来，希望通过我们的共同努力，能够开创一个精彩的新一代的互联网。