虞晶怡：《头号玩家》里的VR世界离我们有多远？

|虞晶怡：上海科技大学信息科学与技术学院副院长、教授

“可以想象一下，如何将一个物理世界的人，变成一个数字世界的人，而且他（她）看上去和真人是一模一样的。”上海科技大学的虞晶怡教授，用技术让人进一步体验虚拟世界；他让《头号玩家》里活在VR的未来，离我们更近了一大步。他是怎么做到的？请听他在@一刻talks《了不起的好奇心|科学侠》中的分享。

文章共3417字，阅读需要14分钟

我是上海科技大学的虞晶怡，我研究的领域之一是AR和VR（虚拟现实和增强现实）。但我们用的方法和传统的方法不一样，我们是用计算机视觉、人工智能和计算机图形学相结合的方法，来便捷、主动地生成AR和VR的内容。

我们所做的AR和VR是想把整个物理世界数字化。可以想象一下，如何将一个物理世界的人，变成一个数字世界的人，而且他（她）看上去和真人一模一样的。

我研究的另外一个领域叫计算机视觉，是用计算的方法来产生让视觉觉得“非常美”的感受。

这种美，体现在多个角度。三维的几何是一种美，三维物体的材质也是一种美。从计算的角度来看，如何能够非常有效地复现三维的几何和三维的材质，是一个非常困难的数学问题。

经过过去二十年的技术积累，现在有包括深度学习在内的很多新的技术和算法能够非常有效地把物体三维化。这个三维化不仅可以通过几何计算，也可以通过计算机的机器学习学出来。这都要感谢过去二十年新技术的突飞猛进。

从材质的角度来看，现在可以提出一种基于数据的模型。传统的美是通过一个完整的数学公式来表示这是一个什么样的材质，所以它是美的。但实际生活中，人并没有这样一个完美的数学公式，而是通过各个角度去观看一个物体，说它是很美的，这是一个数据驱动的模型。现在我们整个领域都逐步从数学建模，慢慢地过渡到用数据驱动的一个模型，来形容什么是美。

为什么要研究AR/VR

我在上海交大上过计算机图形学的课。当时教我们的老师非常有名，是俞勇老师。俞勇老师现在带了几乎中国最优秀的ACM（美国计算机学会）班的学生。当时我们还没有ACM班，俞勇老师就是给我们上了图形学的课。

上了这门课后，我对图像就产生了浓厚的兴趣，后来我就决定要做图像这个领域。去了加州理工后，我就开始做些小尝试。我当时创办了人生中的第一个公司QuickTime VR，虽然不是很成功。我们当时就是用照相机来拍全景，然后拼接成360度。这就是现在大家很熟悉的手机全景拍照功能。

但当时VR技术有很多问题，而这些问题也导致了2016年VR的泡沫。现在很多初创公司号称拼一个360度全景就是VR，其实完全不是。早在1999年，我们做了这个事情之后，就发现它给人的观感很差，因为既没有三维的视觉，也没有像人眼一样的动态对焦，更没有沉浸式的走入。这种VR方式的观感不高，就造成了2016年的VR繁荣只是昙花一现。

AR与VR的起源于现状

现在AI（人工智能）非常热， 其实人工智能的历史已经超过了60年。在1956年达特茅斯会议的时候，先驱们就提出了：要把人工智能的解决分为三块。这三块分别是感知（Sensing）、认知（Cognition）、行为（Action），它们分别表述了：怎么能认识到三维世界、怎么去分析三维世界、怎么去改变三维世界。

这三块奠定了计算机视觉的核心基础。感知就是新一代的传感器，认知就是新一代的算法（包括深度学习在内），行为是展现的方式（比如机器人、投影、其他表现的方式等等）。在过去的五到十年内，特别是过去五年内，由于深度学习的高速发展，数据驱动把这三块第一次真正地融合在了一起。从感知的数据，到大数据产生以后高速、高效的分析方法——认知，到最后把数据呈现出来的行为，不管是机器人，还是新一代AR和VR的展现方式，都能无瑕疵地串联在一起。所以这是一个新的时代。

AR、VR研究的意义与成果

用一个词来形容，就是互联connect。怎么来互联呢？打个比方，在边远的山区，没有很好的教育资源，也没有好的师资，如果能够通过虚拟现实和增强现实的技术，把城市优秀教师上课的整个过程数字化，再用未来的5G网络实时传输到远端，学生们就可以身临其境地享受到同样高品质的教育。

我觉得创新和突破对我来说，最重要的词就是勇气（Courage）。因为创新和突破本身非常困难的。首先你要有面对失败的勇气，创新是一定会有失败的，不可能一蹴而就。那么面对失败，怎样有勇气再进行新的尝试，这是第一点。

第二，就是你要有勇气变得不同，be different。不可能每个人都做同样的东西，做相同的东西是一定是不会有创新的，必须有所突破。我们现在做的技术，叫基于光场的人工智能和基于光场的AR和VR。但光场的概念，早在1996年的时候就被提出了。

所谓光场，就是要把三维世界所有的光线全都采集下来，这些数据是海量的，因此当时这样一个概念是无法推进的，所以很多人都放弃光场这个项目了。但我和我的团队在过去的20年一直都在做光场。

前几年，美国有一个公司叫Magic Leap（可能是全球估值最高的一个AR/VR初创公司），就是做光场的显示技术，并开发了一个光场的头盔。

尽管这个领域非常困难，但我们从来没有放弃过，所以我刚才说，要有勇气，也要与众不同。

第三，要有勇气去尊重。在创新的过程中，必然有竞争对手。面对竞争对手，不要看低他(她)，必须要尊重你的竞争对手。你要看到对方在做的这些技术有什么强项，有哪些地方是你做得不好的，再融合在一起，这就是一种尊重。

我们做光场快20年了。第一代光场，是用一个很笨重的相机阵列搭成的。这是2000年我刚开始读研究生时，在MIT和一个庞大的团队一起搭起来的。但是要把这个非常笨重的系统缩小化，变成拍一张照片就能形成这样的一个光场，这是一个非常困难的事情。

它不仅涉及到光学系统的设计，还包括最后整个运算的速度和新算法的合成，当中有很多艰辛。在过去的二十年里，我和我带的研究生们都没有放弃。过去十年，有十四名我指导的研究生毕业，今年我在上科大指导的第一位博士也将毕业。

在非常困难的情况下，他们跟我一样都没有放弃。我们研究的问题本身很难，能够得到的帮助和资源也不是很多。这样的情况下，最后在上海科技大学终于有所突破，搭建了自己的光场成像系统、光场处理方法、基于深度学习的光场AR和VR的完整的系统，可以说是全球相当领先的技术，我觉得这是让我非常骄傲的一件事。

那是一个中国少数几套，用80个动态相机进行光线采集的系统，用计算机视觉的方法进行三维重建。同时它不但把三维进行重建，也把材质和所有的光线都采集并且重建了。所以它又能采集几何，又能采集表面的材质。这套80个相机的光场系统，在过去一年内就搭建了出来。

我们现在正在搭一个亚洲唯一的光场系统（Light field stage），整个设计非常前卫，仿造火星的营地做的。在那里我们正在搭建一个230个相机、1600个光源的光场系统。它不但拥有多相机系统，另外还要加1600个光源，这个目的不单单是把人物简单地数字化，让你看着还可以，还可以产生像电影级别的特效效果。

这套系统到目前为止，全球只有两个地方有，一套在洛杉矶的好莱坞，另外一套在爱丁堡。我们将搭建亚洲唯一一套的这样的光场系统，希望今后很多的电影特效都有我们的身影。

传统的AR、VR的内容，都是靠计算机生成的，叫CG模型，Computer Graphics，像卡通一样。在那里建一个模型，建完以后，去调材质、打光、渲染。实时渲染的话，你模型不可能很复杂，材质也不可能很复杂，否则没有办法实时渲染。

光场就是索性不要建模和渲染，直接把它拍下来。比如一个人或者一个物品，通过多个视角对这个人或物品进行拍摄，拍摄后直接利用这些数据。因为拍出来的和眼睛看到的一样真实，只是拍的过程是不连续的，你不可能拍得很连续，所以通过这样一个拍摄的过程，再加后期的数学模型，深度学习的模型也好，三维建模也好，计算机视觉也好，把它融合在一起，产生让你眼睛觉得“我就在看的是一个真实的环境（或物体和人）”，这就是光场的核心技术。它之所以能够超越传统方法，因为它本身就基于在三维世界拍摄的结果。

AR、VR的未来

其实信息科学，不再是一个单独的学科。信息科学必须要和别的学科相融合，而别的学科也必须依赖于信息科学的融合，才能够大幅度地进步。

今后三到五年，我想做的是学科的交叉融合。原来大家说No one is an island，没有人是一座孤岛。现在应该说，没有一个学科是一座孤岛。所以今后的科技，一定是交叉融合的科技，这也是我们希望在未来几年内一起做的。

在任何一个时代，科技本身的发展必然会带来很多疑问。想象一下，在200年以前，如果你看到现在的人开着车，你会有怎样的感受？是不是有很多伦理的问题在里面？200年以前，再回过头来看，电视里面大家在看着我这个节目，又是怎样一个感受？

我始终认为科技本身并不可怕。我觉得可怕的是，人不去思考科技会带来怎样的后果。人类已经生存了2000年，是能够适应新的科技的生成。所以我对于人还是比较有信心的。

那些《黑镜》里面讲到的科技，我想它一定会实现的。但我觉得人会用一种新的方式，去适应它、认识它、去感受它，甚至于利用它，来改变这个世界，把这个世界变得更好。