科学探索|助推元宇宙图像渲染上科大提出ICARUS芯片定制架构助推元宇宙图像渲染|上科大提

在尼尔·斯蒂芬森于1992年出版的科幻小说《雪崩》中，存在一个可以让人们的虚拟化身生活的数字世界，这或许是近年来大火的“元宇宙”概念的起源。而2018年上映的电影《头号玩家》，把对未来元宇宙更为具体的想象带给了全世界。随着近年来VR、AR、AI、5G等元宇宙关键技术的快速发展，过去只存在于想象中的元宇宙正向人们的生活靠近。
【科学探索|助推元宇宙图像渲染上科大提出ICARUS芯片定制架构】其中，作为元宇宙与人们交互的窗口，渲染成为众多元宇宙关键技术中的重中之重，被喻为元宇宙技术栈上的皇冠。如何快速、高效地在便携终端上渲染出逼真的图像，成为元宇宙落地亟待解决的难题。
文章图片

ICARUS是一款基于NeRF渲染算法的定制化芯片。在向芯片加载经过训练的NeRF网络参数后，只要输入观察位置与视角，ICARUS即可快速渲染出该视角与位置下的图像。
针对真实图像渲染的难题，上海科技大学芯片设计团队提出了最新的ICARUS芯片定制架构。ICARUS是一种基于NeRF（Neural Radiance Fields，神经辐射场）算法技术的定制化硬件加速芯片，它使得在手机、VR眼镜等终端实时渲染出极为精致的逼真图像成为可能。
“使用传统的渲染技术在终端设备上进行实时的逼真图像渲染几乎无法实现，但是ICARUS基于最新图像学渲染技术，加之对其定制化的硬件优化，使得过去不可能的任务变得现实。”上海科技大学信息学院助理教授、研究员娄鑫表示。目前ICARUS有关论文已被计算机图形学顶级会议ACM SIGGRAPH ASIA 2022接收。
文章图片

ICARUS上集成了位置编码模块(Positional Encoding)、多层感知机模块(MLP Engine)和体渲染模块(Volume Rendering Unit)，可支持多种NeRF、SLF类似网络。芯片内部使用可配置的定点数运算，并且在MLP模块中使用了乘法近似算法。在保证足够的计算精度的情况下，ICARUS可适用于不同场景的渲染，并且大大降低了芯片的面积与功耗。
NeRF技术：简化传统渲染技术流程
在过去，超逼真的渲染技术大多用于顶级科幻电影的制作，以及一些大型3A游戏中，其大多使用光线追踪的传统渲染技术。光线追踪算法通常需要建立大量的虚拟模型，并且对其进行关于材质、纹理等有关光学参数的调试与标定。在高精度模型建立好的基础上，依照物理规律对其进行迭代仿真，最终可以得到以假乱真的图像，让观众察觉不到虚拟物体与现实物体之间的差别。
但仅仅使用传统的光线追踪渲染技术并不能让我们拥抱元宇宙。上海科技大学信息学院博士生、论文第一作者饶朝林表示，除去传统渲染技术中无法避免的复杂渲染流程，巨量的算力和功耗限制了传统图像渲染技术的应用场景，令其无法广泛地运用于真正可接入元宇宙的终端设备。“目前高质量的图像只能通过最先进的显卡渲染得到，这意味着庞大的设备体积与极高的计算功耗，使得手机、VR眼镜等便携设备无缘这些逼真图像。并且基于传统的图像渲染技术，根据模型精细程度的不同，渲染一张图像通常需要消耗数秒至数小时不等，实时渲染的目标仍然遥不可及。”
神经辐射场（NeRF）是近年来新出现的图像渲染技术，其本质是将整个物体空间利用神经网络进行隐式编码并得到特定的模型，即可利用模型重建出三维场景并渲染出各种新视角下的图像。

科学探索|助推元宇宙图像渲染 上科大提出ICARUS芯片定制架构

科学探索|助推元宇宙图像渲染上科大提出ICARUS芯片定制架构