科学探索|助推元宇宙图像渲染上科大提出ICARUS芯片定制架构( 二 ) 助推元宇宙图像渲染|上科大提

NeRF技术可以对现实场景、物件扫描后进行建模，达成快速映射、快速渲染的目的，对比传统渲染技术中需要手动建模等流程大大简化。NeRF的提出与发展将三维场景的隐形表示方法推向了新的高度，能够生成无界场景的逼真渲染，实现了360°照片般逼真的新型视图重建合成效果，已然成为了元宇宙发展新方向，并可能成为下一代图像渲染的核心技术。
文章图片

ICARUS可以使用极低的功耗进行高保真的图像渲染，图为ICARUS渲染结果与原图像和GPU渲染图像结果的对比。可以发现在多数场景下ICARUS拥有与GPU渲染相近的PSNR（用于衡量图片相似度的系数），并且在视觉感官上取得了可与之媲美的渲染效果。
ICARUS：为NeRF算法定制的硬件加速芯片
仅仅只有NeRF在算法层面的进步，在元宇宙对图像渲染的高要求面前远远不够。在NeRF算法中存在大量的全连接层计算，对硬件计算能力要求极高，并且过去的图像渲染硬件并不能直接适配类似NeRF的新算法。“通观计算机发展历史，软件与硬件的进步总是相辅相成的，如今新一代的图像渲染技术已经出现，那必然需要新一代的硬件设备与之适配。而ICARUS也正是在这样的时间节点上提出的。”娄鑫说。
在ICARUS芯片中，集成了位置编码模块（Positional Encoding Unit）、多层感知机模块（MLP Engine）和体渲染单元（Volume Rendering Unit），在片上实现了NeRF渲染的全流程。为了在较小的芯片面积内取得较高的能效比，在芯片设计过程中运用了很多提高能效比的技术。
上海科技大学信息学院研究生、论文共同作者万浩川介绍，在ICARUS中使用了经过量化的定点数模型，并且在多层感知机模块中使用了移位累加等近似算法的硬件设计。这些针对NeRF的硬件优化设计可以在几乎不改变最终渲染图像质量的情况下，大大减少芯片面积与计算能耗，未来可适用于人们日常生活中的各种轻量终端中。在使用同一种NeRF网络进行一张分辨率为800x800的渲染图片时，运行在1.245GHz的英伟达V100显卡需要27.74秒，并且其芯片约为815mm^2，功耗约为300W 。而根据理论计算，运行在400MHz的ICARUS需要45.75s，但其芯片面积仅为16.5mm^2，功耗仅为282.8mW 。
上海科技大学信息学院研究生、论文共同作者郑越洋介绍，下一步，ICARUS将跟随NeRF类算法的飞速发展，未来会把更多的编码、网络结构集成进ICARUS芯片，以支持更多种类的应用场景。ICARUS将在明年进行流片（试生产）并点亮，届时将成为第一款为NeRF算法定制的硬件加速芯片。

科学探索|助推元宇宙图像渲染 上科大提出ICARUS芯片定制架构( 二 )

科学探索|助推元宇宙图像渲染上科大提出ICARUS芯片定制架构( 二 )