科学探索|[图]科学家研发新技术：将游戏2D直播转换为3D互动体验 [图]科学家研发新技术：将游戏

滑铁卢大学的研究团队正开发一种新的观看方式，以在 Twitch 和 YouTube 等平台上提供不同的观看体验。该技术将 2D 直播视频转换为 3D 互动体验，观众可以从任何角度观看动作。

文章图片

【科学探索|[图]科学家研发新技术：将游戏2D直播转换为3D互动体验】许多多人射击游戏都有一个观众模式，允许用户从不同角度观看正在发生的事情。这是观察其他玩家使用什么策略的绝佳方式，或者享受看一个杰出的玩家摧毁竞争对手的乐趣。然而，要做到这一点，你必须在游戏中。
滑铁卢大学 Cheriton 计算机科学学院的 Jeremy Hartmann 和 Daniel Vogel 在 4 月底发表了他们的研究。这篇题为“通过为观众重建交互式3D游戏视图来增强视频游戏直播”的论文解释了一种实现与观众模式类似效果的方法，但无需安装游戏。

文章图片

该技术采用了2D视频流，并加入了游戏的深度缓冲区、摄像机姿势和投影矩阵，以创建一个3D互动环境，观众可以在流媒体人玩游戏的时候探索这个环境。观众可以在3D和VR中自由移动他们的摄像机。
起初，它看起来只是屏幕上的动作叠加在灰色背景上的一个奇怪角度。然而，随着玩家的移动和环顾四周，简单的无纹理模型将开始形成，因为系统实时构建了环境。
这与游戏中的旁观者模式不同。如前所述，除了玩家的视角之外，所有的东西都是没有纹理的。另外，流媒体视角之外的任何东西都是无图的。例如，在上面的视频中，你可以看到玩家的模型是如何被完全渲染的，但在环境中滑动，就像在车轮上一样。
纹理和动画的缺乏确实在一定程度上减弱了观看体验，但请记住，这种以3D方式渲染视频游戏直播流的方法还处于起步阶段。Hartmann和Vogel所描述的技术和机器学习的进步可能会带来更好、更愉快的互动直播体验，使观众直接进入游戏。