科学探索|科学家演示新系统可在交响乐中区分单个乐器的演奏科学家演示新系统|可在交响乐

卡内基梅隆大学的研究团队近日演示了一种全新的光学麦克风系统，使用摄像头来查看和重建声波振动，从而在交响乐中清晰地区分单个乐器的演奏。这种声音区分即使对于高端音频麦克风来说也是极其困难的，而团队只使用了两台摄像头和一个激光就可以实现。

文章图片

【科学探索|科学家演示新系统可在交响乐中区分单个乐器的演奏】该系统的技术理论依据是声音只不过是一系列穿过空气的压力波。任何能发出声音的东西都只是通过振动来产生这些压力波。光学麦克风基本上是一个摄像系统，旨在监测和解释声源表面的振动——甚至是放置在声源附近的物体，它们会随着周围空气中的声波而振动。

文章图片

卡内基梅隆大学团队的系统将激光照射在振动表面上，产生精确的散斑图案，随着声源的振动而扭曲。两台摄像机以每秒 63 帧的速度记录散斑图案的变化，并使用软件算法分析两个摄像机镜头中的散斑图案变化，并重建音频信号。
63 fps 的帧速率在这里可能看起来有悖常理；人类的听觉可以区分以每秒 20 到 20,000 个周期左右振荡的音调（也就是分贝），因此忽略此处的所有其他挑战，输入数据的 63-fps 限制似乎对该设备可以发出的声音设置了 63-Hz 的上限。

文章图片

事实上，由于对所涉及的摄像头的一些非常巧妙的使用，这款光学麦克风可以读取高达 63,000 Hz 的声音。一台相机使用全局快门，这意味着它在每一帧中同时读取其整个图像传感器。另一台相机使用滚动快门，因此它将传感器读取为每帧一千条连续的水平线。因此，滚动快门图像包含高频信息，可以将其与全局快门图像进行比较，以解释音乐家演奏时吉他的移动和倾斜等问题。

文章图片

该研究论文的主要作者、卡内基梅隆大学机器人研究所照明与成像实验室的博士后研究员 Mark Sheinin 说：““我们发明了一种观察声音的新方法。这是一种新型的摄像系统，一种新的成像设备，能够看到肉眼看不见的东西” 。

文章图片

该团队已经在吉他和小提琴上、扬声器纸盆、音叉上，甚至是坐在扬声器前并随着环境声音而振动的 Doritos 包上测试了这种光学麦克风。他们还用它来分离两把吉他演奏二重奏的音频，以及两个扬声器的音频，每个扬声器都在播放不同的歌曲。

文章图片

共同作者、机器人研究所助理教授马修·奥图尔（Matthew O'Toole）说：“这个系统突破了计算机视觉所能做的事情的界限。这是一种捕捉高速和微小振动的新机制，并提出了一个新的研究领域” 。

科学探索|科学家演示新系统 可在交响乐中区分单个乐器的演奏

科学探索|科学家演示新系统可在交响乐中区分单个乐器的演奏