卡内基梅隆大学（CarnegieMellon University）研究人员开发的一种摄像系统能够以如此精确和详细的方式看到声音振动，它可以重建乐队或管弦乐队中单一乐器的音乐。
即使是最强大的定向话筒，在捕捉音频时也无法消除附近的声音、环境噪音和声学效果。计算机科学学院机器人研究所（RI）开发的新型系统使用两个摄像头和一个激光器来感应高速、低振幅的表面振动。这些振动可以用来重建声音，在没有干扰或麦克风的情况下捕捉孤立的音频。
国际扶轮照明与成像实验室（ILIM）的博士后研究助理马克·谢宁说：“我们发明了一种新的观察声音的方法。”。“这是一种新型的摄像系统，一种新的成像设备，能够看到肉眼看不见的东西。”
该团队成功演示了他们的系统在感知振动和声音重建质量方面的有效性。他们捕获了同时演奏的吉他和同时演奏不同音乐的扬声器的独立音频。他们分析了音叉的振动，并利用扬声器附近一袋多力多糖的振动来捕捉扬声器发出的声音。本演示向麻省理工学院研究人员之前所做的工作致敬，他们于2014年开发了首批可视话筒之一。
CMU系统大大改进了过去使用计算机视觉捕捉声音的尝试。该团队的工作使用普通摄像机，其成本仅为过去研究中使用的高速摄像机的一小部分，同时可以产生更高质量的记录。双摄像头系统可以捕捉运动中物体的振动，例如音乐家演奏吉他时吉他的运动，同时从多个点感知单个声音。
“我们已经使光学麦克风更加实用和可用，”国际扶轮（RI）教授、ILIM负责人Srinivasa Narasimhan说。“我们在降低成本的同时提高了质量。”
该系统通过分析用滚动快门和全局快门拍摄的图像中散斑图案的差异来工作。一种算法计算两个视频流中斑点图案的差异，并将这些差异转换为振动来重建声音。
散斑图案是指相干光从粗糙表面反射后在空间中的行为方式。该团队通过将激光对准物体表面产生振动，如吉他的身体，来创建散斑图案。当表面振动时，斑点图案会发生变化。滚动快门通过快速扫描图像（通常从上到下）捕获图像，通过将一行像素叠加在另一行像素上生成图像。全局快门一次捕获单个实例中的图像。
与Sheinin和Narasimhan一起参与这项研究的还有计算机科学博士生Dorian Chan和国际扶轮及计算机科学系助理教授Matthew O'Toole。
“这个系统突破了计算机视觉的界限，”O'Toole说。“这是一种捕捉高速微小振动的新机制，也是一个新的研究领域。”
计算机视觉领域的大多数工作都集中在训练系统上，以识别物体或在空间中跟踪它们鈥攔E研究对自动驾驶汽车等先进技术非常重要。这项工作使系统能够更好地看到难以察觉的高频振动，这为计算机视觉开辟了新的应用领域。
该团队的双快门光学振动传感系统可以让音响工程师监测单个乐器的音乐，而不受其他合奏者的干扰，从而微调整体混音。制造商可以使用该系统监测工厂地板上单个机器的振动，以发现需要维护的早期迹象。
谢宁说：“如果你的车开始发出奇怪的声音，你知道是时候让人检查一下了。”。“现在想象一下，工厂里到处都是机器。我们的系统可以让你通过一个固定的摄像头感应机器的振动来监控每个机器的健康状况。”