靠追踪肌肉识别表情的耳机

只用“耳机”,识别表情,这是怎么做到的了?
AI让蒙娜丽莎动起来,甚至模仿我们的表情运动,伴随科技的飞跃,都已经不再是让人惊奇的事了 。
然而,面部追踪系统,通常对摄像头精度要求很高 。然而,如果摄像头可以不被使用了呢?事实上,康奈尔大学的科研专家已做到了,过程无需任何正对着用户的脸的摄像头,追踪就完成了,效果也不错 。先看看追踪效果如何:

靠追踪肌肉识别表情的耳机

文章插图
那么抛开摄像头,面部表情如何追踪了?提示:戴在耳朵上的小东西 。事实上,那副耳机就是主要仪器,用户的表情可以实时输出 。比用摄像头的“传统方法”,该方法的优点在于,哪怕有口罩,追踪用户的面部表情依然轻松,人们无需特地取下口罩了 。系统叫做C-Face(Contour-Face) 。康奈尔大学SciFi实验室主任、C-Face论文的高级作者张铖在声明中说:“该设备比所有的耳挂式可穿戴技术都更简易、更有新鲜感,有更全的功能 。”“传统的为了识别面部表情的可穿戴技术中,大部分必须在面部上配置传感器,传感器数量这么大,系统也仅仅识别一组离散面部表情 。”
42个特征点被抓,C-Face也支持无声命令和聊天表情发送
摄像头并非完全没被在此项目中用到,只不过非常隐蔽 。观察用户的耳朵下方,左右都有一个RGB摄像头,摄像头可以在用户面部肌肉移动时,捕捉脸颊轮廓的变化 。
头戴式耳机也能够配置摄像头,实现面部识别 。
通过计算机视觉和深度学习模型重建图像后,卷积神经网络可以解析2D图像,把面部特征变为42个面部特征点,特征表征用户的嘴巴、眼睛和眉毛的形状 。脸部追踪数据有了后,数据被变成八种不同表情,有中立或愤怒等等 。C-Face还支持通过面部表情操作音乐程序上的播放键 。手机在充电,但是不想动,无需说出声音,播放歌曲就实现了:
【靠追踪肌肉识别表情的耳机】或者,聊天需要发送表情,但是恰巧找不到表情包了,该怎么办?在这种情境下,直接做出表情,系统可以识别并直接发送出去,非常简便:

靠追踪肌肉识别表情的耳机
文章插图
不过,因为受到新冠疫情的影响,科研小组只对9名参与者测试了C-Face 。虽然参与者不多,但准确度超过了88%,面部提示的准确度多于85% 。并且,专家发现,耳机的电池容量影响了续航时间,正设计功耗更低的传感技术 。
深耕于人机交互领域的华人教授张铖
在这个项目的研发小组中,有华人教授的——张铖,同样是研发小组的负责人 。张铖个人网站,他现在是康奈尔大学计算机和信息科学的助理教授,兼任未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)实验室主任 。
原文标题:“人脸识别”耳机?!靠追踪肌肉识别表情
文章出处:【微信公众号:MEMS】欢迎添加关注!文章转载请注明出处 。
责任编辑:haq

    推荐阅读