金沙威尼斯欢乐娱人城孙铭会副教授指导的2022级硕士生来云飞的论文“GazePuffer :Hands-Free Input Method Leveraging Puff Cheeks for VR” 被IEEE Virtual Reality(VR)录用。论文第一作者为来云飞,通讯作者为孙铭会副教授,作者还包括金沙威尼斯官网2023级博士研究生李卓峰。
当前的虚拟现实(VR)交互方式包括眼动追踪、手势追踪和语音输入等多种形式。然而,眼动追踪存在Midas Touch问题,手势追踪可能导致手臂疲劳,而语音输入则受到环境嘈杂程度和安静程度的影响。随着技术的进步,现有的头戴式显示器已经具备了眼动追踪和面部追踪的能力,摆脱了对额外传感器的依赖。因此,本文提出了一种结合嘴部动作与凝视的新型交互方式:GazePuffer。我们对各种嘴部动作进行了探索和设计,提出了9种可能的嘴部动作,并通过头脑风暴确定了它们在VR中的对应操作。我们提出了一个简单的模型,实现了93.8%的嘴部动作识别准确率。通过应用Fitts定律和进行实际的VR交互任务实验,我们证明了GazePuffer的性能与主流的凝视加捏捏方式相当,甚至超过了仅凭凝视的方式。用户普遍认为这种新型交互方式易于使用且轻松便捷。
IEEE VR是人机交互领域顶级国际会议(CCF-A类)。这是我校首次在IEEE Virtual Reality录用论文。