In-Depth Mouse: Integrating Desktop Mouse into Virtual Reality

HCI2022 honorable ❤️
将2d的鼠标应用到3d的虚拟空间中，对可选对象进行选择

Challenge

1、如果单纯利用3d虚拟鼠标的3d位置对可选物体进行选择，有可能出现距离更近的物体将虚拟鼠标遮挡
2、物体之间的可见性和重叠关系根据用户的位置而不同，因此需要根据视点不同地应用鼠标的控制
3、鼠标的敏感度问题

Method

将鼠标的 2 个自由度映射到 VR 中的水平和垂直控件，而深度方向根据视觉中临近物体的深度进行连续性估计，从而改变鼠标的三维空间中的阴影（来体现深度感）；头部运动会导致不同物体的可见性和重叠关系发生变化，而该方案能实时根据视觉中的临近物体进行估计，从而解决了遮挡等问题。

深度是使用基于 Voronoi 的拉普拉斯插值法，根据光标位置、视点和可选对象确定深度维度。拉普拉斯插值在深度维度上提供了线性连续性。

如果鼠标和头部Xview的射线和物体有交叉（命中物体）则深度为命中物体的深度。
如果射线没有命中物体，则根据它在 Voronoi 图中的 N 个自然邻居的接近值进行加权平均（拉普拉斯插值）作为鼠标的深度值。是邻近度度量 λi 是共享边的长度 σi 与鼠标 P0 与其邻居 Pi 之间的欧几里德距离 di 之间的比率。

三维位置：R1（θ , φ）

Voronoi 图是基于 2D 中的投影坐标创建的，将鼠标和可选对象投影到相机视图中。

分辨率

作者将参数转换为角坐标，以便鼠标的 CD 增益以每英寸度数 (DPI) 而不是标准的每英寸点数 (dpi) 来描述。而且不同设备和场景用户的视觉敏感度不一样，因此角度分辨率也不一样，如下图所示。

角度分辨率计算：

以像素为单位检测到增量运动 (dxpx , dypx )，它就会转换为球坐标中的角运动 (dθ, dφ)，Resmouse 是以每英寸点数为单位的鼠标分辨率。 CDgain 是以每英寸度数 (DPI) 表示的鼠标控制显示增益。CDgain是min-max之间的调参。

Limit

物体采用中心的位置，因此对于大的物体，得接近物体的中心才能被选中。