视频:如何让 VR 吉他到达一个新的高度



随着 3D Jam 的到来,全球的开发者都发布了他们在产品上的新进展。Zach Kinstner,Hovercast 和 Firework Factory 的创始人,也通过一系列的视频分享了他最新的项目——虚拟现实吉他!这周我们找到了 Zach,并和他聊了聊产品的设计过程,尤其是吉他和视觉深度感知线索的独特结合。




第一步:创造一个吉他




在第一部视频里,Zach 很快的进入了 Unity,设置好了吉他的 MIDI 声音,并且将声音附加在了几根简单的线上。他给指尖添加了一个视觉特效来帮助用户识别他们的手在 3D 空间的位置。

这些视觉特效为什么很重要?

视觉特效对于理解你的手在虚拟空间的位置很有用。它可以提供很好的深度感知,告诉你你的手的哪一部分是用来输入的,还能帮助你发现场景中的哪些物体是可以交互的。

对于这个吉他项目,有一个矩形 3D 的“弹奏区”。当你的手指在这个区域内时,你才能弹奏吉他。在这样的场景里,让用户能很好的感觉到深度是非常非常重要的。当你想拨动吉他弦的时候,这些视觉特效会帮助你保持手指在弹奏区域内,当你不想的时候,则帮助你保持手指在弹奏区域外。



这些闪光点是他进行视觉线索实验的第一步


为什么不让手可以在任意位置拨动吉他弦?

没有深度的限制,这些吉他弦可能会因为你手部的任何动作发出噪音。我想让拨弦的动作更加自然,尽管我不需要这和现实中完全一样。我会弹真正的吉他,我正是用这些经验来作为我设计的准则。有时候你会向下扫弦,有时候向上,有时你会想要拨动其中的某一根弦,或者仅仅是移动一下你的手而不碰到任何一根弦。弹奏区是达成这些目标的一个好方法。

第二步:和弦的选择




在他的第二部视频中,Zach 添加了用左手选择和弦的功能。


在和弦选择这个设计的背后是什么?

在我使用如 Leap Motion 这样的 3D 输入设备时,我想利用这款设备的长处,用一个简单的方式来完成一项任务。我得考虑什么样的动作、姿势和手势是硬件最容易识别的,新用户学习这些动作有多大难度。我对于悬浮交互做了非常多的探索,发现这种方式很好用。所以我决定用它来操作和弦的选择。

和弦选择器的构造对于弹吉他的人来说很熟悉。选择器被安置在前 3 根弦的前 5 个音符上,从本质上说,你通过选择和弦的最低音,使所有的声音变成你想要的和弦。我可能还会加入根据你手掌和手指的位置切换大调和小调的功能。

第三步:其他VR中的深度感知线索




当你在 VR 中使用视觉特效时,既要让它很明显,又不能让它分散了你的注意力。在第三部视屏中,Zach 添加了一种新的视觉特效来达成这样的平衡。




你是否会担心屏幕边缘的视觉特效会导致注意力分散?

我有一种不同的观点——把这些特效放在屏幕的边缘可以防止注意力的分散。我第一次尝试时,把指示深度的特效放在了“弹奏区”的前后两侧。当你缓缓的测试弹奏时,这很有用,但是当你尝试弹奏一些歌曲时,这些特效太不显眼,在快速移动时很难看清楚。如果你把特效变得更亮或者更粗又会使画面变得混乱不堪。

你在这次的视频更新中给这些特效用不同的颜色分了层。红黄绿表示你手的深度和你的手是不是在“演奏区”里。白色的亮块告诉你你切换和弦的手是不是在空中,浅灰色的亮块告诉你你的手和哪根弦对齐。这是一个有点复杂的系统,不过似乎很有用。关于这点你是怎么想的呢?

谢谢!迄今为止,我想我的最新的概念是在一条正确的轨道上。将视觉特效放在“弹奏区”周围确实使它们更容易识别,并且不会使你的注意力被弹奏以外的事情分散。

我的目标是让用户能看到这些视觉特效,并且觉得它们很有用,但不用真的把注意力放在这些特效身上。举个例子,你可能注意力集中在和弦的变幻上。,但是当你眼睛的余光看到红光一闪,你立刻就知道你的手何时何地移动出了“演奏区”。

当然,对于这些视觉特效的设计依然还是在一个初级阶段。当我改进它们的时候,我预感一些特定的颜色和形状比其他的更有效果,并且每一层的颜色要有明显的区别。要让这一套复杂的系统能很好的工作,这些元素还需要再进行平衡。


// share