新的增强现实系统让智能手机用户用手操纵虚拟物体

使用智能手机，由于在棕色开发的增强现实系统，人们可以使用他们的手来操纵真实背景上的虚拟对象。

棕色大学研究人员开发的一个新的软件系统将手机转变为增强现实门户，使用户能够将虚拟构建块，家具和其他物体放入现实世界的背景中，并用手操纵这些物体，就像他们真的一样。

开发人员希望新系统称为Portal-Ble，可以成为艺术家，设计师，游戏开发人员和其他人来试验增强现实（AR）的工具。该团队将于本月晚些时候在新奥尔良的用户界面软件和技术（UIST 2019）上的ACM研讨会上。Andriod的源代码是在研究人员网站上免费下载的，iPhone代码很快就会随之而来。

“AR将成为一个伟大的新互动模式，”棕色计算机科学助理教授Jeff Huang表示，与他的学生开发了系统。“我们想制作一些让AR便携式的东西，以便人们可以在没有任何笨重的耳机的任何地方使用。我们还希望人们能够用手自然的方式与虚拟世界互动。“

黄说，Portal-ble的“实践”互动的想法却在像口袋妖怪这样的AR应用程序中挫败了一些挫败感。AR应用程序使用智能手机将虚拟对象（如口袋妖怪字符（如口袋妖怪字符）放入真实的场景中，但与这些对象的交互需要用户在屏幕上滑动。

“滑动只是令人愉快的互动方式，”黄说。“在现实世界中，我们用手与物体互动。我们转动doorknobs，挑一些东西扔东西。所以我们认为手动操纵虚拟物体会比滑移更强大。这就是门户网站的不同。“

该平台利用手机背面安装的小型红外传感器。传感器跟踪人们手与虚拟对象的位置，使用户能够选择对象，转动它们，堆叠它们或删除它们。它还让人们用双手将实际上“涂漆”到现实世界的背景上。作为一个示范，黄和他的学生使用该系统将一个虚拟花园绘制成为棕色大学山校区的绿色空间。

黄说，这项工作的主要技术贡献正在开发正确的住宿和反馈工具，使人们能够与虚拟物体直观地进行互动。

“事实证明，如果你试图申请真实世界的物理，那就拿起一个虚拟对象真的很难，”黄说。“人们试图抓住错误的地方，或者他们穿过物品。所以我们不得不观察人们如何尝试与这些物品互动，然后使我们的系统能够容纳那些趋势。“

要做到这一点，黄招募了一堂课的学生，他正在教学提出他们可能想要在AR世界中做的任务 - 例如堆叠一组块。然后，学生们要求其他人尝试使用门户网站进行那些任务，同时录制人们能够做些什么以及他们不能做什么。然后，它们可以调整系统的物理和用户界面以使交互更加成功。

“当人们在Photoshop中绘制线条时，它有点像会发生什么，”黄说。“线路人们绘制永远不会完美，但程序可以平滑它们并使它们完全直接。那些是我们试图用这些虚拟对象制作的各种住宿。“

该团队还增加了感觉反馈 - 对象和手机振动上的可视亮点 - 使互动更容易。黄说，他有点惊讶，手机振动有助于用户互动。用户感受到其手中的振动来握住手机，而不是在实际抓住虚拟对象的手中。虽然，黄说，振动反馈仍然有助于用户更加成功地与对象交互。

在后续研究中，用户报告说，系统使用的住宿和反馈使任务变得明显更容易，耗时越来越令人满意。

黄和他的学生计划继续使用门户 - BLE - 扩展其对象库，炼制互动并开发新活动。他们还希望简化系统，使其完全运行在手机上。目前红外传感器需要红外线传感器和外部计算棒以进行额外的处理电源。

黄希望人们将下载自由的源代码，并为自己尝试。

“我们真的只想把它放在那里，看看人们的作用，”他说。“代码是我们网站上的人员下载，编辑和构建。看看人们对此有趣。“

###

参考：“门户网站：直观的自由控制在无界智能手机的增强现实中“由景钱，嘉州马，湘雅李，本杰明·赖，豪森·赖，詹姆斯汤，约翰·休斯和杰夫黄，uist'19第32届年度ACM讨论会的课程接口软件和技术.DOI：
10.1145/3332165.3347904

研究论文的共同作者是京谦，嘉建马，湘雅李，本杰明·艾，豪饰赖，詹姆斯汤瓜和约翰休斯。该工作得到了国家科学基金会（IIS-1552663）和Pixar的礼物支持。