跨设备运动交互通过苹果的原生系统框架.pdfVIP

跨设备运动交互通过苹果的原生系统框架

EzequielFrançadosSantos

PhDStudentinDigitalGamesDevelopment

IADE—UniversidadeEuropeia

Lisbon,Portugal

/0000-0001-9321-8444

摘要—我们介绍了一个开源的、完全离线的工作流程，它将本文介绍了一种利用原生Apple框架的简化管道，

一款消费级iPhone转变为一个具有实时触觉反馈的运动控制将标准消费级iPhone转换为具有集成触觉反馈的点对

器，仅使用原生的Apple框架。该系统旨在快速原型设计和应点运动控制器。具体来说，我们的实现使用了核心运

用移动HCI场景，集成了核心运动用于惯性感应，多点连接性

动进行高频惯性数据采集[8]，应用基于阈值的手势检

用于以Hz速率进行点对点数据传输，并且通过核心触感技术

本提供即时触觉确认。内置的日志记录器捕获端到端延迟，无需时测来进行实时输入识别，采用多点连接性[9]进行可

译钟同步，产生典型的GHzWi-Fi(dBmRSSI)下平均延靠且低延迟的无线通信，无需外部网络依赖，并利用

中迟为ms和第95百分位数低于ms。我们通过一个实时核心触感技术[10]在手势验证时即时触觉响应。一部

1演示游戏保持冷静验证了该管道，在一次有21名参与者参加的iPhone13mini用作运动控制器，以Hz的速度向运

v公开活动中部署。结果显示稳定的连接，零数据包丢失，并且几行于macOS或iPadOS设备上的主机应用程序传输结

0

1乎可以忽略不计的影响电量(mW在iPhone13mini上)。构化的IMU数据包。识别的手势（如设备倾斜）会触

1使用少于500行的Swift代码并且不需要依赖云端基础设施，

1该系统为具身交互研究、休闲游戏和离线教育工具提供了一个发特定的游戏内操作，并立即通过短暂的触觉脉冲进行

0.紧凑且可重现的基础。所有源代码、延迟日志以及配置脚本均在加强，以此增强交互响应性和用户体验。

8

0MIT许可证下公开发布。我们通过一个名为保持冷静的交互式演示游戏来

5IndexTerms—跨设备交互，动作输入，触觉反馈，多点验证这种架构。该游戏是使用Apple的原生UI和图形

2连接性，移动人机交互，点对点通信

:框架开发的：SwiftUI，Apple用于在所有Apple平台上

v

iI.介绍构建应用程序的声明式UI框架[11]，以及SpriteKit，

x

r一个高性能的2D游戏渲染框架[12]。演示程序利用了

a先前的研究还展示了手机对手机运动游戏的实用

开源Swift库多点套件[13]来实现无缝的对等发现和可

性可行性[1],探讨了跨设备纸牌游戏中使用的挑战性

靠的传输。所选的实现强调简单性、极低的延迟和高效

问题[2],并确定了跨设备交互在现实世界部署中的更

的电源使用，使其非常适用于休闲游戏场景、课堂演示

广泛考虑因素和用户体验要素[3]。

以及快速原型开发环境。

跨设备交互仍然是人机交互研究的一个活跃领域，

随着现代智能手机和平板