ConverseMR：混合现实界面中对话式控制与直接操控的互补性研究

在混合现实环境中，用户能否通过自然语言实时调整界面行为，以及这种控制方式相比直接操控有何优势，此前尚不明确。针对这一空白，研究者首先通过19名参与者的访谈，梳理了用户口头表达界面适应需求的具体方式。在此基础上，团队开发了名为 ConverseMR 的系统原型，该系统能将用户的语音请求转化为具体的界面适应目标与约束条件，并随着用户任务和环境的变化持续自动执行这些调整。

为了验证该系统的实际效用，研究团队开展了一项包含24名参与者的被试内实验，对比了“对话式控制”与“直接操控”两种交互模式。实验结果显示，这两种控制方式并非相互替代，而是具有显著的互补性：直接操控在需要高精度微调的场景下表现更佳，而 ConverseMR 支持的对话式控制在覆盖范围和表达丰富度上更具优势。当参与者结合使用这两种方式时，其主观评价最高。此外，研究发现语音指令很少是一次性完成的最终状态，用户在看到系统响应后，往往会频繁地修改或替换之前的指令。这种行为特征被定义为“用户主导的适应”，即用户负责传达适应需求，而系统负责识别并生成解决方案。这一发现为混合现实界面的自适应机制设计提供了新的视角，强调了多模态交互协同的重要性。