Red Hat ResearchOps 试点研究揭示：远程访谈中仅凭直觉识别 AI 作弊存在“自信悖论”，需建立多线索检测机制

你有没有见过那种看起来完美无缺的筛选问卷回答，其中每个答案的语法和结构都无可挑剔？或者你可能参加过一次研究访谈，并怀疑参与者是否只是一个异常专注的人，或者是该产品的狂热粉丝。

在我担任软件公司 Red Hat 的 ResearchOps 管理员大约两年后，我注意到研究人员对研究参与者的怀疑在招募和虚拟访谈期间逐渐成为一种默认态度。研究人员开始将他们研究中多达 20% 的参与者标记为“欺诈者”；怀疑他们使用 AI 工具来回答问题。偶尔遇到欺诈性参与者并不是新鲜事；我们提供金钱激励，并优化了我们的招募筛选器，以过滤掉由专业欺诈者构建和管理机器人以及伪装专业知识以获得资格的较不复杂的个人。研究人员不再像以前那样对不完整、缓慢或粗糙的回答持怀疑态度，现在他们对那些显得过于完美、过于见多识广的人也持怀疑态度。

在一篇题为“用户研究中欺诈的未来十年：保持领先的指南”的用户访谈博客文章中，¹ 用户研究咨询公司 Curiosity Tank 的创始人 Michele Ronsen 将这一波新的欺诈浪潮描述为“更快、更聪明，并且往往与合法参与无法区分”。同样来自 User Interviews 的“2025 年研究运营现状”²报告指出，来自 AI 机器人的垃圾数据以及“参与者使用 AI 绕过开放式回答筛选器，甚至在实时会话中使用 AI”是 ResearchOps 团队进入 2025 年的首要担忧。由于越来越多的参与者被取消资格，我想知道研究和 ResearchOps 同事能在多大程度上准确区分 AI 和人类。如果我们错误地将一个人标记为“作弊者”，我们可能会损害与真正希望帮助改进产品的客户和公司合作伙伴的关系。如果我们漏掉了太多作弊者，我们就冒着用我们误以为来自人类的合成响应污染数据的风险。

为了更好地了解这一挑战，我阅读了人才招聘领导者如何应对求职面试中的作弊行为——这与研究访谈类似的情境。他们使用了哪些检测工具、作弊“迹象”和方法来筛选或吓退作弊者？虽然我们可以从他们的框架中学到很多，但我想专门在用户研究背景下调查这一威胁。我设计并执行了一项试点研究，其中参与者和研究人员均匿名化，以测试我们团队自身在访谈中针对实时 AI 工具的防御能力。结果揭示了我们自身检测直觉中的缺陷，并确定了我们可以采取的具体运营转变以保护我们的数据。

编者注：本文最初发表于ResearchOps Review，你可以在此处阅读。

作弊工具

除了 ChatGPT 和 Claude 等最流行的 AI 工具（它们可以即时生成答案）之外，过去两年里涌现出一个资金充足、不断壮大的产品行业，旨在帮助人们在视频通话中回答问题。这些工具会监听面试官和受访者的对话，观察屏幕内容，并在问题提出后的几秒钟内生成特定情境下的答案。我没有发现任何专门针对研究参与者设计的作弊工具，但显然这些会议工具同样适用于远程研究环节。

Cluely 公开宣传为一款“在一切事情上作弊”的工具。他们声称拥有 95% 的转录准确率、300 毫秒的响应时间（相当于你眨一次眼所需的时间），并且能够跟随用户的视线以避免被检测。在发现这个工具后，我立即要求我的经理与我进行一次快速测试。她下载了该工具，并使用 Cluely 生成的回答迅速回应了我关于攀岩的问题（她对这一话题一无所知）。目睹了该工具自然的回答和实时的速度后，下一步是探索其可检测性。研究人员确信他们可以识破作弊者，但他们的准确度如何？如果参与者能够如此轻松、廉价且隐蔽地伪造答案，甚至是在他们完全不了解的话题上，我们还能继续依靠直觉来剔除参与者吗？为了找出答案，我进行了一项小型试点研究，看看我们是否能识破作弊者，并将其作为未来调查的起点，以及在我们的运营中构建解决方案的基础。

试点研究

研究设计涉及我团队的四名成员担任访谈参与者。每位参与者就有趣且与工作无关的话题完成了两次简短访谈，这些话题要么是他们非常熟悉的，要么是完全陌生的。话题涵盖电视剧如 Friends、电影如 Pirates of the Caribbean、爱好如巴西柔术，以及兴趣如动漫。在“AI 辅助”条件下，参与者被允许使用 Cluely。在“人类”条件下，他们基于真实知识作答。一名主持人进行了所有访谈，且不知道任何参与者处于哪种条件，这在很多方面类似于派对游戏“Mafia”，其中不知情的玩家试图根据肢体语言嗅出“杀手”。随后，来自用户体验设计团队的十一名观察者（包括研究人员、经理以及从事研究工作的人员 [PWDRs]）分析了录音，识别他们认为每次访谈属于哪种条件，并在五点量表上评估他们的信心水平。我还要求他们记录做出判断的原因。

结果概览如下：

• 总体准确率。观察者在八十二次判断中正确分类了六十四次回答，表明研究人员正确的次数多于错误的次数
• 真实人类回答。在评估真实的人类互动时（未使用 AI 辅助的研究），观察者在每五次评估中有四次成功验证了真实性。这又是一个不错的结果。
• AI 辅助回答。在评估参与者使用实时隐蔽 AI 软件的会话时，检测准确率降至每四次评估中有三次。
• 误识别风险（假阳性）。最大的数据风险出现在观察者错误地将真实的人类参与者标记为 AI 用户时。尽管完全判断错误，观察者报告的置信度指标仍为 5 分制中的 4.5 分——他们对自己的错误判断感到“非常自信”到“极其自信”。

令人鼓舞的是，研究人员总体上能够识别出这些访谈中何时使用了 AI。然而，研究结果揭示了在依赖直觉方面的一个弱点：当观察者在 AI 使用问题上判断错误时，他们并非犹豫不决；相反，他们的信心是 最高 的。在本研究中，观察者确信自己抓住了作弊者的时刻，恰恰是他们最可能出错的时刻。

置信度悖论

研究人员擅长模式匹配，持续的访谈经验有助于他们培养一种直觉，了解真实的回答看起来和听起来是什么样——以及不是什么样子。但如果他们的直觉没有跟上最新技术的发展速度，并且如果有更多参与者使用 AI 作弊而研究人员处于高度警惕状态，那么同样的直觉可能会产生误导。

商业风险不仅仅在于漏报（假阴性），尽管这也是值得解决的风险。凭直觉行事的研究人员可能会取消真实参与者的资格，导致团队失去已付费的数据，并在此过程中损害参与者与样本库的关系。而且，由于研究运营很少包含事后确认参与者及其分享见解的真实性或虚假性的方法，研究人员可能会带着认为自己做出了正确判断的信念离开，并将同样有缺陷的模式应用到后续的会话中。

幸运的是，直觉并不是我们唯一的工具。如果我们能识别出 AI 辅助的真实迹象，并将这种专业知识融入研究运作方式中，我们就能自信地标记出作弊者并保护我们的数据。那么，你如何判断某人是否在使用 AI 作弊呢？

暴露作弊者的迹象

该研究的定性结果特别有趣，因为它们揭示了观察者在远程访谈环境中使用了哪些线索，以及哪些线索具有预测性。参与试点研究的观察者表示：“他经常大声重复问题，这感觉像是在拖延时间”，以及“当软件卡顿时，她似乎显得很慌乱”。而且他们说对了。这些标志在 正确 的 AI 识别中一致出现：

• 固定的屏幕外视线。尤其是每次回答都回到同一个位置的视线。与人们思考时随意的向上瞥视不同，这些是精确、重复地看向同一位置的视线，几乎总是表明参与者正在阅读生成的回答。
• 作为拖延模式的填充语言。参与者在每个回答的开头插入诸如“我想”或“这是个很好的问题”之类的短语，随后伴有持续一致的停顿长度。这通常与某人争取处理时间来审查 AI 生成的答案相关。作为一种额外的拖延策略，使用 AI 的参与者也常常将问题复述给面试官。
• 过度具体。AI 生成的回答往往像百科全书。它们使用完整的句子，包含不寻常的细节，缺乏人们实际谈论工作时那种自然的杂乱感。真正的专家会跑题、自相矛盾，有时甚至忘记他们每天使用的系统名称，而合成的专家则不会。
• 每个问题后的打字声。许多模型已经免除了参与者打字的需要。然而，如果参与者使用的是较旧的模型，或者他们的软件没有按计划运行（我们在使用 Cluely 时确实出现了一些小故障），那么清晰的打字声，尤其是在提问后沉默期间的打字声，是一个强烈的指标。

另一方面，与真实回答相关性最可靠的标志是：

• 个人分析。参与者经常用“我觉得……”或“在我的经验中……”等短语将答案锚定在主观框架中，并提及混乱的现实情况或他们认为并非多数人持有的观点。例如，参与者可能承认，虽然行业标准是使用特定的自动化工具，但他们觉得它很麻烦，转而依赖简单的电子表格。
• 自然的遗忘或口误。在真实的回答中，常见的是听到句中的矛盾、跑题，或参与者承认忘记了某个事实。
• 漂移的眼动。当人们思考时，他们的眼睛通常会游移。真实参与者的目光往往会漂移以检索记忆或构思复杂想法。关键在于，这些动作绝不会锁定在一个僵化、重复的循环中。与某人扫描 AI 生成段落时的固定动作不同，真实的眼动结构较少。
• 与言语自然同步的手部和身体手势。真实参与者会在对应的词语离开他们嘴里的确切时刻使用手势、靠近镜头或点头以强调观点。因为他们不必将认知能量分配给倾听、阅读隐藏屏幕和说话，所以他们的肢体语言与声音流畅地配合。

误导我们的线索

可以说，试点参与者意识到他们在寻找作弊者，因此对可疑行为特别警惕。这是真的。但是，如前所述，AI 作弊的普遍性意味着研究人员现在通常默认处于这种警惕或怀疑状态。诸如“他回答得太快了，不可能是在实时使用 AI”，或“她似乎凑近查看屏幕上的回复”之类的评论，是观察者认为确凿无疑的迹象，但事实证明它们没有帮助——或者更糟，具有误导性。

两个最突出的错误迹象涉及回答速度：

• 长停顿骗过了几乎所有人。人们需要很长时间来思考，尤其是当被问及以前未曾表达过的内容时。一个停下来寻找恰当词汇的真实专家，表面上与等待语言模型的欺诈参与者无法区分。停顿并不是作弊的准确指标。
• 快速、自信的回答并非真实性的证据。 AI 工具可以近乎实时地向参与者提供答案——同样是一瞬间的事——而经过指导的参与者可以流利地读出这些答案。随着这些工具的快速发展，你不能再依赖快速回答作为真实性的标志。

归根结底，这些虚假指标证明技术已经发展到我们必须重新评估检测方法的程度。

这对 ResearchOps 意味着什么

我认识的大多数 ResearchOps 团队都围绕一组熟悉的风险建立了参与者治理机制，例如欺诈身份、重复参与者、回应偏差以及利用筛选器作弊以确保入选研究。AI 辅助参与与所有这些风险都有重叠，但并不完全适合现有的控制措施。此外，AI 工具改进的速度意味着 ResearchOps 专业人员，或任何招募参与者或采访用户的人，都在不断追赶。

为了防范当前一代的 AI 工具，以下是应纳入运营的四项转变：

• 用多线索阈值取代凭直觉的淘汰。 信心悖论意味着观察者，无论多么有经验或自信，都不应仅凭直觉淘汰参与者。为了支持我的团队，我整理了一份 主持人真实性检查清单，列出了 AI 作弊指标（固定凝视、可听到的打字声和百科全书式的答案）、真实性标志（个人分析和自然遗忘），并明确提醒长时间停顿和快速回答并不是可靠的判断依据。
• 鼓励讲故事。 促使研究人员在讨论指南中加入问题，鼓励参与者分享个人故事、感受和观点，而不仅仅是事实。关于失败、挫折和放弃的问题尤其能揭示真相。真正的专家可能有一长串不起作用的事情、让他们感到尴尬的变通方法以及他们已经放弃的功能。AI 倾向于生成外交辞令般、平衡的回答，赞扬概念并指出需要改进的地方。
• 在参与者协议中包含 AI 条款。 在参与者协议中明确声明，使用 AI 辅助将导致回答无效并丧失奖励。鼓励参与者用自己的声音表达，并强调不需要完美。虽然这无法阻止最坚定的作弊者，但它向参与者表明你对这种类型的欺骗保持警惕。
• 考虑部署专门的面试欺诈检测软件。 一些选项包括像 Sherlock AI 和 Polygraf AI 这样的平台，它们使用多模态机器学习和实时语音转录来标记不自然的响应延迟、机械的眼动模式或完美的、由 AI 脚本生成的语言结构。对于定性 AI 主持的访谈，Conveo 或 Strella 增加了一层额外的防御。这些工具使用自适应 AI 主持人，通过后续问题对模糊或外交辞令般的回答进行反驳，旨在干扰那些使用实时 AI 作弊助手的参与者。

未来研究至关重要

虽然这项试点研究依赖于来自同一团队的十一名本地观察者，并聚焦于科技行业，但我认为未来在这一领域的研究存在机会——这些研究可以帮助所有人更好地管理由 AI 驱动的参与者欺诈行为。将研究范围扩大到更广泛的研究社区中更大、更多样化的观察者群体，可以揭示检测准确率如何因专业背景和行业的不同而变化；而将研究扩展到更大的数据集，则能提供验证这些定性模式所需的统计显著性。

此外，将研究设计从轻松的非工作话题转向高度技术性的主题，有助于确定当讨论的认知负荷和复杂性增加时，AI 检测率是否会发生变化。调查除 Cluely 之外更广泛的隐蔽助手，也能让研究人员区分通用的 AI“破绽”与特定产品的线索。

最后，引入屏幕共享任务，即使使用旨在保持不可检测的工具，也会增加一层操作复杂性，这可能会阻止参与者尝试欺诈。如果你确实实施了欺诈检测软件以防止此类作弊行为，请测试这些工具，以确保自动化系统不会继承人类观察者中发现的相同偏见。

AI 作弊与有意合成的数据

当我最初开始探索用户研究中的 AI 作弊问题时，我发现对话往往涉及两个相关的问题，而且人们对 AI 在用户研究中能够且应该如何被整合持有强烈的观点。第一个问题是参与者的 AI 欺诈，第二个问题是合成用户：即故意用 AI 生成的档案来代替真实的参与者。

在他们的文章《合成用户：何时以及如何利用 AI 生成“研究》³中，Nielsen Norman Group 的 Kate Moran 和 Maria Rosala 得出结论，合成参与者“无法取代通过研究和与真人交谈所获得的深度和同理心。他们经常提供肤浅或过于有利的反馈。”值得注意的是，他们的文章发表于 2024 年。尽管如此，许多研究人员都会得出这一结论。然而，正如通用 AI 工具已大幅改进一样，合成数据的质量也已提高。现在，合成参与者可以成为一种快速且具有成本效益的方式，用来模拟传统上较难触达的广泛人口统计特征。

在我看来，合成数据将越来越多地作为用户研究中的一种有意工具被使用，特别是在快速构思和假设生成方面。但如果我们用它来补充来自人类参与者的数据，那么确保我们可以信任我们所招募的人类提供真实的意见——包括长时间的停顿、漫谈和沉思——而不是像 Cluely 这样的工具生成的通用 AI 回应，就显得更为关键。

那些措辞完美、打磨精致的回答，曾让研究人员惊叹于找到了“理想”的参与者，如今却成了我们怀疑的基准。这种不断变化的格局迫使我们重新评估在远程研究环境中真实的人类参与究竟是什么样的。作为 ResearchOps 专业人士，我们的挑战在于领先于那些旨在欺骗我们的工具，意识到我们偶尔有缺陷的直觉，并继续寻找真实的回应。最终，造成这场信任危机的技术很可能将成为我们用来解决它的工具。