frog实验揭示AI合成研究局限：速度不等于理解，需建立人机混合边界

多年来，我们这些从事设计研究的人一直在主张一个简单的理念：要设计出更好的产品、服务和体验，我们必须首先了解我们的设计对象。然而，这一观点很少能轻易被接受。加快发布的压力、有限的预算以及“我们已经了解用户”的假设，往往将研究排在了优先级的后面。

矛盾的是，这些决策本意是加速创新，但常常适得其反。人是不断变化的。他们的期望、行为、技术和情境都在改变。研究的存在不是为了证实我们自以为知道的东西，而是为了揭示在我们认为一切未变时实际发生的变化。

随后，AI 来了。曾经看似缓慢、昂贵且困难的事情，突然在几分钟内变得可行。合成研究——利用 AI 生成的用户、访谈和洞察来模拟研究活动——承诺将一项长期受时间和预算限制的能力民主化。

这是一个非凡的机会，也是一项新的责任。我们必须避免混淆速度与理解、连贯性与证据、概率与知识。AI 不仅正在改变我们进行研究的方式，也在改变组织学习的方式。问题不再是 AI 能否为我们做研究，而是如何在不牺牲将信息转化为证据——并将证据转化为更好决策——所需的严谨性的前提下，发挥其潜力。

错误的问题

当我们在 frog 首次开始试验支持 AI 的研究平台时，我们期待得到答案，但我们发现的是更好的问题。

我们的实验与研究界的一个新兴趋势不谋而合。正如 Nielsen Norman Group 在其关于 AI 和 UX 研究的反思中所强调的那样，真正的挑战不在于自动化研究，而在于在最能创造价值的地方保留人类判断力。

与此同时，我们看到越来越多的组织在定义何时使用以及如何治理之前，就采用了 AI 增强型研究平台。采用的速度超过了我们建立严格使用这些工具所需原则的能力。

优秀的研究不仅仅是寻找答案。它是关于发掘我们尚未想到要问的问题，揭示矛盾，并允许现实挑战我们的假设。真正改变决策的研究很少是令人舒适的：它们质疑确定性，挑战假设，并迫使我们重新思考方向。这种能力仍然属于人类。

问题不再是 AI 是否会取代研究的某些部分。而是我们如何将人工智能的优势与那些独特的人类特质结合起来。

因为研究的未来既不会是完全人类的，也不会是完全人工的。它必然是混合型的。

当研究变得合成化

过去几个月里，在 frog，我们从理论转向了实践。与其辩论合成研究能做什么，我们更想了解当它成为日常设计工作的一部分时会发生什么。

为了探索这一点，我们在不同情境下进行了一系列实验：比较合成用户与真实用户、测试界面、进行敏感访谈、评估原型和内部工具的用户体验，以及生成研究材料。目标不是验证工具本身，而是观察它们的行为方式、在哪里增加价值以及在哪里开始失效。

审视这些实验，一个一致的模式开始显现。合成输出清晰、结构化且易于使用。它们减少了噪音，压缩了复杂性，使推进工作变得更加容易。但这种清晰伴随着一种权衡：摩擦消失了。矛盾变得罕见，不确定性被过早地解决。

与真实用户相比，这一点变得尤为明显。在我们的场景中，真实访谈中的年轻参与者表达了犹豫，改变了想法，并难以阐明他们未来的选择。合成用户则不然。他们的回答连贯、自信且一致。在现实中是一个怀疑的过程，在模拟中变成了一个已解决的叙事。

在其他情境中也发生了同样的情况，包括对自然灾害幸存者的敏感访谈。虽然合成访谈可以重现尊重的语言和结构良好的叙事，但它们从根本上脱离了这些对话展开的方式。曾在真实环境中从事此类研究的人会发现，有一个细节变得特别清楚：这些访谈不仅关乎说了什么，还关乎如何说以及何时说。它们需要节奏、停顿以及即时适应的能力。合成访谈者即使配置了后续问题，也倾向于从头到尾运行而不质疑互动本身。它们不会停止；它们不会调整，也不会识别出参与者可能需要空间或对话应自然转向的时刻。

在可用性测试中，当评估原型和内部工具的用户体验时，交互感觉顺畅，甚至过于顺畅，没有犹豫或流失。在设计研究方案时，输出虽有结构但缺乏细微差别，需要进行大量返工才能变得可用。

我们所看到的并非错误，而是某种根本不同的东西。合成研究并不观察行为。它构建的是一个看似合理的版本。

这种区别很重要，因为它改变了我们所称“洞察”的本质。

应该自动化什么

一旦 AI 增强型研究成为流程的一部分，最实际的问题不是是否使用它，而是在哪里使用它可以在不扭曲结果的情况下提供帮助。

我们看到的是，合成系统在处理规模、重复性和结构性任务时表现最佳。转录、聚类、案头研究或早期综合等任务可以加速完成，而不会显著改变输出。在这些情况下，自动化减少的是工作量，而非意义。

这正是合成研究创造其最明确价值的地方。它允许团队探索更多方向，更快地组织信息，并在流程中更早地行动。它扩大了容量并减少了操作摩擦，特别是在目标是理解问题空间而非验证决策的早期阶段。

然而，这种优势只有在自动化保持在这些边界内时才得以维持。一旦它开始影响解释或决策，输出的性质就会发生变化。合成系统不仅仅是处理信息。它们塑造了我们所见的内容。

因为输出已经表述完整、结构清晰，并且往往具有足够的说服力以促成行动，准备与决策之间的界限变得模糊。看似效率的东西可能迅速转变为未经审视的假设。

这就是为什么研究中的自动化不仅仅关乎速度。它关乎理解正在被加速的是哪种工作，以及在此过程中可能被取代的是哪种思维。

必须保留人类的部分

如果合成系统扩展了我们可以自动化的范围，它们也澄清了什么不能委托给机器。

在我们所有的实验中，同样的局限性以不同的方式出现。合成输出难以应对的不是复杂性本身，而是那种依赖于情境、矛盾和亲身经历的那种复杂性。

判断力在这里至关重要。决定什么重要、什么相关以及什么应该受到质疑，并不是一个程序性的步骤。这需要解释、情境以及对那些没有明确可见的事物的意识。合成系统可以生成模式，但它们不理解为什么这些模式很重要。

意义也是如此。洞察力不仅仅是结构化的摘要。它是理解的转变，将信号与决策联系起来。它往往源于模糊性，源于那些不合时宜的事物，或者源于需要解释而非解决的时刻。

这在敏感或高影响的情境中变得更加明显。正如我们观察到的，合成系统可以重现人们如何描述体验，但不能重现这些体验是如何展开的。

合成的共情是语言上的，而不是体验上的。

这正是承认局限变得至关重要的地方。可信度不是证据。连贯的叙事不等于理解。而且，结构良好的输出并不能保证有效性。

这也是正确定位 AI 增强型研究的关键所在。它作为上游层运作良好，支持探索、假设生成和准备。但它不应被视为验证的唯一来源，特别是在决策依赖于真实行为的情境中。

下面的框架总结了这一区别，展示了 AI 赋能的研究在何处创造价值，在何处需要人类判断，以及在何处真实的人类证据仍然必不可少。

问题不在于 AI 能否取代研究，而在于每种方法在何处创造最大的价值。边界并非固定不变，但模式很清晰：当 AI 用于探索时，它拓展了思维；当它被用作证据时，它可能会限制思维。

这种转变直接引出了下一个问题：不仅是我们自动化什么或保留什么人类部分，还有两者应如何协同工作。

人类主导、AI 增强的模型

从我们观察到的一切中，出现了一个清晰的模式。合成研究最好不是作为替代品，而是作为结合人类判断和人工智能并带有明确界限的混合序列的一部分。

人类专业知识和 AI 并没有相互取代，而是在研究过程的不同时刻贡献不同的能力。我们的实验得出的不是一个线性的交接，而是一个迭代模型，其中人类专业知识和 AI 各自扮演独特的角色。

研究中并非一切都应该自动化。也并非一切都需要保持人类参与。挑战在于知道每种方法在何处创造最大价值。研究不再是人类与 AI 之间的选择。问题是每种方法应在过程中扮演什么角色。

在最佳状态下，这个模型并没有降低研究的角色。它重新定义了研究。研究人员的角色从收集信息转变为设计能够产生、挑战和转化为证据的洞察力的条件。

真正的挑战不在于我们自动化了多少，而在于我们如何审慎地将两者结合。

因为真正的风险并非 AI 辅助的研究是错误的，而是它变得足够令人信服，以至于让我们停止对其提出质疑。

因此，重要的不是顺序本身，而是这些角色之间界限的清晰度。当这些界限模糊时，问题就会出现。如果由 AI 定义问题，假设就会变得隐形。如果由 AI 驱动解读，合理性可能会被误认为是洞察力。

设计下一代研究能力

如果我们从这次探索中学到了一件事，那就是研究的未来不取决于谁最先采用 AI，而取决于谁学会了以最大的判断力将其整合。AI 迫使我们超越基于项目的研究视角，转向持续学习的组织。这需要的远不止是采用新工具。这意味着要决定哪些任务应该被自动化，哪些必须保持人类主导，以及如何在不损害严谨性的情况下结合来自真实用户、人工智能和行为数据的证据。

这也要求新的能力：评估 AI 生成的输出、识别偏见、验证证据，并建立治理机制以确定响应何时足够可靠以支持决策。矛盾的是，机器在生成答案方面变得越好，独特的人类能力就越有价值：提出更好的问题、解读细微差别、连接看似无关的信息以及挑战假设。

研究的未来不在于做更少的研究。而在于以不同的方式去做：更持续、更具战略性，并且必然是更混合的方式。

未来属于最善于学习的人

AI 将继续演进。模型会改进，新平台会出现，许多今天的局限性将消失。但最大的挑战不会是技术性的——它将是人类判断力的挑战。正如 哈佛商业评论 所论证的那样，竞争优势将不再来自更快地生产信息，而是来自批判性地解读信息和明智地应用信息。

多年来，研究的最大障碍是获得足够的证据以做出自信的决定。今天，我们面临着相反的挑战：答案在几秒内到达，但并非每个令人信服的答案都是证据。这种责任不再仅属于研究团队。它属于每一位对产品、服务、客户体验和创新做出决定的领导者。

在 frog，我们一直与已经采用这些技术的组织一起探索这一转型。我们不认为存在普遍适用的答案。但我们确信，竞争优势将不属于那些最先采用 AI 的人，而属于那些知道何时信任它、何时质疑它以及何时转而依靠人的人。

因为研究的真正价值从来都不在于产生答案。它始终在于帮助组织做出更好的决策。AI 将使答案民主化。证据将成为真正的竞争优势。而知道证据何时足够强大以塑造决策，仍将深刻地属于人类的能力。