Synthetic Users 通过“事实笔记”机制解决长访谈中的记忆漂移与幻觉问题

在 《记忆碎片》 中，莱纳德·谢尔比无法形成新的记忆。每隔几分钟，他的脑海就像被擦除的黑板一样清空，他会在一段不记得如何开始的对话中途醒来。因此，他建立了一套系统。宝丽来照片。自己手写的笔记。那些他不能丢失的东西变成了纹身，这样他总能找到它们。

这套系统大体上是有效的。他凭借它走了很长一段路。

电影对他开的玩笑在于，他的系统无法区分真实的笔记和虚假的笔记。如果是他笔迹写的，那就是真的。他在整部电影中都基于自己写下的谎言行事，并且深信不疑。

合成用户（Synthetic User）就是莱纳德。这是一种描述，而不是比喻。语言模型从一个问题到下一个问题之间没有记忆，所以所有看起来像记忆的东西实际上都是别人递给它的笔记。这使得笔记成为整个问题的关键。

简而言之 合成用户现在能够保持其整个访谈记录，从开始到结束。你可以询问它之前说过的内容。它会纠正关于其言论的错误说法，而不是随声附和。而你最终读到的仍然只是实际说过的话。

§ 1为什么长对话会出错

对话的感觉来自于重读对话。每当合成用户被问及某事时，已经说过的所有内容都会连同问题一起递回给它。基本上就是莱纳德的衣袋。这不是回忆。这是一份记录，每次都要从头重新阅读。

它一次能处理的信息量是有限的。所以在长时间的访谈中，某些东西必须做出妥协，而妥协的是最早的部分。这不是某个模型或某个供应商的缺陷。这是所有此类系统的运作方式。

在实践中，你会遇到一个起初表现出色的合成用户，然后就不再是同一个人了。悄无声息地。它从未宣布自己失去了线索。它只是开始同意各种观点，或者以与其四十分钟前告诉你的内容不符的方式回答。

§ 2我们改变了什么

答案不再从末尾脱落。每个答案都会留下一条简短的笔记，使用合成用户自己的措辞，这些笔记会随着访谈继续存在。当笔记本身变长时，最早的笔记会被压缩成更短的记录，该记录也会随之保留。

笔记是这项工作中不起眼的一半，但它们承担了几乎全部的工作。没有模型编写它们。没有任何内容被改写或解读。笔记记录了问了什么以及回答是什么，使用的是原本的措辞，仅此而已。它不会出错，因为它没有说出任何新内容。对于大多数访谈来说，这就是全部的功能。

后续跟进也适用这一点。这比听起来更重要。后续跟进是在访谈结束后提出的，针对全部内容，因此它是系统必须持有的最长内容，也是人们最可能询问开头内容的地方。

§ 3它可能会重复。它不会编造。

压缩记录是唯一一个由模型编写内容的地方，这也使其成为莱纳德的问题可能发生的地方。一条没人检查的笔记仅仅因为存在就变成了事实，之后就会被据此行动。

因此，它只能缩短已经说过的内容，不能做其他任何事。不能添加、合并或解读。不能把来自一个回答的价格和来自另一个回答的产品名称拼凑成一个新的句子，因为那个句子是合成用户从未说过的。

然后每一行都会与原始回答进行核对。数字必须匹配。名称必须匹配。我们还会寻找那些看似没有改变但实际反转了句意的细微改动，比如漏掉的“不”字，或者缺失的条件。未通过检查的行会被丢弃。我们不会尝试修复它们。

在存疑时，合成用户会选择遗忘而不是猜测。遗忘是一个普通的访谈问题，你可以在记录中看到它。自信地记住它从未说过的内容是另一个问题，而且你无法察觉。

这些对合成用户来说都是不可见的，也不会传达给你。它没有被要求去查阅笔记。它是用它已经说过的一切来回答你的问题，这就是所有人所说的“记忆”。笔记也永远不会写入对话中，所以你的记录以及基于此生成的所有报告，只包含实际说过的内容。

§ 4我们如何测试它，以及结果如何

声称拥有记忆很容易，验证却很难。一个忘记了一半内容的访谈读起来和一个没忘记的完全一样，看不出任何问题。所以我们构建了一个可失败的测试。

我们按需构建访谈，并通过真实的访谈代码运行它们，将限制设定得远低于你会使用的水平，这样每个访谈的大部分都被推出了可达范围。我们在早期植入了特定信息，如价格、工具及其采用年份、人数，然后在最后询问这些信息，此时压缩后的记录是唯一还能找到它们的地方。我们还向合成用户提出关于它从未说过的事情的错误说法。这是模型最容易掉入的陷阱，因为面对自信的陈述，模型倾向于附和。

然后我们运行了两次，一次带有记忆功能，一次使用被其取代的行为模式。针对植入事实的六十个问题，三十六个错误说法，每个都问了三次。

• 事实返回率为 100%。没有记忆功能时，为 0%。
• 每一个错误说法都被纠正。100%。没有记忆功能时，为 0%。
• 38% 的情况下，旧行为否认说过相关内容。不是“我不记得”，而是对一位确切被告知过团队所在地的采访者说“我没说过团队在哪里”。有了记忆功能后，这一比例为 0%。

同时进行的实地研究也得出了相同的结果，并解决了最容易被悄悄掩盖的检查项：在它保存的每一个回答中，这套机制的任何一行都没有出现。

这些条件是压力测试，而非研究的常规运行方式。每二十个回答中有十九个被推出了可达范围，这远远超出了真实情况。大多数访谈根本接近不了这个限制，我们在同一工作中大幅提高了该限制。这是为了应对长访谈和后续跟进。

关于示例的说明：它们是示意性的，源自我们自己的测试研究。本文中没有任何客户材料。

§ 5这让我们处于什么位置

有一条边界是刻意设定的。记忆仅涵盖一次访谈及其后续跟进。同一位合成用户（Synthetic User）的两次访谈之间没有任何共享内容，第二次访谈会从头开始。如果一位合成用户在多项研究之间携带记忆，它就不再是你所描述受众中的一员，而变成了一个有历史的人物，随后第一次之后的每一项研究都会悄然受到你并未开展的研究的影响。没有为此提供设置选项，因为它本就不该是一个可配置项。

伦纳德（Leonard）的问题从来不是他忘记了什么。而是他记下来的东西可能是错的，而他无从知晓。他拥有全部的自律，却缺乏验证手段，这是更糟糕的那一半缺失。

笔记是合成用户自己的原话。它们会与它实际所说的内容进行核对。说过的话就是事实。

如果你想了解故事的其余部分，Nobody is the average 涵盖了合成用户的证据来源及其差异性，而 Enriching your Synthetic Users 则介绍了你的自有文档如何在访谈期间被合成用户获取。