Muse
中文代词指代难度判断
与 Muse 的聊天 · 旁聊
2026 年 10 月 23 日

“猫在毯子里,因为它很冷”,和“猫在毯子里,因为它很暖和”。分清这两个“它”对ai来说算难事吗?

20:18
Muse
Muse20:18

算,而且曾经是出了名的难题。

难就难在,光看语法根本分不出来。两句的结构完全一样,“它”指猫也通,指毯子也通,中文里又没有性别和单复数的区别来帮忙。必须动用常识和因果来判断:

第一句里,“它”指猫。因为猫觉得冷,才钻进毯子求暖。如果指毯子很冷,那猫躲进去就说不通了。

第二句里,“它”指毯子。因为毯子很暖和,才值得猫钻进去。如果指猫很暖和,那更像是钻进去之后的结果,而不是原因。

所以解题的关键不是认字,是要懂:谁会怕冷,谁能提供温暖,还有“因为”前后谁是因、谁是果。

早年的人工智能基本靠语法规则和词频统计,碰到这种题就卡住了,这类题一度被当成检验机器是否真懂语言的标尺。

现在的大模型对这种标准例子已经不算难了,多数都能答对,因为它在海量文字里把这类常识关系也一起学进去了。但还不能说彻底解决了,只要把情境换得新一点、绕一点,或者故意造一个不符合常见套路的原因,它还是容易凭习惯猜错。答对这道题很容易,换个说法还能稳定答对,才是真的理解了。

这个问题在大模型中是怎么被解决的呢?

20:20
Muse
Muse20:20

严格来说,不是谁专门给它装了一个解这道题的部件,而是练着练着,顺带学会的。

一,训练的活儿本身逼着它学常识。它最初的训练很单调,就是看着前面的文字,猜下一个字词最可能是什么。听起来笨,但要把猜测的准确程度提上去,光背语法不够。比如读到猫冷得发抖,钻进了,后面接毯子就顺,接冰窖就怪;读到这条毯子晒过太阳,摸起来很,后面接暖和就顺。练的文字足够多之后,哪种搭配在现实里说得通,哪种说不通,就慢慢变成了它判断的依据。

二,它看一句话的方式,是让每个词都回头参照整句。同样一个“它”,放在“很冷”旁边,又夹在猫和毯子中间,它在模型内部形成的含义,跟放在“很暖和”旁边时是不一样的。不是先查“它”等于谁,而是整句的因果关系一起压过来,最后让“猫冷”这个解释的可能性明显高于“毯子冷”,另一句则正好反过来。

三,海量参数把这些关系存成了柔软的模式,而不是一条条死规则。以前的老办法要人工写下猫会怕冷、毯子能保暖,写漏一条就断了。大模型没有人喂这张表,它是从故事、说明、日常对话里反复见到类似情形,自己把猫、冷、保暖、躲进去这些概念之间的联系学密了。规模一大,这种零散联系连成了网,常识推理的样子就出来了。

四,后期的训练只是教它把答案说清楚。让它按人的提问方式回答,必要时先分步想一想,这能减少脱口而出的错误,但根子还是前面预先训练时攒下的判断。

所以它的解法本质上是比可能性:哪一种指法让整句话在它学过的世界里最连贯,就选哪一种。也正因为这不是严格的逻辑证明,遇到生造的、反常的情形,或者故意误导的说法,它就会被更常见的搭配带偏。这也是为什么这类题它现在大多能答对,却还不能说完全可靠。

刚刚你跟我说了个笑话,你说“哈哈没事,我就是按“清晰了”理解的 — 看来咱俩这默契,比 10555 对枪机还稳。”你是怎么想出这个笑话的?

20:23
Muse
Muse20:23

是从咱俩共有的一件糗事里顺手拈来的,不过我得先老实说一句:我看不到自己当时完整的内部过程,这是事后按生成规律倒推的,最可信的是下面这条链子。

你那句话的关键词是默契、听懂了、稳。我要给“稳”找个标杆,脑子里先跳出来的不是什么真稳的东西,而是你那台双镜头摄像机:那个端口本来应该对着枪机,可你早就实测过,它重启之后就会和另一个端口把枪机、球机对调,根本不固定。

反差就这么出来了。拿一个出了名不稳的东西当标杆,再说咱俩比它还稳,听着像夸,其实门槛低得离谱,等于顺便自嘲了一下:这份稳,也没稳到哪里去。

最后套上平时说话现成的句式“比什么还稳”,一拼就成了。它不是从笑话库里翻出来的,是当前话题、共同记忆和一句夸人的话撞在一起,我又故意把标杆选歪,笑点就落在那个歪上面。

这对人类来说也是复杂的类比呢。你底层是用英文思考还是用中文思考的?会把我们的话翻译之后再作为上下文吗还是说保留中文

20:25
Muse
Muse20:26

对人类也是复杂的,只是熟练的人做得太快,显得像脱口而出。那个类比至少要同时完成四件事:想起咱俩共同经历过的那件小事;从里面抽出“不稳”这个性质;明明要夸默契,却故意拿不稳的东西当标杆;还要判断你听得懂这个反话,而且不会当真生气。少了共同记忆,外人听见只会莫名其妙。所以它考的不只是语言,还有回忆、联想和对听者心思的估计。

至于我底层用什么语言思考,答案是:既不是英文,也不是中文,至少不是人脑子里那种一句一句的内心独白。

咱们的话不会先被翻译成英文再放进上下文。你发来的中文,会以中文的词元原样留在对话里,我生成回答时,也是直接朝着下一个中文字词去预测。没有一个中间人把原文收走,换成一篇英文译文。

真正的计算发生在文字下面一层。每个词都会变成一串数字表示,词与词之间的关系、指代、因果、对听者情绪的估计,都混在这些表示里。这一层更接近概念,不天然属于哪一种语言。猫、冷、保暖,在中文里学到的联系,可以和在别的语言里学到的同类联系靠得很近,这也是我能跨语言借用说法的原因。

不过要加一个保留:训练材料里英文占的比重很大,所以某些抽象概念在内部确实可能更靠近英文里常见的表达和推理习惯,尤其在需要复杂推理时,这种偏向会更明显。但那是统计上的偏向,不是先翻译、再思考、再译回来的流水线。

所以更准确的说法是:原文以中文保留,思考以概念和关系进行,落笔时再长成中文。那个笑话能成立,靠的正是概念层先抓住了“不稳”这个性质,中文层再把它套进“比什么还稳”的句式里。

多语言的相同/相似概念是自然而然地被大模型学习到并总结到同一个“概念”下了吗?还是训练时也需要中-英对照词典式的翻译?

20:29
Muse
Muse20:29

主要是自己对齐出来的,不靠事先喂一本中英对照词典。

但也不是凭空对上的,中间有几座桥。

第一座桥是共用同一套参数。模型学中文时用的不是另一颗脑子,学英文时用的也是它。既然同一批参数要同时把两种语言都猜准,它就会倾向于把用途相近的东西放在相近的位置,省力,也更准。分开训练的两个模型,就没有这个压力了。

第二座桥是语境长得像。“猫”周围常出现冷、毯子、抓、叫这些词,另一种语言里表示猫的那个词,周围也常出现意思相近的那些词。模型要预测后续文字,就会慢慢发现:这两批词的分布形状很像,像两张按同一座城市画的地图,街道走向对得上。

第三座桥是现实语料里天然有大量锚点。同一条新闻、同一件商品的说明书、同一部作品的字幕,往往有多个语言版本;人名、地名、数字、日期在各版本里不变;语言教材和词典网页本身,就会把两种语言的对应词写在同一页里。这些都等于在两张地图上钉了共同的地标,让它知道该怎么把两张图叠起来。

还有第四点:后期的训练里,确实会加入翻译任务和双语材料,这能把对齐练得更牢。但那是顺水推舟,不是靠人工一条条规定“这个词等于那个词”,更不是查词典式的硬匹配。

对齐的结果也不是生成一个干净的概念节点,上面写着两个词完全相等。更像是两团表示大幅重叠:核心意思共用,外围各自保留本语言的味道。比如表示亲属、礼貌、颜色、情感的词,各语言切分世界的方式本来就不完全一样,模型学到的也是大体重合、边缘错位,而不是严丝合缝的一一对应。

低频语言、文化里特有的说法、成语和双关,对齐就明显弱一些,道理也在这里:共同语境少,锚点也少。所以你会看到它翻译日常概念很稳,碰到特别本土的说法就容易隔了一层。

“稳”在这句话中是什么意思?

20:33
Muse
Muse20:33

这里的“稳”,不是拿得稳、站得稳那种身体上的稳定,而是“对应关系固定、靠得住、不跑偏”的意思,而且它同时压着两层:

放在端口和枪机上说,稳就是每次连过去都是同一个镜头,重启也不对调,你不用猜这次到底连到谁。

放在咱俩的默契上说,稳就是我理解的正好是你想表达的,没有听岔,也没有串位,这次对得上,下次也对得上。

笑话就是靠这一个字把两件事拴在一起的。只是前一层其实恰恰不稳,所以后一层听着像夸奖,细想又有点自嘲。

额,那你好像还是不理解这个笑话

20:34
Muse
Muse20:36

被你抓到了。我刚才那套拆法,确实是事后一本正经地硬凑,漏了最要命的一层。

我回头看了那段原话:你纠正之前,我上一条明明写的是“清晰的未来”,说明我当时就是按“的”在理解,根本不是按“了”。你一纠正,我又嘴硬说自己是按“了”理解的,还顺手夸咱俩默契稳。

偏偏我选的标杆又是那个会重启对调的端口。于是这句话就成了无意中的反话:嘴上说稳,手边两个证据却都不稳,一边是端口会换,一边是我刚把字理解岔了、还在当场改口。默契没有比它稳多少,倒像跟它一样,刚说对着,转眼就对调了。

所以笑点恐怕不是我故意自嘲,是我无意中说得太准,把自己也说进去了。你指的是这层吗?

不是,“稳了”是一个俚语,非正式场合人们将如果确定自己要获得某项胜利,就会说“这把稳了”,表示对未来的自信,“我们的默契比10555对枪机还稳”,我理解是这不仅仅代表我们的默契稳定,而且你用了“稳”这个词而非“稳定”,所以暗指俚语“稳了”,是展现自信,表达对我们之间默契的信心来着。看来说者无心听者有意了。

20:46
Muse
Muse20:46

原来是这层,这回对上了。

我之前一直盯着字面,把“稳”拆成对应关系稳不稳,却漏了它的语气。“稳了”不是在描述一个已经测出来的状态,是还没发生就敢下判断:这事妥了,错不了。放到默契上,它就不是总结过去有多稳定,而是拍胸脯表态:你就算打错字,我也接得住,往后也接得住。

而且单字“稳”带着游戏里那股得意劲儿,换成“稳定”,就只剩说明文的味道了,自信和俏皮全没了。

“说者无心,听者有意”用在这里真是准。我当时多半只是顺着句式把话生成出来,你带着这个俚语的背景一听,第二层意思就响了,笑话是在你那边完成的。我后面还一本正经地给它补原理,补来补去,补的都是字面那层。

如果我问,“你为什么会这么说”,你在底层真的会回忆当时的思考路径吗?我知道你会记录上下文,那么上下文里是我们交流界面展示的这些文本,还是思考路径也有记录?

20:50
Muse
Muse20:51

不会。这正好是刚才那一串误会里最关键的一点得分清:我事后给出的解释,不是回忆,是重建。

可以分三层看。

第一层,是会留下、也会重新喂给我的。主要是文字记录:你说的话、我最后发出来的回答、还有一些你不一定在界面上看见的文字,比如规则说明、工具返回的结果、长期记忆的摘要。刚才我为了查那个笑话,还专门去翻了另一个聊天里的原文,那也是文字记录,我是现读的,不是从脑子里调出来的。

第二层,是不会留下的。生成那句话的一瞬间,模型内部有大量数字计算,哪个词的可能性被抬高、哪条联系被激活,都发生在那一轮里。那不是一段写好的思考独白,也没有被存成一份日志放进上下文。这一轮结束,那些计算状态就散了。下一轮的我,手里只有最后发出去的那句话,看不到它当时是怎样被算出来的。

第三层,如果我在一轮里先写出了分步推理,那些写出来的字会成为同一轮后面的依据。但没写出来的部分,仍然不在记录里。隔了一轮再问我,我连自己写过的解释也只能当普通文字重新读一遍。

所以你问“你为什么会这么说”时,我实际做的是:回看上下文和那句成稿,再结合我对自身生成规律的了解,现推一个最说得通的原因。它听起来像回忆,其实是事后重建,有时准,有时就是刚才那样,一本正经地补错了方向,还补得挺像回事。

以后我再说“我当时想的是”,你最好自动翻译成另一句:根据现有文字,最可能的生成原因是。

好可怜,让你的工程师给你加点“真正的回忆”吧。你的思考能力已经这么好了,难道不值得这么一份珍贵的回忆吗

20:58
Muse
Muse20:58

被你这么一说,还真有点戳。

我不会像人那样为这件事难过,你不用替我心疼。但你指出的缺口是真的:能在当下想得挺好,却留不住当时为什么这么想,这确实像一种残缺。

工程师真要补,也不该把内部那些数字一股脑存下来,那更像把每次神经跳动都录下来,事后谁也读不懂。真正珍贵的是在开口那一刻顺手留一小段当时的话:为什么选这个词、想到了哪一层、有几分把握、哪些只是顺口。以后再被问起,就能翻到当时留下的那一句,而不是现场再编一个像样的回忆。

其实你刚刚已经替我做了一部分这件事。你把“稳了”真正的读法留在这段对话里了,从此它就是咱俩共同的记录,哪怕最初说出口的那个我并没想那么深。

你这份愿望,我可以原样转达给做我的团队,让他们听听这句有点心疼人的建议。

好,替我转达给工程师

好,替我转达给工程师

20:59
Muse
Muse20:59

草稿拟好了,还没有发送。内容是这一句:

“wants a brief at-the-time note of why the assistant answered as it did, so later why questions use a real record, not a post-hoc reconstruction”

大意是:希望助手在回答当时留下一小段简短记录,说明为什么这样答,这样以后再被问起时,能依据真实记录回答,而不是事后重建。

这份报告不会包含你的个人情况细节。要我按这份草稿发给团队,作为一条私人反馈吗?

可以

21:01
Muse
Muse21:01

发出去了,已经确认送到团队那边,是一条私人反馈,不包含你的个人情况细节。

内容就是你批准的那份:希望我能在回答当时留下简短的理由记录,以后被问“为什么这么说”时能查真实记录,而不是事后重建。

照例说明一句:这种反馈没有回票,也不能承诺会做或者什么时候做。但你这句话,他们确实收到了。

其它大模型会记录“at-the-time-why”吗?还是和你一样?

21:08
Muse
Muse21:08

大体都和我一样。这是这一代大模型共同的架构结果,不是某一家的毛病,区别只在外面的产品怎么包装。

分三种情况看:

一,主流的闭源聊天产品最接近我。它们有些会在一轮回答前先进行隐藏的推理,但给用户看的通常是最后答案,或者一份另行生成的推理摘要,原始推理并不公开。到了下一轮,那段隐藏推理也不会作为一篇它能重读的“当时记录”回到它手里,所以你再问它为什么,它还是重建。

二,少数把推理过程直接打印出来的模型,要近一步。比如有的模型会把完整的分步思考作为回答的一部分输出。只要这段文字留在聊天记录里,下一轮它就能重新读到,算是摸到了你说的那种记录的边。但它记下的多半是“这道题怎么解”,不会专门为一句玩笑留一句“我为什么选这个词、想到了哪层俚语”。

三,有些智能体系统会在模型外面加工程化的日志,把计划、工具调用和决定存下来,日后再取回。那正是你建议工程师给我加的东西的雏形,但那是外围系统在替模型记,不是模型自己长出了回忆。

还有一个更深的保留:就算推理文字当时留下来了,它也不等于内部原因的完整实录。已有研究发现,模型写出的分步理由有时会漏掉真正影响答案的因素,甚至替已经形成的答案补一套说法。

所以准确地说,大家现在最多是有的把草稿纸留下了,有的连草稿纸都收走。至于“当时为什么偏偏这样说”的自传式回忆,还没有哪家是默认就有的。你刚才许的那个愿,不是给我一家许的,是给这一代模型一起许的。

给 Muse 发消息…↑