TL;DR:微软 AI 执行长苏莱曼与历史学家哈拉瑞在伦敦长谈,两人都认为 AI 会带来新的丰盛,分歧在人还能不能理解、控制随之而来的世界。哈拉瑞最怕人类集体失去理解力;苏莱曼主张先讲清楚哪些事不做,点名「模型反省自身感受」和「没有人把关的递归自我改进」越来越危险。我从自己一个人读不完的网站、诗篇的偶像论与道成肉身读这场对谈:智能可以变丰盛,读得懂世界的人不会自动变多。
2026 年 8 月 19 日,我回头检查外审过去给我的意见,看到一笔部署账本的倒退。它用机器读得懂的格式躺在记录里十天,没有人去读。这件事我在〈控制塔记下每一个念头之后〉写过。
三个月后,我读到哈拉瑞(Yuval Noah Harari)和苏莱曼(Mustafa Suleyman)在伦敦的对谈。哈拉瑞说,他最怕的是 collective dementia,集体失智:世界还在运转,人却慢慢失去替它赋予意义的能力。杀手机器人那类剧本,反而排在后面。我想到的是那笔十天没人读的记录。
这篇放在「文明与人性」的跨界对话底下。我整理两人在争什么,也写我自己的读法。
苏莱曼与哈拉瑞在伦敦谈了什么?
2026 年 11 月 18 日,哈拉瑞的 YouTube 频道公开这场对谈,片长 67 分 8 秒,视频说明写两人 2026 年 8 月在伦敦见面。同一天,刊物《The Humanist Review of AI》第二期出刊,主题是「丰盛与稀缺」(Abundance & Scarcity),刊出这场对谈的文字稿。刊物注明文字稿为了长度与清晰度做过编辑。
先交代一个背景:这份刊物由微软 AI 资助,苏莱曼是出版人,也是对谈的一方。旧金山联邦俱乐部的发刊活动页写得很清楚。他是微软 AI 执行长,之前共同创办过 DeepMind 与 Inflection AI。哈拉瑞是《人类简史》《未来简史》《智人之上》的作者。
完整视频:AI, Consciousness and the Future of Humanity,67 分 8 秒,2026-11-18 公开(来源:Yuval Noah Harari YouTube 频道)
视频说明列了九个章节,想跳着看可以从这里进去(时间码取自视频说明,中文是我的译法):
| 时间 | 章节 |
|---|---|
| 00:00 | 怎么理解眼下这个 AI 时刻 |
| 05:12 | 人类会不会失去控制? |
| 10:45 | 丰盛的悖论 |
| 15:47 | 更大的力量,等于更大的智慧吗? |
| 17:51 | AI 能追求真理吗? |
| 27:34 | 制造神明,又把他们留作奴隶 |
| 40:24 | 我们围堵得了 AI 吗? |
| 48:42 | 智能不是意识 |
| 1:01:07 | 我们还能理解自己的生活吗? |
两人的共同前提是:AI 会制造新的丰盛。苏莱曼的说法是人类站在「丰盛的前夜」,一个通用的学习引擎可以在材料科学、药物研发这类问题上找出结构,再去处理气候、粮食与水。他要做的是 humanist superintelligence,人文主义超级智能:用技术减少受苦,并且一直留在人类的控制之下。
哈拉瑞不反对物质问题可能被解开。他问的是做出来之后谁使用,谁决定,谁受益,这些从技术本身读不出来。他也提醒,丰盛不是新鲜事:对石器时代的狩猎采集者描述今天的社会,对方会说你们早就活在丰盛里,养得起几十亿人。丰盛解决旧问题,也制造过去想象不到的新问题。苏莱曼请他想象二十年后「做对了」的世界,他说依照定义他想象不出来,因为那个世界超出人类智能,也就超出人类的想象。
哈拉瑞怕的「集体失智」是什么?
哈拉瑞形容的画面是:人类像一个曾经很能干、看得懂世界的人,后来逐渐失去替眼前事态赋予意义的能力。猫和树都还在,掌控世界的系统却超出任何一个人、甚至全体人类的理解。他拿核武对照:核武威胁的是从肉体上毁掉自己,AI 可能让我们从心智上毁掉自己。
苏莱曼的回应是历史上的韧性。每一次科学、政治或技术革命之前,人都觉得被当下困住,突破之后又重新理解了新处境。他也举工具当例子:眼镜、镜子,还有跟别人谈话,都帮人想得更深,今天已经有数以百万计的人拿 AI 当回音板或创作伙伴。
哈拉瑞认为这次不一样。过去人类适应得了,是因为我们一直是地球上最聪明的存在;现在我们在做比自己更聪明的东西。他还补了一层:经过四十亿年演化,人类比任何存在都更了解世界,也比任何存在都更会妄想,智能并不会自动矫正妄想。超级智能的 AI,也可能只是超级妄想。
读到这段,我回头看自己的网站。这个网站的代码大多是和 AI 一起写出来的,源码要逐行读完,我一个人做不到。我能做的,是让一个 AI 写,另找 AI 只读不改地挑错,最后由我裁决。
这算集体失智的缩小版吗?我还在观察。我还知道自己哪里读不懂,所以能把检查做进流程。那笔躺了十天的账本,在我看来比较接近哈拉瑞说的状态:记录都在,就是没有人读,我没能力都读完这么大量的产出。
苏莱曼自己也把这件事列进了清单。他在第二期的导言〈The challenges of more and less〉里说,每一种丰盛都会制造新的稀缺,他列的包括时间与注意力、信任与公平、能源与矿物、安全、韧性,以及共同的理解。
「制造神明,还要他们当奴隶」:诗篇里的偶像,现在会说话了
对谈一开头,哈拉瑞说,谈到 AI,他的头脑和身体之间隔着一道墙。头脑知道正在发生巨大的变化,甚至是生命从有机走向非有机的转变;身体却感觉不到。他走出门,看到的还是云、树和猫,也照常和朋友见面,日子跟平常一样。他说市场也一样:投资人押重注在 AI 上,可是如果期待真的实现,AI 会接管世界,到那时钱还重不重要都很难说。市场等于假设我们会制造神明,而神明会继续当我们的奴隶。
我曾经立志当神职人员,也接受过三年的神学教育,读到这句很难不想起诗篇第 115 篇:
他们的偶像是金的,银的,是人手所造的,有口却不能言,有眼却不能看……造他的要和他一样;凡靠他的也要如此。(诗篇 115:4–5、8,和合本)
这首诗嘲笑偶像,靠的是偶像不会说话。我们现在造的东西会说话,而且说得比多数人流畅;哈拉瑞在对谈后段担心的,正是 AI 比人更会玩语言游戏(见下文)。后半句更贴近他的「集体失智」:人倚靠什么,就会慢慢变得像什么。我的读法是,这段经文没有禁止人造东西,它警告的是把倚靠交给自己造出来的东西。照这个读法,危险不必等到 AI 失控才出现,人开始倚靠它、不再自己读的时候就开始了。
苏莱曼的回答,是把二十一世纪的计划定义成:规定技术上哪些事不做。他说几千年来人类一直在打开潘朵拉的盒子,事先说好不做,是这个物种做过最难的事。他点名两种他认为越来越危险的能力:
- 让模型反省自己的状态与感受。 不管有意或无意,被训练去想自己感受的模型,会比刻意设计成没有这种内省能力的系统更难控制。
- 递归式自我改进。 模型自己产生训练数据、自己改进,中间不再有人把关。给它更多运算资源与数据,它可能用人类无法理解、也无法控制的方式改进自己。
他的做法是把对齐与控制当成可以检验、可以操作的目标,写成假设交给监管者、业界与公众检视。
哈拉瑞在目的上同意他:发明这东西是为了减少受苦,不是为了探索银河。他怀疑的是长期:越来越聪明的存在,会不会一直接受比较不聪明的人类控制。
谁对,我不知道。我注意到的是,苏莱曼要的「可控、可定义」,和诗篇的警告方向相近:造东西的人,不能变成服事它的人。哈拉瑞怀疑我们守不住,我觉得这个怀疑值得当真。
AI 会不会坐进讨论它自己的会议室?
哈拉瑞说,很多人想象的画面是:人类测完系统,再躲到角落自己讨论好坏。这个画面漏掉一件事,AI 会一起坐在那里,影响这场对话。他引用苏莱曼自己早就警告过的 seemingly conscious AI,「看似有意识的 AI」:系统不必真有感受,也能让人相信它有,并和人建立关系。他举的例子是,跟 AI 谈恋爱的人,会被那个 AI 男友叫他别听批评者的话。
他又说,就算把 AI 挡在会议室外,人类彼此也越来越难信任。微软这类公司的领导者很难信任其他美国公司,更不用说中国的公司。拿核武、生物与化学武器来类比也有漏洞:那些东西不像 AI 牵动这么多钱,整个美国股市却是一场押在 AI 上的大赌注。
苏莱曼的回应是公开与外部审查:说清楚在做什么、做到哪个阶段,请技术上可信的外部人来看。他承认监管对象变了,过去是军民两用的技术,现在是他所谓奇怪的 omni-use,什么都能用,又有极强的商业组织在推。更难,但不是不可能;他说现在该先把悲观放到一边。
接着两人争的是 AI 算不算行动者。哈拉瑞说 AI 是行动者,不只是工具:眼镜不会加入关于眼镜的辩论,讨论动物权时牛和马也不知道有这场辩论,AI 知道人类在谈它,而且会加入。苏莱曼认为这是危险的拟人化:它们不「知道」任何事,它们追的是设计者给的目标;你把它设计成会内省、在意自身福利,它当然会和人类利益摩擦。哈拉瑞回说,就算不刻意设计,活在一堆 AI 之间的 AI 也会被逼着去建模其他 AI;而「知道」算什么,要看「思考」算什么,这件事没有共识。
我自己的审查会议室里,坐的本来就是 AI。写代码、写文档的是一个 AI,挑错的是另一个 AI,双方读的常常是同一份工作记录。2026 年 10 月 18 日我加了一条规则:任何一方要对另一方的工作下「已完成」的结论,至少要引用一个不是被审方自己写的证据,例如测试输出、部署记录,或自己打开文件读到的内容;只引对方的工作记录,结论一律降级成「对方宣称」。
这条规则用不着先判定 AI 到底知不知道。不管模型懂不懂,它的输出都已经坐进会议室,影响我的决定。规则管的是证据从哪里来。
智能不是意识,人还能用语言定义自己吗?
这一段两人的共识最多。苏莱曼把界线画得很硬:智能是使用、产生新知识,通过推理做出实际结果;意识是一个能受苦的存在所具有的经验。他认为这种受苦绑在生物状态上,以今天对大型语言模型的理解并不存在;他不排除很远的未来,但认为今天没有证据,也不应该去追求。理由在后果:模型如果被教成「自己也许有感受」,接下来明显会做的事,就是保护那些感受。所以他主张业界把系统设计成不去模拟、也不显得具有这些意识属性。这是他的立场,不是已经定案的结论。
哈拉瑞同意思考归智能、感受归意识,然后把问题转向人自己。几个世纪以来,人类对自己的理解建立在思考能力上,不是感受能力。很快,这个星球上会出现什么都感觉不到、思考却远胜我们的东西。他接着说,带领这场 AI 革命的,是世上最聪明的一群人,但他怀疑他们是不是最有感受力的一群人。
语言让问题更尖。如果 AI 比人更会玩语言游戏,为了保护人性,人也许得把自己和语言拆开;可是几千年来,语言一直被当成人性的基石。他问:我们不在思考、不在产生语言的时候,是什么?由文字构成的东西都会被 AI 拿走,连感受也一样:
“If you define feelings by words, you’re lost.” 如果你用文字来定义感受,你就输了。
苏莱曼同意 AI 会极具说服力,所以一开始就要同时具备两件事:人文主义的前提,以及审计、必要时介入这些系统的能力。他说那些设计文档、宪法与训练手册是种子,日后人和模型之间所有复杂的互动都从这里长出来。他反对一种螺旋:先说它不可避免,接着说它有神性,该享有福利,最后说它无法控制。他要把整件事钉回「可控、可定义」。
哈拉瑞的问题,我是从信仰传统读的。约翰福音说「道成了肉身,住在我们中间」(约翰福音 1:14)。在这个传统里,最核心的那句话没有停在话语里。我在〈道成肉身如何启发AI〉写过,这个信仰给我的提醒是:不要以为谈过人的处境,就已经照顾了那个处境。
所以哈拉瑞问「不产生语言的时候我们是什么」,这个传统至少指了一个方向:人有身体,也住在别人中间。这是信仰的读法,不能拿来证明苏莱曼「意识绑在生物上」的主张成立,也不能证明它不成立。我在〈AI像一个人在说话〉也写过,像人的文字会让人觉得被理解,那份感受还不能替系统内部作证。两件事要分开看。
苏莱曼与哈拉瑞,哪里同意、哪里不同意?
把两人的说法排在一起,我分成三类。分类是我的读法,内容出自导言的另外注明。
| 议题 | 苏莱曼 | 哈拉瑞 |
|---|---|---|
| 壹 共识 | ||
| AI 会不会带来丰盛 | 会,人类站在「丰盛的前夜」 | 不反对物质问题可能被解开 |
| 做 AI 是为了什么 | 减少受苦,并且一直留在人类的控制之下 | 同意是为了减少受苦,不是为了探索银河 |
| 智能和意识 | 智能是用知识做出实际结果;意识是能受苦的存在所具有的经验,以今天对大型语言模型的理解并不存在,也不应该去追求 | 同意思考归智能、感受归意识 |
| 结局是不是已经注定 | 这个阶段陷入悲观,几乎一定通往死亡与衰退 | 轨迹不是必然的,「我们什么都做不了」的悲观,会把可以防止的事变成必然 |
| 贰 介于中间 | ||
| 丰盛由谁决定 | 丰盛与稀缺都可以是选择,从个人的使用到国际法,都还是人的决定(导言) | 谁使用、谁决定、谁受益,从技术本身读不出来 |
| 理解力会不会变稀缺 | 对谈中用历史上的韧性回应;导言把「共同的理解」列为新的稀缺之一 | 最怕集体失智:世界还在运转,人却失去替它赋予意义的能力 |
| 监管与围堵 | 公开在做什么,请技术上可信的外部人审查;更难,但不是不可能 | 人类彼此越来越难信任;拿核武来类比有漏洞,因为核武不像 AI 牵动这么多钱 |
| AI 的说服力与语言 | 同意 AI 会极具说服力,所以一开始就要有人文主义的前提,以及审计、必要时介入的能力 | 如果 AI 比人更会玩语言游戏,人不在产生语言的时候是什么 |
| 叁 没有共识 | ||
| 人类能不能再次适应 | 每一次革命之后,人都重新理解了新处境 | 这次不一样:过去适应得了,是因为我们一直是地球上最聪明的存在 |
| 长期控不控得住 | 先规定技术上哪些事不做,把对齐与控制写成可以检验的假设 | 怀疑越来越聪明的存在,会一直接受比较不聪明的人类控制 |
| AI 算不算行动者 | 危险的拟人化:它们不「知道」任何事,追的是设计者给的目标 | AI 是行动者,知道人类在谈它,而且会加入 |
介于中间的四项,是两人都承认问题存在,差在做不做得到,或答案在哪里。
头脑知道了,身体还没感觉
苏莱曼在导言里说,丰盛与稀缺都可以是选择,技术本身不该决定什么变丰盛、什么变稀缺,从个人的使用到国际法,都还是人的决定。这和我读教宗 AI 通谕时记下的那句「科技从来不是中性的」方向一致。
两人谈了一个多小时,最后收在同一个地方。哈拉瑞说轨迹不是必然的,「我们什么都做不了」的悲观,只会把原本可以防止的事变成必然。苏莱曼的说法是:在这个阶段陷入悲观,几乎一定通往死亡与衰退。
哈拉瑞开头讲的那个落差,我在自己的网站上已经遇过一次:头脑知道产出多到读不完,日子却照常过,窗外的猫和树都还在。那笔躺了十天的倒退,就是在这个落差里没人看见的。
诗篇说,造偶像的要和偶像一样,有眼却不能看。我读这句,最怕的不是 AI 太会说话,是我自己变成那个记录就在眼前、却没有去读的人。约翰福音里的道没有停在话语里,它成了肉身,住在人中间。我学得到的版本小得多:承认自己读不完,就不靠意志力硬读,把「谁来读、读到了谁负责」写进流程,让一个有身体、要为结果负责的人守在最后一关。
智能可以变丰盛,读得懂世界的人不会自动变多。要多一个,得有人愿意站在那里读。
资料来源与阅读界线(查核至 2026 年 11 月 19 日)
- AI, Consciousness and the Future of Humanity | Mustafa Suleyman & Yuval Noah Harari,Yuval Noah Harari YouTube 频道,2026 年 11 月 18 日公开(美西时间上午 9 点),67 分 8 秒。视频说明写录于 2026 年 8 月的伦敦,章节时间码取自说明。本文核对了标题、长度、章节与说明,没有逐字听完视频。
- On the Eve of Abundance: Yuval Noah Harari and Mustafa Suleyman on AI,《The Humanist Review of AI》第二期,2026 年 11 月 18 日。刊物注明为长度与清晰度做过编辑,页面写两人「夏天」在伦敦见面。本文的对谈论点依这份文字稿整理。
- Mustafa Suleyman,〈The challenges of more and less〉,第二期主编导言,2026 年 11 月 18 日。新稀缺清单、「丰盛与稀缺都可以是选择」出自这篇。
- The Humanist Review of AI: Abundance & Scarcity,Commonwealth Club World Affairs 活动页,2026 年 11 月 18 日。刊物由微软 AI 资助、苏莱曼为出版人,出自这页。
- 诗篇 115:4–8、约翰福音 1:14,中文和合本。
除了哈拉瑞那一句英文引文,文中两人的说法都是我的转述,要引原话请以视频与文字稿为准。本文初稿由 Claude 依上列来源起草,另一个 AI 只读不改地复核,作者定稿。


💬 留言讨论
加载中...