保留人类判断
这是本章最后一节,也是整个智能篇十四章的收束。它要回答的不是「AI 能做什么」,而是「有哪些事,无论它做得多好,都不该由它来决定」。这一节不给禁忌清单——清单会过期,两年后新出的场景不在上面,你就没有依据了。这一节给的是四条判断标准:涉及责任归属的、涉及不可逆后果的、涉及价值判断的、涉及他人利益的。说白了:不是教你记住哪些门不能开,是教你认出门上那几种标志。打个比方:交通规则不可能穷举世上每一个路口,所以它教的是「看标志、看灯、让行原则」——学会这些,你到一个从没去过的路口也知道怎么走。本节的基调仍是全章的基调:这些边界不是对 AI 的贬低,恰恰是把 AI 用好的前提。一个知道自己该在哪儿接管的人,敢把更多事情交出去。
家里人要做一台手术。医生把两个方案讲得很清楚:方案一风险低但可能要再做第二次,方案二一次解决但恢复期长、并发症概率高一些。数据、概率、恢复周期,医生全都给了,讲得比你能自己查到的清楚一百倍。
然后医生把一张纸推过来,说:「你们家属商量一下,决定了在这儿签字。」
请注意这个场景里发生了什么。掌握全部专业知识的那个人,把最后的决定交给了完全不懂医学的那个人。
这看起来不合理,但它其实是整个现代医疗最重要的一条设计。原因是:那个决定的内容不是「哪个方案在医学上更优」,而是「你们家愿意承担哪一种风险」。
后面这个问题医生答不了。因为答它需要知道:这个人的工作能不能停三个月、家里有没有人能照顾、他自己怕不怕再来一次、经济上撑不撑得住、他这辈子最在意的是活得久还是活得舒服。
医生提供的是「专业判断」,家属提供的是「价值选择」。这两样东西的性质不同,不能互相替代,谁的知识更多也不改变这一点。
这一节要讲的全部内容,就是这张纸的道理。AI 的角色是那位医生(甚至可能比医生更博学),但那张纸上的名字必须是你。而这不是因为它不够聪明——它再聪明一万倍,那张纸上也不该是它的名字。
先破一个误解:不可外包的原因不是「它做不好」
这一段必须放在最前面,因为它决定了整节的逻辑。
关于「哪些事不该让 AI 决定」,流行的答案通常是:「因为它做不好、它会犯错、它不够聪明。」
这个理由是错的,而且错得很危险。因为它把边界建立在能力上——而能力是会变的。按这个逻辑,如果哪天它做得比人好了,边界就自动消失了。
更麻烦的是,在很多具体任务上它现在就已经做得比多数人好了。它读的资料比你多、它不会疲劳、它不会因为今天心情不好而看漏一行。如果「不该外包」的理由只是「它不如你」,那这个理由在很多场合已经不成立了。
所以本节的四条标准全部不依赖它的能力水平。它们依赖的是决定本身的性质。
打个比方:为什么法官必须是人?不是因为算法算不清法条——法条检索这件事机器比人快得多。而是因为「判决」这个行为里包含一样东西:有人为它负责,且这个人可以被追责、可以被上诉、可以被要求解释理由。这一样东西不是知识,是制度位置。
其实就是:你可以让一台机器算出账目该怎么记,但签字盖章的必须是个能被找上门的人。能力可以外包,责任不能外包——这句话是本节所有内容的地基。
标准一 · 涉及责任归属:出了事谁去承担
第一条标准最硬,因为它不是道德劝告,是现实结构。
判断动作很简单,问一句:这件事错了,谁去承担后果?如果答案是「我」(或者「某个具体的人」),那这个决定就不能交出去。
因为「决定权」和「责任」必须在同一个地方。一旦分开,就会出现一种非常糟糕的状态:做决定的一方不承担后果,承担后果的一方没做决定。
打个比方:你请人帮你在网上抢一张演唱会的票,他抢到了一张日期不对的。这个损失是你的。所以「买哪一场」这个决定,本来就应该由你做,他只负责操作。如果你把「哪一场合适」也交给他,你就把一个自己要承担后果的决定交给了一个不承担后果的人。
这条标准在实际场景里的表现:
| 场景 | 可以交给它的部分 | 必须你自己定的部分 |
|---|---|---|
| 写一份对外报告 | 找资料线索、搭结构、挑逻辑漏洞、润色(§ 14.2) | 结论、取舍、哪些数字敢写上去。因为署名的是你 |
| 写生产环境的代码 | 生成实现、写测试、解释报错(§ 14.3) | 要不要上线、有没有读懂、权限开多大。出故障时被叫起来的是你 |
| 给客户的方案 | 列可选方案、算各方案成本、找同类案例 | 推荐哪一个、承诺什么。客户是按你的名义在做决定 |
| 招人 | 整理简历要点、生成面试问题、记录面试内容 | 录用与拒绝。这个决定改变别人的人生,而且你要向公司和候选人解释理由 |
| 家庭事务 | 查信息、列出选项与各自代价、算账 | 选哪个。家里人是照你的判断在过日子 |
这张表有一个明显的规律:左边一栏全是「加工与呈现」,右边一栏全是「拍板」。这跟 § 14.2 那条分界线(让它搬运和整形,不让它判断和取舍)是同一条线,只是从写作扩展到了所有场景。
还有一个具体的提醒:「AI 说的」不构成任何场合的免责理由。§ 14.2 讲过这一点,这里再补一层——这不仅在法律和职业上不成立,在人情上也不成立。你按 AI 给的说法劝了朋友一件事,出了问题,你说「是 AI 说的」,这话在朋友那里没有任何减轻作用。因为他信的是你,不是它。
这一节四条标准的整体逻辑,用汽车的辅助驾驶来讲最贴切,因为那是人类目前把「机器与人的职责边界」想得最清楚的一个领域。
辅助驾驶系统在大多数路况下开得比人稳。它不打瞌睡、不看手机、反应比人快。这些都是事实。那为什么规则还要求驾驶员保持注意、手不能离开方向盘?
答案不是「因为它开得不够好」。答案是三件事的组合。
第一,罕见情况的处理没法靠平均表现来保证。它在 99% 的路况下更好,但真正出事的那 1% 恰恰是它最没见过的那种。而「平时特别可靠」这件事会让你在那 1% 到来时毫无准备——这就是章总览页说的自动化偏差。
第二,后果不可逆。撞了就是撞了。相当于盐放多了没法从汤里捞出来(§ 14.3 的 L4 级)。凡是不可逆的事,谨慎的重点不在过程做得多好,在下手之前那一秒有没有人在看。
第三,也是最根本的:出了事,法律上要有一个人负责。而这个人只能是驾驶员——因为只有人能被追责、能被要求解释、能承担后果。你不能把责任判给一套软件,那等于责任消失了,而责任消失的系统会迅速变得不可信。
这三条正好对应本节的三条标准:不可逆后果、责任归属、以及那个隐含的第四条——他人利益(路上还有别人)。
而最要紧的一句在这里:「手放在方向盘上」不是不信任辅助驾驶,恰恰是能放心使用它的前提。正因为你知道自己在什么情况下必须接管,你才敢在其余时候让它开。说白了:清楚边界的人用得更放松,不清楚边界的人要么完全不用,要么用出事。
标准二 · 涉及不可逆后果:撤不回来的事
第二条标准最容易判断,因为它不需要理解任何伦理框架,只需要问一句:如果这一步错了,能不能撤回?
这条标准的价值在于它把注意力从「对不对」转向了「错了以后怎么办」。而后者往往比前者重要——因为在任何长期过程里,你一定会错几次,真正决定结局的是那几次错误能不能被修正。
其实就是:一个允许你反悔的决定,即使做错了也只是绕个弯;一个不允许反悔的决定,做错一次就到终点了。
怎么判断「可逆不可逆」?给三个具体的问句:
- 问句一:撤回需要别人配合吗如果撤回只需要你自己动手(删掉重写、退货、改回原设置),基本是可逆的。如果撤回需要对方同意(已经发出的话、已经签的合同、已经转出的钱),可逆性就大幅下降。打个比方:菜下锅了还能捞出来,但话说出口捞不回来。
- 问句二:有没有第三方已经据此行动这是最容易被忽略的一层。你发出去的一份报告,你自己可以改,但看过的人已经形成了印象、可能已经据此做了安排。信息一旦扩散出去,技术上的撤回不等于事实上的撤回。§ 13.4 讲深度伪造时有一个相关的洞察:真实的损害往往发生在澄清抵达之前。
- 问句三:错了要多久才会被发现这一条决定了损失的规模。当场发现的错误只是麻烦,半年后才发现的错误会带着半年的连带后果一起来。§ 14.3 那张表里全部九类问题都属于后者——相当于水管接头渗水,一天两天没事,等你看见墙上的霉斑时里面已经泡烂了。
不可逆场景的典型清单(注意这不是禁忌清单,是标准的举例):
| 类型 | 例子 | 不可逆在哪里 | 正确做法 |
|---|---|---|---|
| 数据类 | 批量删除、覆盖、迁移、改数据库结构 | 删掉的东西没了 | 先备份,再干跑(只打印不执行),最后逐项确认(§ 14.3 的 L4 级) |
| 钱类 | 转账、下单、签约、投资、退保 | 钱出去了要对方同意才能回来 | 让它算账、列风险,但按确认键的手必须是你的,而且要停三秒 |
| 话语类 | 发邮件、发公开声明、群里发言、给客户答复 | 看过的人删不掉记忆 | 用 § 14.2 的三版本法看清后果,发出去之前自己通读一遍——不读就发是本节最常见的事故来源 |
| 身体类 | 用药、停药、改剂量、做处置 | 身体不接受撤销操作 | 这一档不是「更小心」的问题,是必须有执业资格的人参与(下面第三条会讲清为什么) |
| 关系类 | 指责、摊牌、举报、拒绝、辞职 | 关系一旦到了某个位置回不去 | 让它帮你看清对方可能的反应,但别在情绪里让它替你把话说出去 |
| 法律类 | 签字、承诺、提交申报、放弃权利 | 有时限、有法律效力 | 咨询你所在辖区的执业专业人士。§ 13.3 反复声明过:本站的法律内容不构成法律建议 |
这张表最实用的用法不是记住它,而是在动手前多问那一句:「这一步撤不撤得回来。」这个问句只花一秒,但它是本章所有建议里性价比最高的一个动作。
另外要注意一个很常见的组合陷阱:可逆的操作串起来会变成不可逆的。单看每一步都能撤回,但连着做五步之后你已经回不去了。打个比方:搬家时每样东西单独拿出来都能放回去,但十个箱子全拆开摊在地上之后,你已经没法「撤销搬家」了。所以链条越长,越要在中间设检查点——这正是 § 14.3 讲的「缩短任务链」在决策层面的版本。
标准三 · 涉及价值判断:没有正确答案,只有你要什么
第三条标准最难识别,因为这类问题看起来像是有正确答案的,于是人会自然地去找那个答案。
识别的关键动作是问一句:这个问题的答案,取决于「事实是什么」还是「我想要什么」?
如果取决于事实,它可以帮上很大的忙(查、算、列、比)。如果取决于你想要什么,那这个问题在被问出来之前就已经不属于它了。
这两类问题的区别看几个例子就清楚了:
| 看起来的问题 | 它其实在问什么 | 属于哪类 |
|---|---|---|
| 「这两个工作我该选哪个」 | 你更在意钱、成长、稳定,还是离家近? | 价值判断。它不知道你在意什么,也不该替你排序 |
| 「这两个工作的薪资与行业前景怎么样」 | 可查的事实 | 事实问题。放心问,但要按 § 14.4 验硬事实 |
| 「我该不该跟他说清楚」 | 你更怕关系变差,还是更怕一直憋着? | 价值判断 |
| 「如果我说清楚,他可能有哪几种反应」 | 可以推演的可能性 | 事实与推演。它在这一格很有用 |
| 「这个人该不该被录用」 | 你们团队看重什么、能承担什么风险 | 价值判断 + 涉及他人利益 |
| 「这份简历里的经历与岗位要求有哪些对得上、哪些对不上」 | 可核对的匹配关系 | 事实问题 |
这张表里的规律很清楚:「该不该」「哪个更好」「值不值得」这三个说法一出现,问题就已经从事实那一侧越到价值这一侧了。
那为什么价值判断不能外包?理由有三层,一层比一层根本:
第一层:它不知道你的权重。价值判断的本质是给几个都合理的目标排序,而排序需要知道你在意什么。而这个信息只在你身上——你甚至可能自己都没想清楚。
第二层:即使你告诉它权重,它给的仍然只是按你说的权重算出来的结果,而不是你的选择。其实就是:你告诉计算器要算什么,它算出的答案是你选的题的答案,不是你的决定。而人在真正面对选择时,常常会发现自己原来说的权重不是真的——「算出来该选 A,可我心里就是不想选 A」这件事本身就是重要信息。
第三层,也是最根本的:价值判断有一个 § 13.2 已经证明过的数学困境。那一节讲的「公平性不可能定理」(Kleinberg / Mullainathan / Raghavan,arXiv 1609.05807,ITCS 2017,同行评议;与 Chouldechova,Big Data 2017, 5:153-163,各自独立证明)说的是:当两个群体的基础比率不同、预测又不完美时,几个直觉上都很合理的公平定义在数学上不可能同时成立。
这条结论的意义远超公平性本身:它证明了「有一类问题不存在最优解,只存在取舍」。而取舍必须由承担后果的人来做。§ 13.2 用过一个很好的类比——医院分诊台前的三位家属,三个人的要求都正当,但算术上不能同时满足。这时候需要的不是一个更聪明的分诊员,是一个有权决定、并且能为这个决定负责的人。
所以「让 AI 判断哪个更公平」是一个没写完的句子,完整的说法必须是「优先哪一种公平、牺牲哪一种」。而这个「优先」只能由人来定。
标准四 · 涉及他人利益:不是你一个人的事
第四条标准的判断动作是:这个决定的后果会落在别人身上吗?如果会,那个人有没有机会说话?
这条之所以要单列,是因为前三条都可以在「你自己」这个范围内衡量,而这一条引入了一个你无法替代的角色:被这个决定影响的那个人。
说白了:你可以替自己冒险,但你不能替别人冒险。
这条标准落到具体场景,有三个层次,风险递增:
| 层次 | 典型场景 | 额外必须做的事 |
|---|---|---|
| ① 别人会看到你的产出 | 你写的报告、你交的代码、你发的文章 | 硬事实必须核(§ 14.4 定责那一档);不确定的地方明写不确定——这正是本站十六处「未取得」的做法 |
| ② 别人会照你的说法行动 | 给同事的建议、给朋友的健康信息、给家人的用药或理财说法 | 转述时必须把不确定性一起转述过去。相当于递刀要递刀柄——你得让对方接得住,而不是把风险一起递过去还不说 |
| ③ 你在替别人做决定 | 录用与解雇、给学生打分、审批、代替长辈或孩子决定医疗方案 | 让当事人参与,或者至少能得到解释。这一档最要紧的不是决定得对不对,是这个决定能不能被说明理由 |
第三层里那句「能不能被说明理由」值得展开,因为它是这条标准最实用的一个抓手。
判断办法:如果你要向被影响的那个人解释这个决定,你说得出来吗?
如果你的解释只能是「AI 建议这样」,那这个决定就不该以这种方式做出。因为这句解释在对方那里是没有分量的——它既不能被反驳,也不能被复核,更不能被上诉。其实就是:你去办事,工作人员说「系统就是这么显示的,我也没办法」,你会觉得非常无力,而这种无力不是来自结果不好,是来自没有人在为这个结果负责。
这一点和 § 13.2 讲的偏见问题连着:如果一套判断的依据是不可解释的,那么它里面的偏见就是不可发现的。而 § 13.2 有一条极反直觉的结论正好在这里派上用场——想测出偏见就必须保留敏感属性,「不看」不等于公平,只等于测不出来(代理变量的例子:毕业年份能代年龄、地铁站能代居住区)。同样的道理:让决策过程可解释,不是为了好看,是为了让错误有被发现的可能。
还有一个更日常的提醒。涉及他人利益的场景里,最常见的失误不是重大决策,是「顺手转述」:你在群里看到一段 AI 生成的健康说法,觉得有用,转给了家里的长辈;长辈很信你,照做了。这个链条里每一步都很轻,但后果落在了一个没有能力核实的人身上。
可操作的做法只有一句:转述时把「我没核实」这四个字一起转过去。它比不转述更现实,也比默不作声地转述负责得多。
四条标准怎么一起用:一个三十秒的决策前检查
四条标准不是四个独立的门,实际用起来是一次快速过筛。下面这个序列可以在三十秒内跑完。
【决定前的四问】
问 1(责任)这件事错了,谁去承担后果?
· 是我 / 某个具体的人 → 决定必须由那个人做
· 没有人真的承担 → 停下来想想这件事该不该做
问 2(可逆)这一步错了,撤得回来吗?
· 撤得回 → 可以放手让它多做一些
· 撤不回 → 加一道人工确认,并准备回退方案
· 注意:几个可逆的步骤连起来可能变成不可逆的
问 3(性质)这个答案取决于「事实是什么」
还是「我想要什么」?
· 事实 → 它能帮大忙,按 § 14.4 验硬事实
· 我想要什么 → 让它列理由与代价,
但结论必须自己下
问 4(他人)后果会落在别人身上吗?
· 会 → 我能不能向那个人说清理由?
如果只能说「AI 建议这样」,就不该这么做
· 会,而且对方无力核实 → 转述时把
「我没核实」一起说出去
命中任意一条 → 那一环由人接管,其余环节
照常交给它。命中越多,接管的范围越大。
注意最后那句:「命中任意一条 → 那一环由人接管,其余环节照常交给它。」
这句话是本节最想强调的操作要点:接管的是「那一环」,不是整件事。很多人一旦意识到某件事有风险,反应是整件事都不用 AI 了——这是过度反应,而且代价不小。
打个比方:招人这件事命中了标准一和标准四,但这不意味着整个招聘流程都不能用它。整理简历要点、生成面试问题、记录面试内容、对照岗位要求列匹配项,这些都可以放心交给它;只有「录用与拒绝」这一下必须是人。其实就是做菜可以让别人洗菜切菜配料,但尝味道决定咸淡的那一勺得自己来。
关于「AI 会不会取代我」这个问题
这个问题在章总览页的主页卡片上就写着,读到这里应该给一个不回避的回答。
先说清楚这个问题为什么难回答:因为它把两件事混在了一起。
第一件是「某些具体的活会不会被替代」——会,而且已经在发生。那些可以被清楚描述、有明确对错、不需要承担责任的活,被替代的压力最大。这不是预测,是观察。
第二件是「一个具体的人会不会变得没用」——这不取决于技术,取决于这个人做的是哪一部分。
而本节这四条标准恰好给出了一个判断依据:越靠近「拍板、担责、取舍、面对具体的人」这一侧的工作,越难被替代;越靠近「按明确规则加工信息」这一侧的工作,替代压力越大。
这个区分不是安慰,它有具体含义:
- 值得往上走的能力:把问题说清楚§ 14.3 那个 CSV 例子说明了一件事——六处问题里没有一条是「代码写错了」,全部是「需求没说清」。而「把一个模糊的诉求变成一份清楚的要求」这件事,恰恰是工具越强越值钱的能力。因为工具执行得越快,需求错误的放大倍数就越大。
- 值得往上走的能力:判断质量工具能产出十个方案,但「哪个方案在我们这个具体处境里能用」这个判断,需要知道太多没写在纸上的东西——历史、关系、政治、上次为什么失败。§ 14.2 讲的「装修队与设计师」就是这个意思。
- 值得往上走的能力:承担责任这条最反直觉,但它是本节的核心:愿意并且有资格为一个决定署名,本身就是一种不可替代的贡献。它不是知识,是制度位置。相当于公证员的价值不在于识字,在于他的签章有法律效力。
- 会被压缩的:只做搬运纯粹按明确规则把信息从一处搬到另一处、格式转换、初稿生成——这部分的市场价格会持续下降。这不是价值判断,是事实描述。说白了:如果你的工作可以被一段清楚的说明书完整描述,那它就可以被自动化。
所以这个问题最诚实的答案是:它不会取代「你」,但它会重新划定「你的工作里哪部分值钱」。而这条新的分界线,跟本节四条标准的分界线高度重合——这不是巧合,因为两者问的是同一件事:哪些部分必须由一个能负责的人来做。
四条标准撞在一起时:怎么裁决
真实决定通常不止命中一条标准。而当几条标准给出的信号方向相反——一条要求你接管,另一条说交给它没问题——很多人会卡住,然后退回「整件事我包办」或「整件事都交给它」这两个极端。这里给一个简单的裁决顺序,比你想的更省事。
基本规则只有一条:按责任的严重度排先后——命中了「不可逆、他人、责任」的,权重永远高于只是「可逆、只涉及自己」的。
把四问当四道闸门,而不是四票平权。决定先过「责任」与「不可逆」这两道硬闸门——只要这两道里任何一道亮红灯,后面的都不用再权衡,那一环必须由人接管。因为这两道拦的是「错了收不回」和「错了没人负责」,没有讨价还价的余地。其实就像你替不在家的邻居代收一件保价快到期的快递:确认了、签收了,责任就已经落在你手上,这一下不能交给一台自动签到机去替你判断该不该接。
过了前两道,再看「价值」与「他人」两道。这两道给出的是「该把哪里设成检查点」的位置,而不是「该不该用」的开关。相当于银行门口那道防弹门和营业厅里的隔离带不是一回事:防弹门是硬闸门,物理上挡人;隔离带只是规划行走路线,让你按顺序走。
用一句好记的话总结这个优先序:先看「撤不撤得回、谁负责」,再看「该由谁拿主意、有没有人被你牵连」。前者是承重墙,后者是隔断——承重墙的位置定整栋楼,隔断想怎么摆都行,但你不能把承重墙当隔断拆了。其实就是在健身房挑器械,你不用每台都练,按今天的训练目标挑两三台就行;但负责训练安全、保护关节的那几台,是无论如何都不能省的那几台。去超市买日用品也一样,大部分扫一眼就放上车,但冷藏的、易碎的那几样,你会多看一遍保质期和摆放。
所以实践中你真正需要的不是每次都完整跑四问,而是记住这句话:只要碰到「不可逆」或「责任落在具体的人身上」,别犹豫,那一环接回来;其余的信号,只是在告诉你检查点放在哪。
一个容易被误解的问题:那些「情感」类用法算不算越界
这一段处理一类越来越常见的用法:心情不好时跟它聊聊、纠结时找它说说、深夜里跟它讲讲白天不敢讲的话。
按四条标准来量,这类用法很有意思——它通常不命中标准一(没有对外责任)、不命中标准四(不涉及他人),所以本节不打算给出一个笼统的否定。实践中它对很多人是真的有帮助的:把混乱的心绪说出来这个动作本身就有整理作用,而它是一个不会累、不会评判、随时都在的倾诉对象。
但有两处必须划清,它们分别对应标准二和标准三:
第一处:涉及自我伤害、严重抑郁、危机状态时,这属于标准二的不可逆一档。这不是「AI 说得对不对」的问题,是这一档需要的东西 AI 给不了——它给不了持续的关注、给不了必要时的干预、给不了专业责任。这一档的正确动作只有一个:找真实的人,包括专业机构、亲近的人、当地的求助渠道。相当于发高烧到 40 度时,网上再详细的退烧知识也不能替代去医院这一步。
第二处:涉及「我该怎么活」这类问题时,这属于标准三的价值判断。它可以帮你把选项列清楚、帮你看见自己没注意到的顾虑、帮你把一团乱麻拆成几条线索。但「哪种活法值得」这个问题,答案只能在你身上——而且这不是遗憾,这恰恰是这个问题之所以重要的原因。
说白了:如果这类问题存在一个可以被查到的正确答案,那它就不值得你为它纠结了。纠结本身就是「这件事只有我能定」的信号。
还有一个提醒,属于经验性观察而非研究结论:实践中比较常见的情况是,长期只跟它说、不跟人说,会让向人开口这件事变得更难。因为跟它说的成本极低(不用挑时机、不怕对方有情绪、不欠人情),而跟人说的成本是真实的。其实就是:一直坐电梯的人,某天真要爬楼梯会格外吃力。所以合理的用法是把它当一个补充,而不是把人际关系整个替换掉。
写在最后:这一章为什么放在整篇的末尾
智能篇十四章的顺序不是随手排的。这一段说明为什么「与 AI 共处」必须放在最后,而不是放在最前面当入门指南。
因为本章的每一条方法,都需要前面某一章的原理才立得住。如果把这一章放到最前面,它会退化成一堆看起来有道理但记不住的建议。举几个具体的对应:
| 本章的建议 | 它依赖的前面哪一章 | 不懂那一章会怎样 |
|---|---|---|
| 所有编号、出处一律当线索去核 | § 13.1 幻觉——过度自信、看起来合理、实际为假 | 你会觉得这是多余的谨慎,因为它给的出处「看着那么规范」 |
| 不能靠「它说得多自信」判断内容 | § 8.2 自回归生成 + § 13.1 的评分制度分析 | 你会不断地被语气骗,而且不知道自己被骗在哪一环 |
| 提问要给上下文、约束写成正面指令 | § 10.1 提示词四要素 | 你会觉得「它就是不行」,其实是需求没说清(§ 14.3 那个 CSV 例子) |
| 给它的权限要正好等于你能承受的损失 | § 11.1 Agent + § 13.5 注入的乘法关系 | 你会给一个「万事都听的实习生」一串万能钥匙 |
| 缩短任务链、中间设检查点 | § 11.1 的 pass^k:0.95 的八次方只剩 0.66 | 你会不理解为什么「演示很惊艳、上线就出事」 |
| 有些问题不存在最优解,只有取舍 | § 13.2 公平性不可能定理 | 你会一直在找那个不存在的正确答案 |
| 贴进去的东西要先分清产品线 | § 13.3 隐私与版权:消费级与 API 的默认策略不同 | 你会用一个笼统的印象(「AI 都会拿去训练」或「都不会」)代替具体条款 |
这张表其实说明了本章的性质:方法论章不发明新知识,它把前面散落的原理接成一套能用的动作。
打个比方:驾校的科目一讲交规、科目二讲车辆操控,而真正上路那一天你要做的事不是回忆哪一条法规第几款,是把那些东西合成一个动作——看到前方有人要过马路,脚自然移到刹车上。本质上就是:知识是分开学的,用的时候是合起来用的。
所以如果你是从这一章开始读的,本章的建议你照做也有用;但如果你想让这些动作变成习惯而不是清单,值得回头看看它们各自的来处。因为一个知道理由的人,会在遇到清单没写到的新情况时自己判断——而这一点,恰好就是本章从头讲到尾的那件事:判断力比规则清单更保值。
先破一个误解:不可外包的理由不是「它做不好」。把边界建立在能力上是危险的,因为能力会变——按那个逻辑,它哪天做得比人好了,边界就自动消失了。所以本节四条标准全部不依赖它的能力水平,只依赖决定本身的性质。为什么法官必须是人?不是因为算法查不清法条(机器查得更快),而是因为「判决」这个行为里包含一样东西:有人为它负责,且这个人可以被追责、被上诉、被要求解释理由。这一样不是知识,是制度位置。能力可以外包,责任不能外包。
标准一 · 责任归属:问「这件事错了谁承担」。决定权和责任必须在同一个地方,一旦分开就出现「做决定的不承担后果,承担后果的没做决定」。左边一栏(找资料、搭结构、挑漏洞、润色、生成实现)可以交,右边一栏(结论、取舍、要不要上线、推荐哪个、录用与拒绝)不能交。「AI 说的」不构成任何场合的免责理由——法律上、职业上、人情上都不成立,因为朋友信的是你,不是它。
标准二 · 不可逆后果:问「撤得回来吗」。三个判断问句:撤回需不需要别人配合(话说出口捞不回来)、有没有第三方已据此行动(技术上的撤回不等于事实上的撤回)、错了多久才会被发现(§ 14.3 那九类问题全属于「很久以后」)。六类不可逆场景:数据、钱、话语、身体、关系、法律。最值钱的一秒钟动作就是动手前问一句「这一步撤不撤得回来」。还要防一个组合陷阱:几个可逆的步骤串起来会变成不可逆的,所以链条越长越要设检查点。
标准三 · 价值判断:问「答案取决于『事实是什么』还是『我想要什么』」。「该不该」「哪个更好」「值不值得」这三个说法一出现,问题就已经越到价值那一侧了。不能外包的三层理由:① 它不知道你的权重;② 即使你给了权重,它算出的是「你说的那道题的答案」,而人常常会发现自己说的权重不是真的——「算出来该选 A 可我就是不想选 A」本身就是重要信息;③ § 13.2 的公平性不可能定理(arXiv 1609.05807,ITCS 2017,同行评议;与 Chouldechova, Big Data 2017, 5:153-163 各自独立证明)证明了有一类问题不存在最优解,只存在取舍——分诊台前三位家属的要求都正当但算术上无法同时满足,这时需要的不是更聪明的分诊员,是一个有权决定并为之负责的人。
标准四 · 他人利益:问「后果会落在别人身上吗、那个人有没有机会说话」。你可以替自己冒险,不能替别人冒险。三个层次:别人会看到你的产出(硬事实必核、不确定处明写)→ 别人会照你的说法行动(转述时把不确定性一起转述过去,递刀要递刀柄)→ 你在替别人做决定(当事人要能参与或至少得到解释)。最实用的抓手:如果你的解释只能是「AI 建议这样」,那这个决定就不该以这种方式做出——这句解释既不能被反驳、也不能被复核。这与 § 13.2 相通:不可解释的依据会让其中的偏见不可发现。日常最常见的失误不是重大决策,是「顺手转述」给一位无力核实的长辈。
四问三十秒跑完,而最要紧的一句是:命中任意一条 → 那一环由人接管,其余环节照常交给它。接管的是「那一环」,不是整件事。招人命中标准一与四,但整理简历、生成问题、列匹配项照旧可以交出去,只有「录用与拒绝」这一下必须是人。其实就是做菜可以让人洗菜切菜,但尝味道决定咸淡那一勺得自己来。
关于「AI 会不会取代我」:这个问题混了两件事。具体的活会被替代——已经在发生;一个具体的人会不会变得没用,取决于他做的是哪一部分。四条标准正好给出判断依据:越靠近「拍板、担责、取舍、面对具体的人」这一侧越难被替代;越靠近「按明确规则加工信息」这一侧压力越大。值得往上走的三样:把模糊诉求变成清楚要求(工具执行得越快,需求错误的放大倍数越大)、判断质量(哪个方案在我们这个具体处境里能用)、承担责任(愿意且有资格为一个决定署名本身就是贡献)。会被压缩的是纯搬运——说白了:能被一份清楚说明书完整描述的工作,就可以被自动化。
全篇最后一句。十四章从「什么是 AI」讲到这里,如果只带走一句话,那就是这一句:工具的能力决定你能做多少事,你的判断力决定这些事值不值得做。这一章从头到尾没有一节落在「所以别用了」——就像第 13 章那个菜刀的道理:厨房里没有一条规则是「别用刀」,全都是「在这种情形下这样握」。而这一节讲的,是那把刀无论多锋利都不该替你决定的事:今天这顿饭做给谁吃,以及做成什么味道。