四种能力篇 · 感知 / 理解 / 决策 / 生成

抛开定义之争，AI 能做的事说到底就四件：感知世界、理解意思、做出决策、生成内容。任何一个 AI 产品，都能拆解到这四种能力里。前面三节讲的是"AI 有多强"这个纵向的层级；这一节换成横向的切法——不问它属于哪一级，只问它由哪几块能力拼成。这把尺子的实用价值极高：以后无论遇到什么新产品、新论文、新概念，你都能先把它拆成这四块，再判断它到底新在哪。

先把术语翻译成人话

这一节会冒出一批英文缩写和技术名词。它们听着玄，落到实处都很朴素。先把本节核心名词一次性摊在一张表里，翻译成人话再各配一个生活里的对应物：

看完这张表，其实就是一句话：AI 的四种能力，跟你去一趟医院的流程一模一样——先化验（感知）、再读单（理解）、再定方案（决策）、最后开处方（生成）。后面每个技术名词第一次正式出场时，都会再跟一句大白话解释，你不用现在记住。

为什么是这四种：一条信息流水线

这四种能力不是随便列的清单，它们是一条有严格顺序的信息通路，对应着"从物理世界进来、在内部加工、再回到物理世界"的完整闭环。

物理世界  ──感知──▶  数字表示  ──理解──▶  内部语义
                                              │
                                            决策（选一个动作）
                                              │
物理世界  ◀──生成──  输出内容  ◀────────────┘
                        │
                        └──▶ 环境变化 ──▶ 重新感知（闭环）

这条流水线可以套到任何智能系统上。人类是这样：眼睛看到红灯（感知）→ 明白这是禁止通行（理解）→ 决定踩刹车（决策）→ 脚上肌肉发力（生成）。自动驾驶也是这样，只是每一环换成了摄像头、感知网络、规划器、控制信号。四种能力的顺序不能颠倒，且每一环的上限会封死后面所有环的上限——感知错了，理解一定错；理解错了，决策必然错。这是所有 AI 系统调试的第一原则：出问题先往上游查，而不是在下游打补丁。

还有一点很关键：四种能力的技术难度顺序，和人类的直觉正好相反。人类觉得"看见"最简单、"创作"最难，但对机器来说，"生成一篇通顺文章"在 2022 年就基本解决了，而"在陌生厨房里认出咖啡机并拿起来"至今没解决。这就是上一节提到的莫拉维克悖论在这条流水线上的体现。

用一趟地铁通勤，把四种能力再走一遍

上面那条流水线画成图很清楚，但图是抽象的。打个比方，我们拿一件每天都在发生的事重走一遍——早上你从家出发去办公室。这一趟里你的大脑把四种能力各跑了几十遍，只是你完全没察觉。

这张表想让你看到的不是流程，而是难度分布。整趟通勤里，唯一一件机器已经干得比你好的事，是最后那句"我可能迟到五分钟"——写句通顺的话它是行家。而"看一眼就知道电梯为什么不动"这种你完全没花力气的判断，机器至今做不好。简单说：链条上人觉得最轻松的那几环，恰恰是机器最贵的那几环。

还有一层更要紧的：这一趟里闭环跑了不止一遍。你不是感知一次就完事，而是每隔几秒重新看一眼、重新判断一次。本质上就是"边走边纠"。而今天大部分 AI 系统只跑一遍就交答案，没有"再看一眼"这个动作——这也是为什么给系统加上"观察—行动"的循环（也就是后面要讲的 Agent）会带来质变。

四种能力的成本账：哪一环最贵，哪一环最容易被外包

做产品时你会立刻发现一件事：这四块能力的价格差得离谱。理解这份账单，比理解技术原理更能帮你判断一家公司在干什么。

这张账单能推出一条相当硬的判断规则：凡是能按次买到的能力，都不会是护城河。好比开一家餐厅——调料和餐具人人都能去菜市场买同一家，那你的本事只能落在别人买不走的地方：那口锅的火候、那份配方、以及回头客名单。放到 AI 产品上，"别人买不走的"通常只有两样：你独有的数据，和你独有的决策目标。

顺带解释一个常见困惑：为什么这两年一大批"AI 应用"看起来很像、又都活得很紧张？说白了就是它们把重心押在了生成这一环，而生成恰好是四环里唯一能整块买到的。你买得到，你的竞争对手也买得到，而且下个月还更便宜。

动手练：把身边三个 AI 拆成四块

这一节的尺子只有真正用过才算学会。给你三个例子，先自己在心里拆一遍，再看下面的答案——相当于做完作业再对答案，比直接看讲解记得牢得多。

拆完你会注意到一个反直觉的结论：这三个产品里，被大众当成"AI 味最重"的那一环——生成——其实全都最轻。相册搜索几乎不生成，点单机只打小票，输入法只是把词摆出来。真正决定体验好坏的是理解和决策：相册能不能读懂"去年夏天在海边那张"，输入法能不能猜准你的习惯。

所以这把尺子最实用的地方，是帮你把注意力从最显眼的那一环挪到最要命的那一环。下次你觉得某个 AI 产品"不好用"，别急着说它模型不行，先拆一遍：是它没看清（感知）、没听懂（理解）、选错了（决策），还是话说得不好（生成）？四个位置对应四套完全不同的修法，认错位置等于白修。

能力一 · 感知（Perceive）

把物理世界翻译成机器能读的数字。没有感知，AI 就是"闭眼睛的天才"。

技术原理 · 视觉这一支的三十年演进。1998 年 Yann LeCun 的 LeNet-5 用卷积网络识别手写邮政编码，确立了 CNN 的基本结构：用小窗口在图像上滑动提取局部特征，逐层组合成越来越抽象的模式——底层几个像素的边缘和角点，中层眼睛和轮子这样的部件，高层完整的猫和汽车。真正的爆发点是 2012 年的 AlexNet：它在 ImageNet 竞赛上把错误率从 26% 一举压到 15.3%，比第二名领先十个百分点，用的是 GPU 训练加上 ReLU 激活和 Dropout。这一年通常被当作深度学习时代的起点。2015 年 ResNet 用"残差连接"让网络能堆到一百层以上，在 ImageNet 上的错误率降到约 3.6%，低于人类标注员的约 5%。2020 年 Vision Transformer（ViT）证明了另一条路：把图像切成小方块当成"单词"序列，直接用处理语言的 Transformer 架构来做，在数据量足够大时效果更好。

听觉这一支的关键转折。语音识别在深度学习之前用的是"隐马尔可夫模型加高斯混合"的组合，需要音素词典和大量语言学知识。深度学习之后走向端到端：直接从声波映射到文字，中间不再显式建模音素。2022 年 OpenAI 的 Whisper 是个标志性成果——它用了 68 万小时的多语言音频训练，能在嘈杂环境、口音、专业术语下保持稳定，还能顺手做翻译。这里的启示是：感知能力的突破往往不是靠更精巧的模型，而是靠数据规模跨过某个量级。

多模态：感知的当前前沿。2021 年 OpenAI 的 CLIP 做了一件影响深远的事：用四亿组"图片 + 文字描述"训练，让图像和文字被映射到同一个向量空间里。于是"一张狗的照片"和"a photo of a dog"这句话在数学上位置相近。这个看似简单的对齐带来了两个巨大后果：第一，实现了零样本分类——你不需要为"识别牛油果酱"专门训练，只要把这个词写出来就能拿去比对；第二，它成了后来所有文生图模型（Stable Diffusion 等）的语义桥梁，因为你终于有办法把"文字要求"翻译成"图像空间里的方向"。

局限。感知层的问题至今相当扎实：对抗样本——在图片上加一层人眼完全看不出的噪声，就能让分类器把熊猫认成长臂猿，置信度还高达 99%；分布偏移——训练时没见过的天气、角度、光照会让性能断崖下跌；标注偏见——数据集里的人群比例失衡会直接变成系统性错误率差异；没有"不确定"这个输出——模型被迫在给定类别里选一个，即使正确答案根本不在选项里。这些都不是小 bug，而是当前范式的结构性弱点。

能力二 · 理解（Understand）

从内容里抽出"意思"。感知给出"这是什么"，理解回答"它在说什么、意味着什么"。

• 语义理解"帮我看看这份合同有没有陷阱"——AI 能读出条款背后的意图。
• 情感识别从用户评论里读出满意 / 不满 / 讽刺。
• 意图识别你说"我饿了"，音箱知道你在暗示叫外卖。
• 关系抽取从一段新闻里挖出"谁 / 做了什么 / 对谁 / 影响如何"。

技术原理 · 从词典到向量的观念革命。早期自然语言处理把词当成互不相关的符号：把"猫"编成第 1024 号，"狗"编成第 3391 号，两者之间没有任何数学关系。2013 年 Google 的 Word2Vec 改变了这一切——它用"根据上下文预测词"的简单任务训练，让每个词变成一个几百维的向量，结果向量之间竟然浮现出语义结构，最著名的例子是那个几乎像魔术的等式：向量("国王") − 向量("男人") + 向量("女人") ≈ 向量("女王")。这说明意义可以被表示为空间中的方向，而不只是符号。

真正的分水岭是 2017 年的 Transformer。那篇论文的标题《Attention Is All You Need》本身就是宣言。它的核心机制"自注意力"解决了一个老问题：怎么让模型知道一个词该跟句子里哪些词联系起来。在"动物没有过马路因为它太累了"这句里，"它"指动物；把"累"换成"宽"，"它"就指马路。自注意力让每个词都去计算自己与句中所有其他词的关联权重，从而动态决定"该看谁"。这一机制的另一个决定性优势是可以完全并行计算——之前的 RNN 必须一个词一个词按顺序处理，而 Transformer 一次吞下整句，这才让训练规模扩大几个数量级成为可能。今天几乎所有大模型（GPT、Claude、Gemini、Llama、DeepSeek）都建立在这个架构上。

上下文与意图：理解的两个高阶层次。字面意思之上还有两层。上下文是指同一句话在不同语境下含义不同——"这个方案很有意思"在会议上可能是赞赏，也可能是委婉的否定；处理它依赖足够长的上下文窗口和对话历史。意图更进一步，要推断说话人真正想达成什么——用户说"这个太贵了"，真实意图可能是"有便宜的替代品吗"而不是在陈述价格。语言学上这叫"言语行为"，处理它需要某种程度的心理理论（Theory of Mind），即对他人心理状态的建模能力。这也是当前模型表现最参差的地方。

局限。理解层最著名的批评来自哲学家 John Searle 1980 年提出的中文房间思想实验：一个完全不懂中文的人待在房间里，按一本极详尽的规则手册把递进来的中文条子转换成合理的中文回复，房外的人会以为他懂中文——但他其实什么都不懂。Searle 用它论证符号操作不等于理解。这个论证六十年来被反复辩驳（有人反驳说"房间整体"是懂的，就像单个神经元也不懂中文但大脑懂），但它精确指出了一个仍未解决的问题：我们至今没有一个可操作的方法，去区分"真的理解"和"表现得像理解"。工程上的具体表现就是幻觉——模型能极其流畅地讲一个完全不存在的历史事件，而它自己毫无察觉。

能力三 · 决策（Decide）

在多种可能里选一个"更好的"。只要有取舍，就有决策空间。

技术原理 · 三条并存的技术路线。决策能力不是一种技术，而是三类差别很大的方法各管一片：

强化学习值得单独说，因为它是四种能力里唯一天生带"闭环"的技术。它的核心概念只有五个：状态（现在什么情况）、动作（能做什么）、奖励（做完得多少分）、策略（在什么状态选什么动作）、价值（当前状态的长期期望回报）。它最难的一点叫探索与利用的权衡：一直吃已知最好的那家餐馆（利用），你永远发现不了更好的；每天都乱试（探索），你会吃很多难吃的饭。所有强化学习算法本质上都在这条张力上找平衡点。它第二难的一点叫信用分配：下了两百手棋最后输了，到底哪一手是败因？这就是为什么棋类和游戏成了强化学习的主战场——它们能反复重来、奖励清晰、还能自我对弈无限产生数据。

局限。决策层的问题最贴近真实世界的麻烦。奖励设定即价值取向：推荐系统若以"停留时长"为奖励，最优解就是推送让人上瘾和愤怒的内容——这不是算法失灵，是奖励定得太窄，也正是 § 1.3 里"规格博弈"的现实版本。长时序衰减：一个需要二十步的任务，若每步成功率 95%，整体成功率只剩约 36%，这就是当前 Agent 做长任务不稳的数学原因。探索成本：自动驾驶不能靠撞车来学习，医疗不能靠试错来学习，这类高风险领域强化学习难以直接应用。缺乏可解释性：模型拒绝了一笔贷款，很难给出符合监管要求的理由说明。

能力四 · 生成（Generate）

造出以前不存在的内容。这是 2022 年之后 AI 最出圈的一支——从"识别"跨到"创作"。

技术原理 · 文本生成靠"自回归"。大语言模型做的事只有一件：给定前面所有词，预测下一个词的概率分布，采样一个，然后把它接到后面，再预测下一个。就这么循环。它的所有能力都是这个机制的副产品。有两个参数决定了输出的性格：temperature 控制随机性——接近 0 时总选概率最高的词，输出稳定但呆板；调高则更多样但可能跑偏。top-p 则限定只从累积概率前若干的候选里采样，避免选到那些荒谬的低概率词。

自回归生成的循环（伪代码）

tokens = 编码(用户输入)
while 未遇到结束符 and 长度 < 上限:
    logits = 模型(tokens)             # 对词表里每个词打分
    probs  = softmax(logits / temperature)
    next_t = 按 top_p 截断后采样(probs)
    tokens.append(next_t)             # 关键：自己的输出成为下一轮输入
输出 = 解码(tokens)

# 注意：这里没有任何"事实核查"环节
# 模型只在优化"这个词接在后面像不像人写的"
# ——这就是幻觉的机制性根源

图像生成靠"扩散"。思路极其巧妙，分两个方向。前向过程：拿一张真实图片，一步步往上加高斯噪声，加几百步后变成纯噪声——这一步不需要学，是确定的数学操作。反向过程：训练一个网络去预测"这一步加的噪声是什么"，学会之后就能反过来从纯噪声一步步去噪，还原出一张图。生成时给它一段文字，用 CLIP 那类文本编码器把文字变成向量，在每一步去噪时引导方向，最终得到符合描述的图像。2022 年 Stable Diffusion 的关键改进是把这套过程从像素空间搬到了压缩后的潜空间，算力需求下降一个数量级，这才让消费级显卡也能跑，直接引爆了整个开源生态。

视频生成难在哪。视频不是"很多张图片"，它多了一个必须处理好的维度：时间一致性。同一个人在第 3 秒和第 8 秒必须是同一张脸、同一件衣服；物体被遮挡后再出现必须还在；水要往下流不能往上流。早期视频生成的典型失败就是人物脸部在帧间"漂移"、四肢数量偶尔变化。当前主流做法是用"时空注意力"同时在空间和时间两个方向建模，并把物理合理性作为隐式学习目标。这也是为什么视频生成模型常被视为世界模型的早期形态——要生成合理的视频，它必须在某种程度上"知道"物体会掉落、会碰撞、会遮挡。

局限。生成层的问题最被公众熟知也最具争议：幻觉——机制性的，因为目标函数里没有"真"这个维度，只有"像"；版权与训练数据来源——正在全球范围内引发诉讼和立法；可控性——你想改图里一个细节，往往整张图都变了；细节崩坏——手指数量、文字渲染、镜面反射至今是老大难；同质化——模型倾向输出训练数据里的平均审美，导致大量作品"一眼 AI"；深度伪造——同一套技术做配音也能做诈骗电话。

四种能力如何组合成智能体（Agent）

把四种能力串成闭环并加上工具和记忆，就得到了 2024 年之后最热的形态——AI Agent。它和一个聊天机器人的本质区别在于：聊天机器人的循环是"你问它答"，而 Agent 的循环是"它自己观察、思考、行动、再观察"，人只在开头给目标、在关键处确认。

这里有个很值得玩味的循环：Agent 的做法，实际上是让一个"最宽的弱 AI"去调度一堆"最窄的弱 AI"。大模型负责理解意图和编排流程，具体的精确计算、检索、执行交给传统程序和专用模型。这正好把 § 1.1 讲的"专用性优势"和大模型的"通用性优势"缝在了一起，也解释了为什么"工具调用"被认为是过去两年最重要的工程突破之一——它不需要模型变得更强，只需要承认它的边界并在边界外接上别的东西。

但闭环也带来了新的脆弱性。四种能力串联时，误差会乘起来而不是加起来：感知误读了一个数字，理解就会建立在错误前提上，决策会据此规划，生成会执行一串错误动作，而下一轮观察又会把结果当成新的事实。这叫误差累积，也是当前所有 Agent 系统必须设计"人类确认点"和"回滚机制"的原因。前面算过的那个数字值得再看一遍：单步 95% 的成功率，二十步之后只剩三成多。提升 Agent 可靠性的关键从来不是让模型更聪明，而是缩短链条、增加校验、让每一步可撤销。

如何用这四种能力"透视"一个 AI 产品

• Q1 · 它看到了什么？输入哪些模态：文本？图片？声音？
• Q2 · 它理解了什么？从输入里提取了什么"意思"或"结构"？
• Q3 · 它决定了什么？在什么候选里选了哪一个？
• Q4 · 它生成了什么？最终输出的形式是啥？
• Q5 · 哪一环是它真正的护城河？四环里通常只有一环是自研的核心，其余是调用现成能力。找出那一环，你就知道这家公司真正的资产是什么，也知道它最容易被谁替代。
• Q6 · 哪一环最容易出错，出错谁承担？这是产品设计和责任划分的关键问题。感知错了通常可以复查，生成错了如果直接落地执行就可能造成不可逆后果。越靠后的环节出错，代价越高。

拿三个熟悉的产品跑一遍这套尺子，你会立刻看出它们的差别在哪：

看出规律了吗？同样是"AI 产品"，它们的重心完全落在不同环上。推荐系统几乎不需要生成能力，自动驾驶的胜负八成在感知，编程助手拼的是理解深度。所以下次听到"我们也用了大模型"这句话时，正确的追问是："你的大模型用在哪一环？那一环原来是靠什么做的？换成大模型之后好了多少？"——这三个问题能过滤掉绝大部分噪音。