深度学习 · DL

深度学习是机器学习里一个特定分支：用"深层神经网络"来学。它是过去 12 年 AI 领域所有突破的共同底座——从人脸识别到 ChatGPT，都在这一格。它和上一节的经典机器学习有一个决定性的区别：经典 ML 需要人先把原始数据加工成特征，深度学习自己把特征也一起学了。这一句话看起来只是省了一道工序，实际上它解放了图像、语音、文本这三个人类根本没法手工描述的领域。这一节讲清"深"字究竟深在哪、表示学习为什么是它的真正内核、2012 年那一天到底发生了什么、六种主流架构各自解决什么问题、以及这条路线不得不背的两笔债——算力账单和黑箱难题。

先把术语翻译成人话

深度学习这一节的名词密度最高，而且大半是英文缩写。它们听着玄，拆开都很朴素。先一次性摊平——换成大白话，再各配一个生活里的对应物：

这张表里最值得先记住的是表示学习那一行。深度学习真正的本事不是"层多"，而是"该看哪儿不用人教"——说白了：以前是人先把原料切成模型能吃的形状，现在整颗菜扔进去它自己会处理。剩下的名词，本质上就是为了让这条很长的流水线别在中途卡死而发明出来的一堆修补件。

为什么要"深"

浅层网络（1-2 层）只能学最简单的规律（比如线性关系）。多加几层，网络能逐层抽象——越靠后的层，看到的信息越"高级"：

这里有个理论上的悖论值得说清。1989 年数学上已经证明了万能逼近定理：只要隐藏层足够宽，一层神经网络就能逼近任意连续函数。既然一层就够，为什么还要深？答案是"能表达"和"学得出、划得来"是三回事。一层网络要达到同等表达力，需要的神经元数量可能随问题复杂度指数级膨胀，而深层网络只需要线性地加层。这就好比表达"1024"这个数：宽网络是"1+1+1+…"写一千零二十四个 1，深网络是"2 的 10 次方"——深度带来的是复用，每一层都在复用下一层已经建好的零件。

再打一个更贴身的比方：写文章。浅层做法是把每篇文章都从笔画开始拼起来；深层做法是先有笔画，笔画组成字，字组成词，词组成句，句组成段。"词"这个中间层一旦建立，就能被无数句子复用，你不必为每个新句子重新发明汉字。深度网络的每一层，本质都在造这样一套可复用的"零件库"。

2013 年 Zeiler 和 Fergus 做了一件很直观的事：他们把训练好的卷积网络每一层的神经元"最喜欢看到什么图案"可视化出来。结果和理论惊人吻合——第一层是各个方向的边缘和色块（几乎就是生物视觉皮层的 Gabor 滤波器）；第二层是纹理、拐角、同心圆；第三层出现了轮胎、文字、网格；第四层能看到狗脸、鸟腿；第五层直接是完整的物体和场景。没有人告诉网络"你这一层负责找边缘"，这个分工是训练自己涌现出来的。

那些"训不动"的毛病，用一条流水线全能讲明白

上面那张技巧表里的名词，单个记很难，串成一个故事就很好记。打个比方：把一个几十层的神经网络看成一条几十道工位的流水线，那么深度学习史上那几个关键技巧，全都是在解决"这条线太长了会出什么毛病"。

为什么这个视角值得记住？因为它揭示了这个领域一个反直觉的规律：深度学习史上大多数关键突破，不是"想出了更聪明的算法"，而是"把某个挡路的小石头搬开了"。ReLU 就是"负数按 0 算"，残差连接就是"加一条跳线"，Dropout 就是"随机罢工"——本质上就是三个中学生都能听懂的点子，却分别顶开了一道当时全行业都过不去的门。

翻译成人话：这条流水线的能力上限，从来不由最聪明的那道工位决定，而由最容易卡住的那一环决定。所以这个领域的历史，读起来更像一部"排障史"而不是"发明史"。

算力账单换算成能看懂的数：那"1750 亿参数"到底多大

技术文章里的数字有个通病：写得越大越没感觉。"1750 亿参数""13 万亿 token""3640 PetaFLOP/s-day"这几个词摆在一起，除了"很多"之外传达不了任何东西。所以这里把它们全部换算成日常尺度。

这些换算不是为了唬人，而是为了让下面这句话变得可感：当训练成本从"两张显卡一周"变成"上万张卡三个月"，AI 研究的性质就从"聪明人的事"变成了"能拉到多少资本和电力的事"。说白了：这条曲线上升的不只是性能，还有门票价格。

反过来看，也正因为账单大到这个程度，才有了三个专门"往回省"的方向：蒸馏（Distillation——让小模型学大模型的判断）把师傅的本事压成一份薄笔记；量化（Quantization——把每个旋钮从高精度压成低精度）把 32 位浮点压到 4 位整数，显存需求掉四分之三；剪枝（Pruning——把几乎不起作用的连接直接剪掉）像给树修枝，砍掉不结果的枝条。这三招合起来，能让原本要一整柜服务器的模型跑在一台笔记本甚至一部手机上。

表示学习：深度学习真正的内核

如果只能用一个词概括深度学习的贡献，那不是"深"，而是表示学习（Representation Learning）——让机器自己学会"该用什么方式描述数据"。

回到上一节的对比。经典机器学习的完整流水线是：原始数据 → 人工特征工程 → 模型 → 结果。中间那道"人工特征工程"是整个项目最费人的一环。做人脸识别，2000 年代的工程师要手工设计 Haar 特征、HOG 方向梯度直方图、SIFT 尺度不变特征；做语音识别，要设计 MFCC 梅尔频率倒谱系数。每一个都是几年心血、一篇篇论文堆出来的，而且换个任务就得重新设计。

深度学习把这条流水线缩成：原始数据 → 神经网络（特征提取 + 分类一起学）→ 结果。这叫端到端学习（End-to-End）。它的威力在语音识别上体现得最典型：传统方案要把系统拆成声学模型、发音词典、语言模型好几个独立模块，各自训练再拼起来；端到端方案直接把声波喂进去、把文字吐出来，中间所有环节由网络自己决定。拆成模块的系统里，每个模块的局部最优加起来往往不是全局最优；端到端让整条链条为同一个目标一起优化。

经典 ML：  图片像素 ──[人手写 HOG/SIFT]──▶ 特征向量 ──[SVM]──▶ "猫"
                        ↑ 几年的研究工作

深度学习： 图片像素 ──[卷积层×N，自动学特征]──[全连接]──▶ "猫"
                        ↑ 全部由梯度下降自己学出来

还有一个副产品比"准确率提升"更值钱：学到的表示可以搬走复用。一个在 ImageNet 上训练过的网络，它前面若干层学到的"边缘、纹理、部件"对几乎所有视觉任务都有用。于是你做一个只有 500 张 X 光片的医疗项目，可以把这个网络拿来，冻住前面的层，只重训最后几层——这叫迁移学习，它让小数据场景也能吃到大数据的红利。今天所有"预训练 + 微调"的范式，包括大语言模型，全都建立在这个思想上。

顺便说一句反例，免得把它神化：端到端不是万能的。它要求有大量数据、要求任务的输入输出都能被明确定义。自动驾驶行业为此争了很多年——纯端到端（摄像头进、方向盘出）看起来优雅，但出事时你无法定位是哪一环判断错了，也无法单独修复某个问题。所以现实中的系统大多是"分模块 + 每个模块内部用深度学习"的折中。

深度学习为什么忽然火了

神经网络这个概念早在 1958 年就有了，为什么等到 2012 年才爆发？三个条件同时成熟：

• 大数据互联网积累了千亿级的图像、文本，为训练提供燃料。
• GPU 算力显卡把矩阵运算加速上百倍，让大网络能在几周内训完。
• 关键算法反向传播、ReLU、Dropout、Batch Normalization——一批小技巧组合起来让深层网络稳定收敛。

三者各自的具体推手值得点名。数据这一环的关键人物是李飞飞：2007 年起她带团队构建 ImageNet，用众包方式给约 1400 万张图片打了两万多个类别的标签，2010 年起举办 ILSVRC 竞赛。在那之前，视觉领域的标准数据集只有几万张图，谁也训不出大网络。算力这一环的转折是 2007 年英伟达发布 CUDA，让科研人员第一次能用通用编程方式调用显卡的几千个核心——GPU 本来是为画三角形设计的，结果发现它天生就是为矩阵乘法而生，而神经网络说到底就是一堆矩阵乘法。算法这一环最容易被低估：几个看起来微不足道的改动带来了质变。

其中梯度消失值得解释，因为它是"深"字在 2011 年之前无法实现的技术原因。反向传播计算梯度时要把每一层的导数连乘起来；老式的 Sigmoid 函数导数最大只有 0.25，十层连乘就是 0.25 的十次方，约等于百万分之一——传到最前面几层时梯度已经小到近似于零，那几层等于完全不学习。ReLU 的导数在正区间恒为 1，连乘不衰减，这个几乎是"把负数截成 0"的极简改动，直接打通了深层训练。深度学习的历史里，很多突破不是靠更聪明的数学，而是靠把某个不起眼的障碍搬开。

常见的六种网络"造型"

这六种造型不是随机长出来的，每一种都是为了把某个领域的先验知识焊进网络结构里。理解这个"为什么长这样"，比记住名字有用得多。

• CNN 的两个信念一是局部性——判断一个像素属于什么，主要看它周围一小片，不必看整张图；二是平移不变性——猫在左上角还是右下角都是猫，所以同一套"找猫耳朵"的权重可以在整张图上滑动复用（这叫参数共享）。这两个信念让 CNN 的参数量比同等规模的全连接网络小几个数量级。源头是 1998 年 LeCun 的 LeNet-5，当年就被用在美国的银行支票金额识别上。
• RNN / LSTM 的信念序列有时间顺序和记忆：理解"他"指谁，得记住前面提过谁。RNN 靠一个循环传递的隐藏状态来携带记忆，但原始 RNN 记不住几十步以外的事（还是梯度消失）。1997 年 Hochreiter 和 Schmidhuber 提出的 LSTM 加了输入门、遗忘门、输出门三个闸门，专门管"什么该记、什么该忘"，把有效记忆拉长到几百步。它统治了 2014—2017 年的机器翻译和语音识别，但有个死穴：必须一个词一个词按顺序算，无法并行，所以训不大。
• Transformer 的信念2017 年 Google 的论文《Attention Is All You Need》做了一件很激进的事——把循环结构整个删掉，只留注意力机制。注意力让序列中每个词直接和所有其他词计算关联度，"任意两个位置的距离都是 1 步"，长依赖问题消失了；更关键的是整句话可以一次性并行计算，训练速度和可扩展性彻底解放。这就是大模型时代的技术起点，第 4 章会专门拆它。
• GAN 的信念2014 年 Goodfellow 提出：造假的最好办法是让两个网络互相对抗。生成器负责造假图，判别器负责鉴别真伪，两者在博弈中共同进步——像造假币的和验钞机在军备竞赛。它让 2018 年前后的"AI 换脸""这个人不存在"成为可能。缺点是训练极不稳定，容易崩溃（模式崩塌：生成器发现只画同一张脸就能骗过判别器，于是不再产生多样性）。
• Diffusion 的信念与 GAN 的对抗思路相反，扩散模型走的是"学会去噪"：训练时不断往清晰图片上加噪声，直到变成纯雪花，然后让网络学会反向的每一步去噪。生成时从一团随机噪声出发，一步步"雕"出图像。它训练稳定、多样性好、可控性强，2022 年之后基本取代 GAN 成为图像生成的主流——Stable Diffusion、Midjourney、Sora 都属于这一支。
• 图神经网络 GNN还有一支常被忽略但很重要的造型。它的信念是：很多数据天生是网状而非网格或序列——社交关系、分子结构、路网、推荐系统里的用户商品二部图。GNN 让每个节点不断聚合邻居的信息来更新自己的表示。DeepMind 用它做出的谷歌地图到达时间预估、以及药物分子性质预测，都是有实际收益的落地案例。

值得注意的是近几年的一个趋势：Transformer 正在吞并其他造型的地盘。2020 年 Vision Transformer（ViT）证明了把图片切成小块当"词"来处理，在足够数据量下能打败 CNN；语音、时间序列、蛋白质结构预测也纷纷换上 Transformer。架构在收敛——这意味着未来的竞争重心会从"设计什么网络"转向"用什么数据、花多少算力"。

深度学习的代价：两笔越来越贵的账

• 要海量数据深层网络参数多，数据不够就"过拟合"。所以 GPT-4 训练用了 13 万亿 token。
• 要巨额算力训练一次 GPT-4 的电费据估算超过千万美元。这就是为什么只有大公司玩得起最前沿。
• 黑盒 · 难解释网络里有几百亿参数在协作，人几乎无法"翻译"某个具体决策是怎么做出来的。
• 对分布外数据敏感训练时没见过的场景，模型可能给出高度自信但完全离谱的答案。

算力账单的膨胀速度需要具体数字才有冲击力。2012 年 AlexNet 用两张消费级显卡训了不到一周；2020 年 GPT-3 有 1750 亿参数、训练算力约 3640 PetaFLOP/s-day，估算成本数百万美元；到 GPT-4 一代，公开估算的训练成本已在千万到上亿美元区间，需要上万张高端加速卡连跑数月。有分析指出，前沿模型的训练算力在 2012—2018 年间大约每 3 到 4 个月翻一倍，远快于摩尔定律的两年一倍。

这条曲线的后果是政治性的，不只是技术性的：深度学习把 AI 研究从"聪明人 + 一台工作站"变成了"资本 + 电网 + 供应链"。学术界因此被挤出了最前沿——很多顶尖研究者转向工业实验室，只因为学校买不起卡。同时它带来了实实在在的环境成本：训练大模型的碳排放已经成为一个被正式研究的课题，也是"小模型、蒸馏、量化"这些方向如今如此热门的原因——把一个大模型的能力"教"给一个小模型（知识蒸馏）、把 32 位浮点参数压成 8 位甚至 4 位整数（量化），能让模型在手机上跑起来，成本降几个数量级。

还有一笔容易被忽视的账：数据的边际收益在递减，而数据本身正在枯竭。有研究者估算，高质量的公开文本语料可能在不远的将来被消耗完。这就是为什么"合成数据""数据配比""数据质量"成了 2024 年之后最热的研究方向之一——当算力和参数都能靠钱解决时，数据反而成了最硬的约束。

黑箱问题与可解释性：最难的一笔债

一个上百亿参数的网络给出了"这张 CT 提示恶性"的结论，你问它为什么，它给不出理由。这不是工程没做好，而是结构性的：它的"知识"分散在几百亿个浮点数的相互作用里，没有任何一个位置写着"我判断依据是第三根肋骨下方的阴影"。这就是黑箱问题。

为什么这件事非解决不可？因为有些领域法律上要求解释。欧盟的 GDPR 赋予个人对自动化决策要求解释的权利；欧盟《人工智能法案》把医疗、招聘、信贷、司法等场景列为高风险，要求透明度和可追溯性。一个不能解释自己的模型，在这些领域就是不能用，无论它多准。

学界发展出了几类"事后打探"的工具，各有局限：

一个必须记住的区分：可解释（Interpretable）和事后解释（Explainable）不是一回事。决策树、线性回归是天生可解释的——模型本身就是解释。深度网络只能事后解释，而事后解释可能是一个听起来合理但并非模型真实依据的故事。研究者 Cynthia Rudin 为此写过一篇著名的批评文章，主张在高风险场景里就该直接用天生可解释的模型，而不是给黑箱套一层解释的外衣自欺欺人。

还有个和黑箱同源的麻痹症状：它错的时候依然很自信。对抗样本是最刺眼的证据——2013 年起研究者发现，给一张熊猫照片加上人眼完全看不出的微小扰动，模型会以 99% 的置信度判定它是长臂猿。在物理世界也成立：在停车标志上贴几张小贴纸，就能让识别系统读成限速牌。这说明网络学到的"猫的特征"和人类理解的"猫"并不是同一套东西——它只是在训练数据的分布上恰好一致罢了。这也解释了为什么它对分布外数据如此脆弱：一个只见过晴天路况的自动驾驶模型，遇到暴雪不是"不确定"，而是"自信地做错"。

DL vs 传统 ML · 什么时候用哪个

这张表可以压缩成一条判断线：看数据是"人能描述特征的"还是"人描述不了的"。信贷申请表上的年龄、收入、负债率，本身就是人类总结好的特征，树模型直接用效果极好，DL 反而没有优势——多项对比研究都显示在中小规模表格数据上梯度提升树仍然稳定优于神经网络。反过来，一张 CT 片有几百万个像素，没有任何人能写出"什么像素组合代表病变"，这时候只有 DL。

但今天更常见的答案是两者混用。一个真实的推荐系统往往长这样：用深度模型（甚至直接用预训练大模型）把商品图片、标题文本、用户评论压成向量表示（embedding），再把这些向量和"用户年龄、历史点击率、当日时段"这些人工特征拼在一起，最后交给一个 GBDT 或者浅层网络做最终排序。让 DL 干它擅长的"把非结构化数据变成向量"，让树模型干它擅长的"在结构化特征上做精确决策"。

最后给一条务实的工作顺序，能省下大量时间：永远先用简单模型做基线。先跑逻辑回归或 XGBoost，拿到一个分数，然后再上深度模型。如果深度模型只比基线高一两个点，而训练成本高一百倍、可解释性归零、上线维护复杂十倍，那这笔交易就不该做。深度学习是一把很重的锤子，重锤有重锤的用法，但别用它敲图钉。