开源生态

这一节要纠正一个几乎所有人都在用错的说法。当媒体说「某某发布了开源大模型」时，绝大多数情况下他们描述的其实是「开放权重」，而按开放源代码促进会（OSI）的正式定义，只发布权重根本不构成开源。这不是文字游戏——两者的差别，决定了你能不能真正理解这个模型、能不能复现它、能不能对它负责。本节前半部分把 OSI 那份定义逐条拆开讲，并用 Meta Llama 许可里那条「7 亿月活门槛」做实例；后半部分讲一套真正能上手的东西：llama.cpp、GGUF 格式、Ollama——也就是「怎么在自己的电脑上跑一个模型」。这后半部分是全章唯一能让你今晚就动手试一试的内容。所有内容截至 2026 年 8 月 8 日。

先把「权重」这个词彻底说清楚

要理解后面所有内容，得先把这个最基础的词讲透。

权重（weights）说白了就是：模型内部那几千亿个数字。就这么简单，它不神秘。

用调收音机打比方（§5.1 用过这个比方，这里再用一次）：一台老式收音机有几个旋钮，你转动它们直到声音最清楚。那几个旋钮此刻停在的位置，就是「权重」。而神经网络相当于一台有几千亿个旋钮的收音机，训练过程就是有人花几个月时间，把这几千亿个旋钮一个个转到最合适的位置。

所以「发布权重」这件事的实质是：把那几千亿个旋钮的最终位置抄下来，做成一个文件给你。你拿到这个文件，就能造出一台旋钮位置完全一样的收音机，听到一样清楚的声音。

但你不知道这些位置是怎么找到的。你不知道调试者试过多少个组合、听的是哪个电台、用什么标准判断「清楚」。换成大白话：你拿到了答案，但没拿到解题过程。

OSI 的定义原文对这几个概念做了非常精确的区分，值得逐字看：

"An AI model consists of the model architecture, model parameters
(including weights) and inference code for running the model.
AI weights are the set of learned parameters that overlay the model
architecture to produce an output from a given input."

翻译：「一个 AI 模型由模型架构、模型参数（含权重）和用于运行模型的推理代码组成。AI 权重是那组学到的参数，它们叠加在模型架构上，从而对给定输入产出输出。」

把这句话拆成三样东西，对应到收音机：

注意这三样里没有「训练代码」和「训练数据」。这就是关键——上面这三样加起来只够让模型「跑起来」，不够让人「重做一个」。而 OSI 定义要的恰恰是后者。

OSI 与 OSAID：开源这个词是有主人的

在讲定义之前，先说清楚凭什么是 OSI 说了算。

OSI（Open Source Initiative，开放源代码促进会）是 1998 年成立的非营利组织。「开源」（open source）这个词的定义、以及「哪些许可证算开源许可证」这件事，几十年来就是由它维护的。

用一个生活里的对应关系来理解它的地位：「有机蔬菜」这四个字不是谁想印在包装上就能印的，得符合一套认证标准。相当于菜市场里有个专门的机构管着「什么才算有机」，你的菜再干净、再没打农药，没过认证也不能标「有机」。OSI 在软件世界扮演的就是这个角色。

2024 年 10 月，OSI 发布了 Open Source AI Definition（OSAID，开源 AI 定义）v1.0，专门回答「一个 AI 系统怎样才算开源」。这就是本节的核心依据，出处 opensource.org/ai/open-source-ai-definition，可靠度：高。

它先给出四项自由，原文：

"An Open Source AI is an AI system made available under terms and
in a way that grant the freedoms to:
  Use the system for any purpose and without having to ask for
    permission.
  Study how the system works and inspect its components.
  Modify the system for any purpose, including to change its output.
  Share the system for others to use with or without modifications,
    for any purpose."

翻译成四条大白话，并配上生活类比：

请特别注意「使用」那一条里的 without having to ask for permission（不必征得许可）。Meta Llama 那条「月活超 7 亿必须向 Meta 申请，Meta 可自行酌情决定」的条款，恰好就撞在这七个字上。这个对撞我们下面单独讲。

再注意「研究」那一条里的 inspect its components（检查它的组件）。光有权重你没法「检查组件」——说白了：你能听到收音机响，但你不知道那几千亿个旋钮为什么停在那个位置。这条自由要求的是能看进去，不只是能用起来。

三要素：Data Information + Code + Parameters

四项自由是目标，那怎么才算达成？OSI 给出了一个非常具体的判据，叫「优先修改形式」（preferred form to make modifications）。这是全节最重要的一段，它把「算不算开源」变成了一道可以打勾的清单。

它要求三样东西，缺一样都不行。逐条看原文。

第一样：Data Information（数据信息）。原文：

"Data Information: Sufficiently detailed information about the data
used to train the system so that a skilled person can build a
substantially equivalent system. Data Information shall be made
available under OSI-approved terms."

翻译：「关于训练该系统所用数据的足够详细的信息，使得一个熟练的人能够构建出一个实质等效的系统。数据信息须以 OSI 认可的条款提供。」

这一条有两个非常聪明的设计，值得单独说：

• 它要的是「信息」，不是「数据本身」OSI 没有要求你把训练数据整个放出来。这是一个务实的妥协——训练数据里可能有版权内容、隐私信息，全部公开在法律上往往不可行。相当于辣酱配方里不要求你把那袋辣椒寄给我，只要求你告诉我「用的是哪个品种、哪个产地、大概什么比例」。
• 判定标准是「实质等效」substantially equivalent system——一个熟练的人照着这些信息，能做出一个差不多的东西。这个标准很实用，因为它不要求逐字节一致（那不可能，训练本身有随机性），只要求能重做一个功能相当的。说白了：能不能照着你的说明再做一罐味道差不多的酱。

第二样：Code（代码）。原文：

"Code: The complete source code used to train and run the system.
... Code shall be made available under OSI-approved licenses."

翻译：「用于训练和运行该系统的完整源代码。……代码须以 OSI 认可的许可证提供。」

注意这里是「train and run」（训练和运行），不是只有运行。这一点极为关键，因为绝大多数「开源模型」发布的只有运行所需的推理代码，训练代码根本不给。相当于邻居告诉你「这罐酱怎么开盖、怎么保存、怎么蘸着吃」，但不告诉你「怎么炒出来的」。

第三样：Parameters（参数）。原文：

"Parameters: The model parameters, such as weights or other
configuration settings. Parameters shall be made available under
OSI-approved terms."

翻译：「模型参数，例如权重或其他配置设置。参数须以 OSI 认可的条款提供。」

把三样合起来，就是那句最关键的结论。OSI 原文：

"'Open Source models' and 'Open Source weights' must include the
data information and code used to derive those parameters."

翻译：「『开源模型』和『开源权重』必须包含用于导出这些参数的数据信息与代码。」

所以答案很明确：仅发布权重、不提供 Data Information 与训练 Code，按 OSAID 不构成 Open Source。

把这个判据做成一张能打勾的表，你以后看任何「开源模型」发布公告都能自己判断：

看这张表最下面两行——那正是「开放权重」和「开源」的分界线。

拿 Llama 4 当尺子量一遍

光讲定义容易空。现在把 §12.2 引用过的 Llama 4 Community License 拿出来，逐条对着 OSAID 量一遍。这是本节最实用的一段，因为它给了你一套可以套用到任何模型上的检查动作。

先重申一次那条最关键的原文（Section 2 Additional Commercial Terms，生效日 2025 年 4 月 5 日）：

"If, on the Llama 4 version release date, the monthly active users
of the products or services made available by or for Licensee, or
Licensee's affiliates, is greater than 700 million monthly active
users in the preceding calendar month, you must request a license
from Meta, which Meta may grant to you in its sole discretion..."

现在逐条对照：

所以结论是什么？按 OSAID 这把尺子，Llama 4 属于「开放权重」（open weights），不属于「开源 AI」（Open Source AI）。

但请务必把这个结论理解对，它非常容易被读成一句攻击的话。这里说三点：

• 一 · 这不是说 Llama 不好Meta 把一个前沿模型的权重公开发布，这件事对整个行业的推动是巨大的。说白了：邻居送你一罐辣酱，本身是件好事。我们只是在说，这罐酱不等于那份配方。
• 二 · 这不是说 Meta 在骗人Meta 官方给这份协议的名字是 Community License（社区许可），它从来没有自称是 OSI 认可的开源许可证。把「开放权重」传成「开源」这件事，主要发生在转述和媒体标题里，不是在原始协议里。
• 三 · 这个判定是「按 OSAID」的判定本节的结论有一个明确的前提：依据是 OSI 的 OSAID v1.0。换一把尺子可能得出不同结论。相当于说「这块菜按有机认证标准不算有机」——这是在陈述认证结果，不是在说这菜不好吃。

那正确的说法是什么？给你三组用词对照，以后写东西可以直接用：

「开放权重」（open weights）这个词是有的，而且越来越多人在用。它准确、诚实、不需要争论。用超市标签打比方：「本地种植」和「有机认证」是两个不同的标签，前者也是好东西，但它就是不叫后者。用对标签，比争论哪个更高级有意义得多。

llama.cpp：让普通电脑也能跑模型的那个项目

讲完定义，现在讲能上手的东西。这一小节和后面两小节，是全章唯一你今晚就能动手试的部分。

llama.cpp 是一个开源推理项目，官方仓库 github.com/ggml-org/llama.cpp，许可是 MIT license（GitHub 仓库侧栏明确标注，可靠度：高）。

这里请注意一个容易搞混的地方：llama.cpp 的许可是 MIT（一个标准的 OSI 认可开源许可），但它跑的那些模型的许可各不相同。相当于你家的微波炉是你自己的，但你放进去加热的那盒便当归谁、能不能转卖，是另一回事。

官方 README 里对项目目标的表述：

"The main goal of `llama.cpp` is to enable LLM (and VLM) inference
with minimal setup and state-of-the-art performance on a wide range
of hardware - locally and in the cloud."

翻译：「llama.cpp 的主要目标是：以最少的配置、在各种硬件上（本地或云端）实现大语言模型（以及视觉语言模型）的推理，并达到一流的性能。」

「minimal setup」（最少的配置）这四个字是这个项目的灵魂。为什么这件事重要？因为传统的模型推理需要装 Python、装 PyTorch、装 CUDA、配环境变量，一整套下来对普通人是灾难。相当于你想在家煮碗面，结果得先装修厨房、通煤气、买抽油烟机。

官方列出的特性里，有四条特别值得逐条翻译：

最后那条「CPU+GPU 混合推理」值得用生活场景说透，因为它解决的是最常见的痛点。

回忆 §12.1 那个饺子车间的比方：显存是案板。你的案板（显存）只有 8 GB，但要摊的菜谱（模型）有 20 GB。纯 GPU 方案会直接告诉你「放不下，干不了」。

而混合推理相当于说：案板上先放最常用的那部分，剩下的暂时摊在旁边的餐桌上（也就是普通内存里），需要时再端过来。结果是慢一些，但活儿能干成。说白了：从「不能做」变成「做得慢」，这个改变对个人用户是决定性的。

官方 Quick start 给的命令长这样，简洁程度值得一看：

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

两条命令的区别：cli 是在命令行里直接跟模型聊天；serve 是起一个服务，让别的程序能通过接口来调它。相当于前者是你自己走到窗口去问，后者是开一个窗口让所有人来排队问。安装入口官方给的是 llama.app。

后端支持列表也值得抄一遍，因为它是一张「谁的硬件被认真支持」的清单：CUDA、HIP、Metal、Vulkan、SYCL、CANN（Ascend NPU）、MUSA（Moore Threads）、OpenCL（Adreno）、WebGPU、ZenDNN。

§12.1 里关于华为昇腾唯一那条有据可查的事实，就在这份列表里：CANN | Ascend NPU。而 MUSA 对应的摩尔线程也是一家中国厂商。这份列表能说明的事情很朴素但很硬：这些硬件在最主流的开源推理项目里被官方支持。它不说明任何性能数字，但它说明了生态适配的存在。

项目规模数据（截至 2026 年 8 月 8 日查询该仓库当日显示）：1,873 位贡献者，最新发布标签 b10313。

这两个数字换算一下会更有感觉：1873 个人给同一个项目提交过代码——这个规模相当于一个中型软件公司的全部工程师。而 b10313 这个标签说明它已经发过一万多个版本，相当于如果每天发一个版本，也要发二十八年。说白了：这不是一个业余项目，是一个高强度持续迭代的工程。

GGUF：模型的「统一集装箱」

上面那条命令里出现了 Qwen3.5-0.8B-GGUF。这个后缀是什么？这一小节讲一个只有五个字母、但极大简化了本地跑模型这件事的东西。

GGUF 是一种模型文件格式。官方规范（github.com/ggml-org/ggml/blob/master/docs/gguf.md）原文：

"GGUF is a file format for storing models for inference with GGML
and executors based on GGML. GGUF is a binary format that is
designed for fast loading and saving of models, and for ease of
reading. Models are traditionally developed using PyTorch or
another framework, and then converted to GGUF for use in GGML."

翻译：「GGUF 是一种文件格式，用于存放供 GGML 及基于 GGML 的执行器做推理的模型。它是一种二进制格式，设计目标是快速加载和保存模型、以及便于读取。模型通常先用 PyTorch 或其他框架开发，然后转换成 GGUF 以便在 GGML 中使用。」

用快递的比方讲这件事，一句就懂：不同工厂生产的商品，包装规格五花八门——有的用泡沫箱、有的用麻袋、有的散装。而集装箱标准化之后，所有东西都装进统一尺寸的箱子，任何一台起重机、任何一条船都能处理。GGUF 就是模型世界的集装箱标准。

注意原文里那句「converted to GGUF」（转换成 GGUF）。这说明 GGUF 不是模型训练时的原生格式——模型先在 PyTorch 那边训好，再打包成 GGUF 拿出来用。相当于工厂里生产完的货，装进集装箱才上船；集装箱不是生产用的容器，是运输用的容器。

官方还说明了它的来历：

"It is a successor file format to GGML, GGMF and GGJT, and is
designed to be unambiguous by containing all the information needed
to load a model."

翻译：「它是 GGML、GGMF 和 GGJT 的后继格式，通过包含加载模型所需的全部信息来做到无歧义。」

「包含全部所需信息」这一点，比听起来重要得多。它解决的是一个非常具体的痛苦：以前拿到一个模型文件，你还得另外知道一堆配置——多少层、词表在哪、用什么分词器。少一样就跑不起来。相当于你收到一个包裹，箱子里有零件但说明书丢了，你得自己猜怎么装。

而 GGUF 与前一代 GGJT 的关键差别，官方点得很准：

"The key difference between GGJT and GGUF is the use of a key-value
structure for the hyperparameters (now referred to as metadata),
rather than a list of untyped values."

翻译：「GGJT 与 GGUF 的关键差别在于：超参数（现在改称元数据）采用键值结构，而不是一串无类型的值。」

这个改动值得用一个生活场景讲透，因为它是所有「配置文件设计」共通的道理。

旧办法（一串无类型的值）相当于：你去药店取药，药师递给你一张纸条，上面只写着「3 2 7 1」。你得自己知道第一个数是每天几次、第二个是几片、第三个是几天、第四个是饭前还是饭后。顺序一错就全错，而且中间加一项会把后面全部错位。

新办法（键值结构）相当于：纸条上写「每天次数=3；每次片数=2；服用天数=7；饭前饭后=饭后」。顺序可以任意打乱，加新项也不影响老项，而且看一眼就知道每个数是什么意思。

再看两个规范细节，它们能教你「文件格式」是怎么设计的：

• 文件头 magic 必须是 GGUF对应字节 0x47 0x47 0x55 0x46。这四个字节就是文件开头的「身份印章」。程序打开文件先看这四个字节，不对就直接判定「这不是我认识的格式」，省得白读几个 G。相当于快递员先看箱子上的印章是不是自家公司的，不是就不签收。
• 当前规范版本必须为 3官方原文「Must be 3 for version described in this spec, which introduces big-endian support.」——本规范描述的版本必须为 3，该版本引入了大端字节序支持。「大端 / 小端」说白了就是「一个多字节的数，从左往右写还是从右往左写」——不同 CPU 架构习惯不同，格式得都支持才能跨平台。相当于有的国家日期写「日/月/年」，有的写「年/月/日」，表格得能认两种。

官方还给了一套文件命名规范，看着复杂但拆开就明白：

[<Sidecar>]<BaseName><SizeLabel><FineTune><Version><Encoding><Type><Shard>.gguf

翻译成大白话，这就是一张商品标签的字段清单：基础模型名、尺寸标签（多少 B）、微调版本、版本号、编码方式（量化档位）、类型、分片编号。说白了：看文件名就能知道这是「哪个模型、多大、什么量化、第几片」，不用打开就知道箱子里装的是什么。这跟超市商品标签上「品牌+规格+口味+生产批次」的排法是同一个思路。

Ollama：把这一切包成一句话

llama.cpp 已经很省事了，但仍然要碰命令行、要理解量化档位、要自己找模型文件。Ollama 做的是再往上包一层，让整件事变成一句话。

官方文档（docs.ollama.com/quickstart）原文：「Ollama runs on macOS, Windows, and Linux.」——三大桌面系统都能跑。

官方给的用法极其简单，运行 ollama 就打开一个交互菜单，里面能：

• Run a model官方描述「Start an interactive chat」——开始一段交互式对话。说白了：选个模型，直接开始聊。
• Launch tools官方列出「Claude Code, OpenClaw, VS Code, and more」——能直接把本地模型接给这些开发工具用。这一条意味着你可以让编辑器里的 AI 助手跑在自己的电脑上，一个 token 的钱都不付给云端。

最基本的用法就一行，官方示例：

ollama run gemma4

就这样。没有配环境、没有装 Python、没有选量化档位、没有下载文件。它会自动帮你把模型拉下来然后开始对话。退出输入 /bye。

用一个厨房的比方来对比这三层的关系，你会立刻明白它们各自的位置：

官方还提了一个很有意思的功能——云端模型：「Cloud models work the same way: ollama run gemma4:cloud」。加一个 :cloud 后缀，同一条命令就改成跑在云端了。

这个设计相当漂亮。它的意思是：你的使用方式完全不变，只是活儿从自家厨房挪到了外面的厨房。相当于同一个点菜动作，你可以选「自己做」或者「叫外卖」，而点菜的方式一模一样。对使用者来说，本地和云端的切换成本被压到了一个后缀。

模型浏览入口官方给的是 ollama.com/search。

自己在电脑上跑一个模型，值不值得

工具讲完了，现在回答一个很实际的问题：作为普通人，你到底该不该折腾这件事？

先把两条路的账摆平（这是按前面各节可核实的信息做的对比，不含任何厂商宣称）：

按这张表，本地跑最值的四种情况是：

• 数据绝对不能外传病历、合同、内部财务、未公开的研究资料。这一条是本地部署最无可替代的价值，跟省钱无关。相当于有些菜你就是不放心让外面做，得自己在家煮。
• 要在没网的环境用飞机上、野外、内网隔离的机房。云端 API 在这些地方一点用没有。
• 量特别大且任务简单比如把十万条文本分类。这种活儿用小模型就够，而小模型在本地跑起来很轻松——省下的是实打实的钱。
• 想学明白它到底怎么工作这是最容易被低估的一条。亲手下载一个模型文件、看着它加载、感受不同量化档位的差别，这个体验能让前面十一章的所有原理落地。相当于你读了十本菜谱，不如自己下厨炒糊一次锅。

而不值得折腾的情况也很明确：如果你只是偶尔用一下、任务需要最强的能力、又不在乎数据发到哪里，那云端 API 更划算——尤其是看过 §12.3 那张价格表之后，你会发现便宜档的价格低到「省这个钱不如省时间」。

给一条最省事的上手建议：装 Ollama，跑一个小模型（几 B 参数那种），聊两句，感受一下。全程不超过半小时，也不用付钱。这半小时能让你对「模型跑在什么东西上」这件事的理解，超过读十篇文章。

开源生态到底改变了什么

把这一节收一下，说三件开放权重和开源工具真正带来的改变。这三件事都是可以从前面的事实推出来的，不含任何推测性预言。

改变一：它给了「不依赖任何一家公司」这个选项。

回想 §12.2 和 §12.3 里那些真实发生的事：Gemini 3 Pro Preview 被官方标 (Shut down)；deepseek-chat 于 2026 年 7 月 24 日弃用；Kimi 官方建议近期别用 web_search。这些都是你无法控制的变动，唯一的应对是改代码。

而一个下载到硬盘上的 GGUF 文件，没人能把它关掉。相当于你家冰箱里存的东西——外面的店关门、涨价、换菜单，都跟你冰箱里那份没关系。说白了：这不是性能上的优势，是「主权」上的优势。

改变二：它把「跑模型」的门槛从机房拉到了个人电脑。

这一点是 llama.cpp 那几条特性的直接结果。「不依赖任何外部库」让安装变简单；「1.5 位到 8 位的七档量化」让模型能塞进小显存；「CPU+GPU 混合推理」让显存不够时也能跑。三条加起来，把原本需要 §12.1 那种机柜才能做的事，压到了一台普通笔记本上。

用照相机打比方：过去拍好照片得有暗房、有药水、有专业设备，摄影是少数人的事；后来手机拍照普及，人人都是摄影者。这个变化不是让专业摄影师失业了，而是让「拍照」这件事从一门手艺变成了一种日常能力。

改变三：它逼着所有人把术语说清楚。

这就是本节前半部分的意义。OSAID 这份定义的存在，让「开源」这个词不再是想怎么用就怎么用的营销词。有了尺子之后，讨论就从「我觉得这算开源」变成了「按三要素清单，这一项满足、那一项不满足」。能吵出结果的争论，前提是有个大家都承认的尺子。

相当于装修行业有了国标之后，「环保材料」不再是老板嘴上说说——甲醛释放量的检测数值摆在那里，谁都不用争。

常见误解澄清

误解一：「开源模型就是免费模型。」

这里混了两件事。「开源」讲的是权利与透明度，「免费」讲的是价钱。Llama 4 不收你钱，但按 OSAID 不算开源；反过来，一个完全符合 OSAID 的模型也完全可以按商业方式收费提供服务。而且「不收模型的钱」不等于「用起来免费」——你得自己付算力和电费。

误解二：「开放权重就等于可以随便商用。」

这条误解代价最大，因为可能引出法律问题。Llama 4 Community License 里的三条硬义务（7 亿月活门槛、显著标注 Built with Llama、派生模型命名带 Llama）都是真实条款。说白了：下载不要钱，不等于用起来没规矩。要商用，请自己打开模型页面读 LICENSE 原文，别信任何二手转述——包括本节的转述。

误解三：「量化会让模型变笨，所以要用原始精度。」

§12.1 那个照相馆的比方已经讲过：80 MB 的原始文件和 2 MB 的 JPG 挂在墙上看不出差别。量化确实有损失，但在很多任务上这个损失小到无感，而省下的资源是成倍的。llama.cpp 提供 1.5 位到 8 位七个档位，正是因为「该用哪一档」取决于你的任务和硬件，没有统一答案。正确做法是自己在几个档位上试一下，看哪一档开始明显变差。

误解四：「Ollama 和 llama.cpp 是竞争关系，得选一个。」

它们更像上下两层的关系，参照前面那张厨房表：llama.cpp 是灶台和锅，Ollama 是电饭煲。相当于问「你家要灶台还是电饭煲」——很多人两个都有，做不同的事用不同的。

误解五：「本地跑的模型肯定比云端的弱。」

这个说法在具体条件下才成立，不能一概而论。它成立的部分是：你的机器摊不下 §12.3 提到的 235B 那种规模，而云端能提供。它不成立的部分是：很多任务用小模型就完全够用——文本分类、格式转换、简单摘要，杀鸡不用牛刀。说白了：问题不是「谁更强」，是「你的活儿需要多强」。

误解六：「llama.cpp 是 MIT 许可，所以我用它跑的模型也能随便用。」

前面提过这一点，这里再强调一次，因为它是最容易踩的坑。工具的许可和内容的许可是两码事。相当于你买的微波炉是你的，但你热的那盒别人家的便当不是你的。llama.cpp 的 MIT 许可管的是 llama.cpp 这段代码，管不到你加载进去的那个模型文件。