大模型术语
图鉴

用海量文本训练出来的 AI 模型，核心本事是预测下一个词。把这个本事用到极致，就能聊天、写代码、翻译、总结。我们平时说的「大模型」基本都指它。

模型内部可调的「旋钮」数量，决定了模型有多大、多聪明。常用 B(Billion，十亿) 标记，比如 7B = 70 亿参数、70B = 700 亿。参数越多通常越强，但也越吃内存、跑得越慢。

就是那些参数训练完之后存下来的具体数值，是模型的「本体」。下载一个模型，本质上就是在下它的权重文件（常见格式 .safetensors）。开源权重 (open-weights) 指厂商把这些文件公开放出来让你下。

预训练：用全网海量数据从头培养出一个「通才」，成本极高。微调：在通才基础上用小批专门数据「补课」，让它擅长某个具体任务（比如客服、医疗）。SFT（监督微调）是最常见的一种微调方式。

下载时常看到同名模型有 base 和 instruct(或 chat) 两个版本。Base 只会续写、不懂「听指令」；Instruct/Chat 经过对齐训练，能听懂你的要求并对话。日常聊天选 Instruct 版准没错。

几乎所有现代大模型的底层架构（GPT 里的 T 就是它）。核心是注意力机制 (Attention)：处理一句话时，让模型自动判断每个词该「重点关注」哪些其他词。

一种省力的架构：模型里养着很多个「专家」子网络，但每次回答只唤醒其中一小部分。所以你会看到「总参数 196B、激活 11B」这种说法——块头大、实际干活时却很省。

Token（词元）是模型处理文本的最小单位，大致是「一个词或半个词」。上下文窗口指模型一次能「记住」的 token 上限，比如 256k 表示约 25 万 token。窗口越大，能塞进去的资料、对话越多，超出就会「忘掉」开头。

指模型不止能处理文字，还能「看懂」图片、「听懂」音频甚至视频。比如能描述一张照片、识别语音情绪的模型，就是多模态的。

思维链指模型在给答案前，先一步步「想」出推理过程，复杂问题更不容易答错。专门强化了这种能力的模型叫推理模型（常见名字带 R1、o 系列等）。

专为在个人电脑上跑大模型设计的打包格式，由 llama.cpp 项目推出。它把权重和必要信息装进一个文件，LM Studio、Ollama 这类工具拿来就能直接加载。它们只认 GGUF——没做成 GGUF 的模型，这些工具就用不了。

把模型权重从高精度数字（如 16 位）压缩成低精度（如 4/5/8 位），大幅减小体积和内存占用，代价是精度略降（通常感知不强）。这是大模型能在家用电脑跑起来的关键。

一种免费提升量化质量的技术。普通量化把所有权重一视同仁地压缩，而 imatrix 先用一批校准数据算出「哪些权重更关键」，量化时给关键权重多留精度、把损失集中到不重要的地方。它不增加文件体积，越是低位量化(Q2/Q3/Q4)效果越明显。文件名带 IQ4_XS、imatrix 或 -i1- 的就是它（I = importance）。

指模型里每个数字用多少个比特(bit)来表示。位数越多越精确，但越占空间。FP32(32位)是最完整的「全精度」；FP16/BF16(16位)是常见的「半精度」，质量几乎无损但体积减半，是大多数模型的原始发布精度，也是后续各种量化的起点。下载到带 BF16 的版本，意味着它没被压缩、最大最准、最吃内存。

把数字压到 8 位浮点，体积约为 BF16 的一半，质量损失通常很小，是目前数据中心/高端显卡上很流行的高效格式。和前面 GGUF 里的 Q8 思路类似（都是 8 位左右），但 FP8 是浮点方案、主要面向 NVIDIA 较新的显卡硬件加速，常见于服务器和 API 部署。

NVIDIA 推出的 4 位浮点格式，专为现代 GPU 上的高性能推理设计。它把数字压到约 4 位，相比 FP16 内存占用约缩小 3.5 倍、相比 FP8 约省 1.8 倍，难得的是在较大模型上仍能保持接近 BF16 的精度。诀窍是分组+多级缩放(每 16 个数一组、配独立缩放因子)来减少误差。它随 NVIDIA Blackwell 架构 GPU 引入，主要在这类新显卡上才能发挥硬件加速。

你在一个模型页面常会看到 BF16 / FP8 / NVFP4 / GGUF 几个下载版本并列(就像 Step-3.7-Flash 那样)。它们是同一个模型的不同精度/格式打包，按你的硬件和工具挑一个即可：

一句话：家里普通电脑想跑 → 选 GGUF；有高端 N 卡或在服务器上 → 看显卡支持选 FP8 或 NVFP4；要做二次开发/微调 → 拿 BF16 原版。

让你在自己电脑上下载、运行大模型的桌面/命令行工具，底层多用 llama.cpp。好处是免费、隐私（数据不出本机）、可离线；门槛是吃内存/显存，大模型对硬件要求高。

能不能本地跑某模型，主要看显存(VRAM，显卡上的内存)或内存(RAM)够不够装下它。粗略经验：模型量化后文件多大，就大致需要多少 + 一点余量。装不下就会很慢甚至跑不动。

业内最大的开源模型「应用商店」，绝大多数开源模型权重（含 GGUF 版本）都放在这里下载。找模型、看说明、对比量化版本，第一站通常就是它。

一个用 C/C++ 写的开源推理引擎，目标是让大模型在普通设备上跑起来——不用昂贵显卡，纯 CPU 也行，手机、树莓派都能跑。它是整个本地大模型生态的「发动机」：GGUF 格式、量化方案、imatrix 这些前面讲过的东西，几乎都源自这个项目。

因为你接触的很多东西都是它定义的标准：GGUF 是它的模型格式、Q4_K_M / IQ4_XS 这些量化等级是它实现的、imatrix 也是它的功能。所以一个模型「能不能本地跑」，常常就等价于「有没有人把它适配进 llama.cpp / 做成 GGUF」。新架构的模型刚出时，往往要等 llama.cpp 支持后，本地工具才能用。

llama.cpp 不止能跑模型，还附带一套命令行工具，名字你在教程里会经常撞见：

普通使用者一般用不到这些命令——LM Studio 这类带界面的工具已经把它们包好了。但如果你想自己动手量化模型，打交道的就是它们。

三者不是竞争关系，而是上下游：llama.cpp 是底层引擎，Ollama 和 LM Studio 在它之上套了更友好的外壳（图形界面、一键下载、模型管理）。直接用 llama.cpp 要敲命令、门槛高；用上层工具则开箱即用，代价是灵活度稍低。

模型名/文件名里其实塞满了信息。把下面这串逐段读懂，以后看任何模型名都不慌：

按出现位置分组，遇到不认识的片段回来查：

提示词就是你给模型的指令/问题。系统提示是藏在背后的「角色设定」，规定模型整体的身份和行为。把提示词写好让效果更佳，叫提示工程 (Prompt Engineering)。

控制回答「随机/发散程度」的旋钮。低温(如 0.2)更稳定、保守，适合写代码、做事实问答；高温(如 0.9)更有创意、爱发挥，适合写故事、头脑风暴。top-p 是另一个类似作用的采样参数。

模型一本正经地编造看似合理、实则错误或不存在的信息（假数据、假引用、假人名）。这是大模型的固有缺陷，重要信息一定要自己核实。

让模型回答前先去外部资料库（文档、网页）里查一查，再基于查到的内容作答。能大幅减少幻觉、补上模型不知道的新知识，是企业知识库问答的主流做法。

工具调用指模型能主动调用外部工具（搜索、计算器、代码、API）来完成它本身做不了的事。能自己规划、连续调用多个工具完成复杂任务的，就叫智能体 (Agent)。

通过代码远程调用厂商托管的模型（无需本地硬件），按用量（通常按 token 数）计费。和本地运行相对：API 省硬件、更强，但数据要上传且要花钱。

让人给模型的多个回答打分排序，再用这些偏好「调教」模型，使它的输出更有用、安全、符合人类期待。这一步统称对齐 (Alignment)，是把「会续写」变成「好用的助手」的关键。

用一个大而强的「教师模型」去教一个小模型，让小模型用更小的体积学到接近大模型的能力。很多又小又好用的模型就是这么来的。

开放权重指厂商公开模型文件供下载使用。但能不能商用、要不要署名，取决于许可证：Apache 2.0、MIT 较宽松（基本随便用、可商用），有些协议则限制商用或要求条件。下载前看一眼协议很重要。

用标准化题库给模型打分、排名，方便横向比较能力。SOTA(State of the Art) 指「当前最强水平」。注意：跑分高 ≠ 实际好用，还可能存在「刷榜」，参考即可。