← 返回知识目录

大模型基础:原理、概念与选型

应用开发者需要理解模型怎样处理信息,以及这些机制会给工程带来什么限制。本文将《大模型应用开发基础》第 01—04 课合并为一份基础参考:发展脉络只讲一次,原理与术语放在同一条解释链上,选型保留可复用的方法。具体型号、价格和产品能力应在采用时核对,不把原稿中的时点对比表作为当前事实。

从人工智能到大模型:几种概念的关系

人工智能是一个宽泛领域,机器学习是其中一类从数据学习规律的方法,深度学习又是机器学习的一类方法。它们不是每隔几年就彻底替换上一代的产品版本。规则系统、传统统计模型、神经网络仍可在同一个应用中协作。

概念 主要做法 应用开发时的直觉
规则系统 人明确编写条件和动作 已知规则必须稳定执行时,代码常比生成更合适
机器学习 从样本中学习映射或分布 垃圾邮件分类可从有标签邮件学习;机器学习也包含无监督和强化学习
深度学习 用多层神经网络学习表示 减少部分手工特征设计,不代表无需清洗数据或设计任务
生成式 AI 学习分布并生成文本、图像、音频等内容 生成与分类是任务差异,不能把所有深度学习等同于分类
大语言模型 主要围绕语言进行训练和生成 同一个模型可处理多个任务,能力仍需按业务验证
多模态模型 处理一种以上的信息形式 支持图像输入,不自动意味着支持图像输出
Agent 应用 让模型参与下一步动作选择,由运行时执行和验证 模型、工具、状态和控制逻辑共同决定实际效果

2017 年的 Transformer 论文是理解现代语言模型的重要起点。它以注意力机制组织序列计算;今天的应用不必实现训练算法,也应知道“训练学到的参数”和“本次请求提供的信息”承担不同职责。Transformer 原始论文

课程中的产品案例用于说明从对话走向工具执行的变化,不构成完整的发展史。Agent 的循环、停止条件和工具边界已在系统设计总览与执行循环展开,这里不再重复。

Token、向量和参数分别是什么

Token 是分词器输出的离散单位,Token ID 是它在词表中的编号。 它可能对应一个词、子词、字符或字节片段,不能把“一个字”直接等同于“一个 Token”。BPE 是常见分词方法之一,但并非所有分词器都使用同一种算法;字节级 BPE 也只是其中一种实现。Hugging Face 分词教程

同一段中文在不同分词器下长度可能不同。字符数估算只适合粗略预算;要防止请求超长,应使用目标模型的计数工具或服务端用量反馈,并计入消息格式、工具定义和多模态输入。不要依据一个“每字几 Token”的固定常数安排生产容量。

向量是连续数值表示。 语言模型通常先把 Token ID 映射为向量,再加入位置信息并逐层计算。向量的单个维度一般不能直接解释成某个明确含义。检索中的文本 Embedding 则把一段文本映射到可比较的表示,两者相关,却不能把语言模型的内部词向量直接当作现成的检索服务;检索选型见检索设计与分块。

参数是训练过程中调整的数值。 模型在普通推理时利用这些参数计算结果;本次对话提供新资料,通常是在改变输入上下文,并没有因此训练出一套新权重。

下面用教学词表说明两次转换,不代表任何真实模型的分词结果:

文本:我 爱 吃 苹果
Token ID:[0, 2, 4, 5]
表示:每个 ID 查表得到一个向量,再进入网络计算

词表:[我, 你, 爱, 恨, 吃, 苹果, 米饭, 苦瓜, <END>]

预训练:根据前缀学习下一项的分布

以自回归语言模型为例,训练样本可从文本构造:给前缀,预测接下来的 Token。以“我 爱 吃 苹果”为例,前缀“我 爱 吃”的目标是“苹果”。模型为词表中的候选给出概率,损失函数惩罚目标项概率过低的情况。

单个位置的交叉熵:loss = -ln P(目标 Token | 前缀)
若目标概率为 0.10,loss ≈ 2.303
若目标概率为 0.90,loss ≈ 0.105

这些数值只解释损失的方向。真实训练会聚合大量位置和样本,使用梯度更新参数,同时在未参与训练的数据上检查泛化。目标不是保证“所有下一词都猜对”,也不是把训练集损失压到零就完成了学习。

参数可以学习语言和事实的统计规律,也可能记住某些训练片段,但这不等于一个能按来源和版本查询的数据库。需要最新制度、客户权限或准确引用时,应从外部系统取证。文本生成看起来流畅,并不能证明事实正确。

注意力:Q、K、V 如何组织上下文

在一个简化的注意力层中,输入表示通过三个学习到的投影得到 Q、K、V。Q 与 K 的匹配分数经过缩放、掩码和归一化,形成权重,再对 V 加权求和。

Q = XWq,K = XWk,V = XWv
Attention(Q, K, V) = softmax(QKᵀ / √d_k + mask) V

其中 d_k 表示每个注意力头中 Q、K 的向量维度。可以把 Q 理解为“当前需要什么信息”,K 为“各位置怎样被匹配”,V 为“被汇总的信息”;这是帮助理解的类比,网络中并没有写着这些中文标签。因果语言模型会用掩码阻止当前位置看到尚未生成的未来 Token。结果是新的隐藏表示,不是把某个词原来的 V 直接改写成答案。注意力公式与因果掩码

注意力参与训练和推理;区别在于普通推理通常不更新权重。注意力权重也不是事实证据、完整推理轨迹或权限判断,不能用它替代引用与校验。

生成、KV Cache 与上下文窗口

生成时,模型根据当前输入和已生成内容计算下一个 Token 的分布;解码策略选择下一项,直到结束标记、长度限制或外部停止条件触发。温度、Top P 和最大输出长度如何影响调用,集中在模型调用中说明。

KV Cache 保存已处理位置的 Key、Value,生成后续 Token 时复用它们,避免每步重算整段历史的这部分表示。对标准稠密注意力,可区分初始上下文处理(prefill)与逐 Token 生成(decode);不能把“单个新 Token 对已有前缀做注意力”一概说成每步都重新完成整段平方规模计算。更长的上下文仍会增加缓存容量和访问成本。Transformers 缓存说明

上下文窗口是本次调用可使用的信息容量限制,不等于长期记忆。 输入、预留输出、推理 Token 和工具消息如何计入限制,要以目标接口为准。有些 API 提供服务端会话状态,有些由调用方每次传入历史;无论保存在哪一端,应用仍要控制保留内容、权限和预算。

工程上可先按下面的关系留出空间,再用实际响应校准:

可装配输入预算 ≈ 目标上下文上限 - 预留输出 - 协议及工具开销 - 安全余量

“可装下”与“能可靠利用”是两回事。长上下文研究曾发现证据位置会影响结果;这不是所有新模型在所有任务中的固定规律,而是提醒我们用真实任务检验不同长度与证据位置。仅能找回一句“针”,也不能证明多文档推理正确。Lost in the Middle

截断、摘要、事实保留和历史召回的取舍,统一见上下文编排与记忆召回。

SFT、偏好训练与推理能力

预训练学到的续写能力可以通过后训练更好地服务于指令任务。SFT 使用期望回答的示范数据训练模型;经典 RLHF 流程先收集回答偏好,训练奖励模型,再用强化学习优化生成策略。它们是常见做法,不代表所有模型都必须使用同一条管线,也不保证消除错误。InstructGPT 论文

阶段或机制 主要改变 不应推导出的结论
预训练 从大量数据学习表示与预测规律 训练语料出现过的事实都能准确回答
SFT 学习任务示范与回答方式 会按格式回答就一定事实正确
偏好训练 按偏好或奖励信号优化行为 奖励高等于满足所有用户目标
推理时计算 在回答前或过程中投入更多计算 花更长时间就一定得到更好答案

界面显示的“思考”可能是解释、摘要或部分中间结果,不能直接当作完整内部计算记录,也不能把“展示思维链”作为推理模型的定义。应用应检查最终结果和可验证的中间产物,例如数学计算、代码测试、证据引用。

以“9.11 与 9.9 哪个大”为教学例子,先确定比较的是十进制数还是版本号;十进制数可交给确定性计算,版本号按版本规则比较。任务含义不明确时,多花推理预算不能替代澄清。模型选择应在业务样本上比较质量、成本与延迟,而非一律启用最高计算档位。

知识截止日期只是供应商对模型知识范围的说明,不是“此前全都知道、此后一概不知道”的分界线。新资料可通过上下文、检索或工具提供;模型自报的版本与截止日期也不能替代部署配置和官方说明。

参数规模、MoE 与部署预算

参数量中的 B 表示十亿。按每个权重 2 字节的简化条件,7B 权重约为 14 GB、32B 约为 64 GB。这只是权重存储估算,不是完整部署显存需求。 KV Cache、激活、运行时工作区、量化元数据、并发和通信都会增加或改变开销。

权重存储粗估 = 参数数量 × 每个权重的存储字节数

MoE 用路由机制让每个 Token 只经过部分专家。总参数量与存储相关,激活参数量可帮助估计部分计算量,但不能单独决定质量或速度;路由、共享层、访存和跨设备通信同样重要。未激活的专家也未必能从部署预算中简单扣掉。MoE 机制说明

如果只调用托管 API,更直接的指标是业务质量、真实端到端延迟、并发配额和单次成功任务成本。参数量可以帮助理解模型结构,却不能代替这些测量。

模型选型:用一张可复查的决策表

原稿的型号与价格表只反映原稿声称的时点。本次整理不沿用未经逐项验证的“最新、最强、统一价格”等结论,改用下列记录表。每次评估记录具体模型 ID、接口、地域、日期和所用数据集版本。

维度 必须核对的内容 验证方法
任务质量 抽取、问答、工具选择、复杂推理分别表现如何 固定业务样本和评分标准,按任务类别比较
输入与输出模态 图片、音频、视频、文件分别能接收或生成什么 用实际端点提交代表性样本,检查返回格式
有效上下文 最大输入、最大输出、证据位置、跨文档关联 长度分桶,加入冲突和多证据样本
接口能力 结构化输出、工具调用、流式、批处理是否兼容 检查具体模型与端点组合,执行小规模验证
版本管理 别名是否移动、是否有快照、何时停服 保存变更记录,升级先回归,再逐步切流
可靠性 配额、超时、重试、服务稳定性 观察首 Token、总耗时和成功率的分布
总成本 输入、输出、缓存、工具、失败重试、离线索引 统计每个成功业务任务的完整调用链
部署与数据 数据去向、保留方式、许可、网络及运维条件 检查所选产品配置与协议,按实际负载压测

多模态需求要拆成能力矩阵。例如售后助手要读零件照片、接收语音并生成标注图,需分别检查图像理解、语音输入和图像输出;可以由一个或多个模型实现,不能根据“原生多模态”宣传语断定整条链路都可用。

别名可能随供应商策略变化,快照也可能停服。供应商提供可固定版本时,可固定版本并安排升级回归;无法固定时记录响应中的实际版本信息、监测行为变化。回滚依赖旧版本仍可调用,不能把它当作永久保证。

下面仅为成本核算的假设练习,单位和价格均为教学输入,非任何厂商报价:

输入 2,000 Token,假设单价 2 元 / 百万 Token
输出   500 Token,假设单价 8 元 / 百万 Token
本次模型成本 = 2,000 / 1,000,000 × 2 + 500 / 1,000,000 × 8
             = 0.008 元
若失败后完整重试一次,且两次均按上述用量计费,则累计 0.016 元

有缓存、阶梯价、推理计费或工具收费时,按真实账单拆分,避免把已包含的推理 Token 重复加算。上线决策可比较“每个成功任务的成本”,并同时报告失败率,防止少做工作看起来反而便宜。

部署可在供应商 API、第三方托管和自建之间选择。开放权重不自动等于公开完整训练数据、任意用途许可或低运行成本;每个模型都需单独核对。自建需要评估硬件、利用率、运维、版本升级和高可用,不能只比较一次购卡价格与一次 API 单价。

与知识库其他文章的分工

接下来要解决的问题 对应文章
接入模型、流式展示、超时与重试 模型调用:接口、流式与可靠性
组织规则、示例、模板与版本 提示词设计与版本管理
让输出进入业务程序 结构化输出与数据校验
让模型使用有来源的外部资料 检索设计:数据组织与分块
设计 Agent 的运行与验证机制 系统设计:核心环节与项目自检

来源与整理说明

本篇依据本地保存的 CodeCrush《大模型应用开发基础》四篇笔记重组,合并重复的模型/应用/Agent 定义,保留教学例子并修正过度简化的推理复杂度、分词、MoE 与选型表述。文中概算和任务案例均为教学示意,不是训练实验或生产基准。

整理日期:2026-09-22。原稿中的产品发布故事、规模猜测与未重新核验的报价未作为本文结论保留;原始笔记另行保存,便于回溯。