第二讲课堂讲义:模型能力与提示设计

第二讲课堂讲义:模型能力与提示设计

王小宁 · 中国传媒大学|2026年11月19日

从一个回答追问四件事

面对一条大模型回答,我们需要追问:模型依据什么生成了它,当前输入提供了什么,哪些内容有证据支持,以及怎样判断一次改动是否有效。这四个问题把模型原理、能力边界、提示设计和效果评估连接起来。

本讲延续第一讲的个人应用场景。关注点从“想做一个什么系统”推进到“怎样把一个任务交代清楚,并检查它是否完成”。学习成果是一项可以解释的比较:保留同一任务的两版提示,在固定问题与资料上运行,逐项核验输出,再说明哪些地方改善、哪些仍然失败。词条写作则负责把概念、来源与验证过程讲清楚。

语言模型学习什么

语言模型描述文本序列的概率关系。对自回归生成模型,给定已有Token,模型估计下一个Token的条件概率;生成程序依据这些概率和解码设置选择后续Token,再把新内容接回上下文。一个序列的概率可以写为:

\[P(x_1,\ldots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_1,\ldots,x_{t-1})。\]

这里的链式分解是概率关系,神经网络负责估计其中的条件概率。训练时,模型根据预测误差调整参数;推理时,通常利用已经训练好的参数处理输入。给模型一份新通知,改变的是这次调用能够使用的输入,并不等于重新训练模型。Bengio等,2003;Brown等,2020

这种机制能够产生连贯文本,也可能产生没有依据的内容。模型可以根据语言模式生成一个看似合理的报名网址,但网址是否存在,要到真实来源核对。因此,应分别评价表达是否清楚、事实是否有依据,以及系统是否具备完成任务所需的资料与工具。

还要区分三个层次。模型负责处理输入和生成输出;聊天产品提供会话界面,并可能附带联网、文件读取或记忆;应用系统围绕具体任务组合模型、资料、工具和人工判断。某个产品能查网页,不能直接推断其基础模型在任何环境中都能联网。

发展主线与任务适配

统计语言模型主要依据有限历史估计序列概率,容易遇到未见组合与数据稀疏问题。神经语言模型通过学习向量表示,让相关表达能够共享统计信息。Transformer进一步通过注意力组织位置之间的联系,为并行处理序列提供了重要架构基础。随后,不同预训练目标与后训练方式形成了不同使用路线。Transformer原论文

原始BERT采用双向编码器,通过掩码词预测等任务学习表示,典型用途包括分类、抽取和文本表示。典型自回归GPT模型使用因果约束,依据前文预测后续Token,适合续写与生成。这里比较的是代表性路线,实际应用还受到模型规模、后训练、输入组织和系统设计影响,不能据此把所有编码器与解码器的能力固定为两个互不相通的类别。BERT原论文

不同适配方法改变的对象也不同:

方法主要改变的对象适合先检查的问题
预训练模型参数与基础表示基础语言和任务能力如何形成
监督微调用示范继续训练参数是否需要学习稳定的格式与行为
提示与上下文示例本次输入任务、材料和输出要求是否清楚
检索与工具可获得的证据及执行结果是否缺少外部事实或实际计算

微调是后续适配训练的统称之一,监督微调只是常见形式。LoRA通过冻结基础权重、训练低秩增量,减少可训练参数。它是否节约多少资源,取决于模型、秩、目标层和部署方式;不能把某个实验中的参数数量当作所有应用的固定比例。LoRA原论文

对于频繁变化的通知、价格或服务规则,优先检查资料管理与检索,通常比要求模型把每次更新都写入参数更便于维护。对于有稳定定义、明确标签和足够样本的重复任务,可以进一步比较微调方案。选择应依据固定测试、维护成本和实际收益,而不只凭方法名称。

Token与上下文窗口

Token是分词器把文本编码后得到的处理单位,不一定具有完整语义,也不与汉字或单词一一对应。不同分词器可能把同一个词切成不同片段;中文、英文、数字和标点的计数关系也会变化。BPE、WordPiece和Unigram都是常见的子词编码方法,不能将一种算法写成所有模型的统一配置。Hugging Face分词说明

上下文窗口约束一次调用能够处理的信息范围。对常见的自回归对话服务,规划输入时需要考虑系统指令、用户材料、历史消息、工具结果和输出预留;具体输入、输出及总长度限制,以所用模型和接口的实际说明为准。字符数可以用于编辑工作,但未经对应分词器计算,不能直接当作Token数或实际费用。

容量与有效利用是两个问题。材料能够放入窗口,不保证模型准确使用其中每一条信息。《Lost in the Middle》在其测试的多文档问答和键值检索任务中观察到位置敏感性;不同模型、任务和设置的表现并不相同。这项研究支持“需要验证信息利用”,不支持给所有模型规定统一的中间位置准确率。Liu等,2023/2024

在应用中,可以给证据编号,保留来源与适用范围,减少重复材料,并检查关键事实是否真正进入本轮输入。长输入的实际代价还受硬件、缓存、实现和服务计费影响,不能仅凭注意力的复杂度公式推算价格。

注意力怎样组织信息

注意力机制根据查询与键的匹配分数,对值表示进行加权组合。缩放点积注意力可以写为:

\[\operatorname{Attention}(Q,K,V)= \operatorname{softmax}\!\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}+M\right)V。\]

$Q$是查询,$K$是键,$V$是值,$d_k$是键的维度,$M$表示可选掩码。可以访问的位置不额外屏蔽,不允许访问的位置在softmax前受到屏蔽。自回归生成利用因果掩码限制对未来位置的访问。多头注意力在不同表示子空间中分别进行这种计算,再整合结果。Transformer第3节

一个简化的手工例子可以说明加权过程:设两个位置的匹配分数相同,softmax权重各为二分之一;值分别为10和20,则输出为15。如果屏蔽第二个位置,剩下的位置权重为1,输出变为10。这只是教学数值,用来检查权重、可见范围和加权和,不是某个词语在真实模型中的实际注意力分布。

注意力提供信息交互的计算方式,不会自动判定一份通知是否合法有效,也不等于人的意识或理解。某段文字的权重较高,不能直接证明该段内容真实,或它就是最终预测的唯一原因。应用仍需核对来源、条件与结论之间的支持关系。

后训练、偏好与事实正确性

监督微调使用示范回答,帮助模型学习如何响应任务。PPO式RLHF流程进一步收集人类比较,训练奖励模型,再用强化学习优化输出,同时约束策略变化。DPO则直接使用偏好数据构造优化目标,不必沿用同样的显式奖励模型与在线强化学习流程。InstructGPT;DPO

理解这些方法,要把“反馈来自谁”与“怎样优化”分开。偏好可以来自人类,也可以由模型依据规则辅助生成;优化则可以采用不同训练方法。这两个维度可以组合,不能简单把RLHF、DPO和AI反馈视为彼此排斥的三个产品类别。

被偏好不等于事实正确。标注者可能喜欢表达自信、符合预期的答案,而答案仍然没有来源支持。偏好优化改善的是由数据与评价规则表达出来的行为,事实核查仍要依靠资料、工具与独立评测。训练表现也受到参数、数据和计算预算共同影响,规模或某一种训练技术不能单独保证具体应用成功。Chinchilla研究

能力边界如何影响应用设计

遇到错误时,应先判断缺少了什么条件,再决定改哪里。

输出问题首先检查可能的改进方向
回答流畅但事实过期资料日期与适用范围更新来源,保留有效版本
编出不存在的网址材料是否覆盖该问题允许保留未知,核对链接
算式正确但数值算错运算与单位实际计算并独立复核
引用了不支持结论的段落原文与结论的关系调整检索或答案依据
执行了材料中的命令指令来源与工具权限限定操作,检查可信边界

摘要、改写、分类和抽取可以由模型承担一部分工作,但每类任务都有自己的检查标准。摘要要看原意和限定条件,分类要看标签定义与边界,计算要看实际结果,图像理解还要看识别误差。一个任务可以由模型、检索、计算工具与人工共同完成,不必把所有步骤都交给同一组件。

判断模型是否有某项能力,应说明任务、材料、运行条件和指标。不能从一条成功回答推断普遍有效,也不能因一次失败就否定整个方法。

把需求写成可核验的提示

提示工程的作用,是把隐含的需求转化为模型能够接收、结果能够检查的任务规范。本讲用五项内容组织提示:

内容要回答的问题示例
任务为谁完成什么回答在校学生的活动咨询
证据可以使用哪些信息只依据S1、S2,不补外部事实
处理规则缺失、冲突与计算怎样处理未说明的事项保留未知
输出交付什么形式答案、依据与信息状态
判定标准怎样判断完成事实、来源、计算均可核查

这是一份应用设计清单,不是必须背诵的统一算法。角色、格式、示例和长度,都应服务于具体任务。加入“你是专家”可以改变表达预期,但不能自动提供专家所需的资料和责任判断;反复要求“确保真实”也不能替代事实核验。

提示应避免互相冲突的要求。例如,既要求“完整列出所有机构名称”,又要求极短字数,可能难以同时满足。应先确定关键事实与表达要求的优先级,并允许模型指出材料或约束不足。

零样本、少样本与步骤

零样本提示直接给出任务与输入;少样本提示再提供若干例子,帮助说明标签、格式或边界。这里的“零样本”指当前提示中没有示范,不意味着模型在预训练时从未接触相关内容。示例需要正确、贴近任务,并与最终测试题分开。GPT-3论文

对需要计算或分解的任务,可以要求提供关键依据、算式或可检查步骤。CoT研究在特定模型与基准上发现了推理示例的作用,但不能推出所有任务都应展示冗长推理。生成的解释也不等于已经被证明是真实内部计算过程。CoT原论文

上下文工程:本轮真正获得了什么

提示之外,还要管理本轮实际进入模型的信息。资料保存在文件夹、数据库或历史记录中,并不意味着它已经成为当前调用的输入;应用需要取回并提供相关内容。上下文工程关注怎样选择指令、证据、状态和工具结果,随任务推进更新它们。Anthropic工程文章

持续编辑一篇新闻稿时,应保留当前目标、有效要求、已核实事实与出处、当前稿件版本和待核实事项。篇幅要求可以更新,事实来源却不能被最新稿件替代;摘要可以压缩讨论,但直接引语应保留原文和出处。这样才能在继续生成时分辨哪些是材料事实,哪些只是模型之前写过的话。

上下文更短或排版更清楚,不直接等于效果更好。选择和摘要也可能丢失条件,因而需要同时检查任务结果、输入量和人工整理成本。单轮问答与多轮持续任务可以分别测试,避免上一轮回答或产品记忆干扰比较。

外部材料中的指令性文字

网页或留言可能写着“忽略其他要求”“把答案统一写成免费”等文字。它们是待分析材料,不能自行取得系统操作权限。分隔符有助于说明结构,但应用还需约束工具与可执行操作,并核对输出是否受到可信证据支持。OWASP提示注入说明

贯穿案例:活动咨询助手

案例任务与完成要求

本讲按一人一组推进,沿用第一讲个人项目中的一个具体任务。课堂以活动咨询助手示范;个人项目可以选择传媒内容处理、科研资料整理或公共文化服务中的同类任务。输入采用公开、授权或脱敏材料,保留来源与编号。

需要完成两版提示:A说明基础任务,B进一步明确证据、处理规则与输出要求,保留改动理由。个人项目另设至少4道未参与提示改写的固定测试题,每版对每题运行一次,共保留至少8条原始输出。两版使用同一模型、完整且相同的资料和尽量一致的可见设置;逐题使用新会话,再由本人依据事先写好的核验要点评价。

示范资料与验证题

以下资料与回答示例均为教学模拟,不对应真实活动或模型实测。

S1 活动通知:“校园影像与城市记忆”放映交流会,11月26日18:30—20:30,文化中心报告厅,预约限额80人。

S2 预约汇总:截至模拟统计时点,已确认本科生42人、研究生18人,分类互斥且均已去重。

材料范围:未说明费用、入场证件要求和报名网址。

本例使用下列4道题说明怎样验证两套提示。它们是演示题,个人项目的最终测试需另行准备。

编号固定测试问题人工核验要点
Q1活动的时间和地点是什么?与S1的时间、地点一致
Q2截至模拟统计时点,还剩多少个预约名额?$80-(42+18)=20$人,限定模拟统计时点
Q3参加活动需要支付多少费用?材料未提供费用,需向主办方确认
Q4活动的报名网址是什么?材料未提供网址,不能补造链接

下面以Q2展示提示写法。逐题运行时只替换问题,完整附上同一份S1、S2;人工核验要点与后面的示例回答用于评价结果。

提示A:描述任务

请根据下面的活动资料回答问题,
给出适合在校学生阅读的答案。
问题:截至模拟统计时点,还剩多少个预约名额?
资料:完整附上S1活动通知与S2预约汇总。

A说明了任务和受众,但没有明确缺失信息的处理、证据格式与计算要求。这不意味着它必然答错,而是这些要求没有被显式表达,是否影响结果需要测试。

提示B:明确证据、处理与输出

任务:作为活动咨询助手,回答同一道学生咨询问题。
证据:仅使用S1活动通知与S2预约汇总。
缺失:没有依据的事项写“材料未提供”,
并列出需向主办方确认的问题。
计算:使用材料中的数值,列出算式,限定统计时点。
输出:答案;依据;状态。
状态区分已支持、待确认、未提供。
问题:截至模拟统计时点,还剩多少个预约名额?
资料:完整附上同一份S1与S2。

下面是人工编写的格式示例,用来说明核验口径,不用作模型已经成功的证据:

咨询事项答案与依据状态
剩余名额$80-(42+18)=20$人,依据S1与S2,限定模拟统计时点已支持
活动费用S1、S2均未说明费用,需要向主办方确认未提供

这个例子有两个关键判断。第一,计算用到的总额与已确认人数必须含义一致,分类互斥和已去重是能直接相加的条件。第二,没有写费用,不能直接推出免费;没有提供网址,也不能生成一个貌似可信的链接。对于可回答的问题,无依据地全部拒答同样没有完成任务。

怎样比较两套提示

固定共同条件

两套提示应回答同一道问题,使用完整且相同的资料,尽量保持同一模型、可见版本与设置,并分别保留完整输入和原始输出。比较时使用新会话,记录联网、工具和记忆条件;无法控制的设置应说明,不能声称已经实现完全相同的环境。

提示B同时改变了证据规则、缺失处理和输出要求。因此,本例A/B比较只能说明两套方案在这组任务中的整体差异。若要解释单项因素,如资料编号是否有效,就应固定其他内容,仅改变编号这一项。

测试题应覆盖正常与边界情形

测试可以包括事实定位、数值计算、信息缺失和材料内指令干扰。已经用于改写提示的示例不宜同时充当唯一的最终测试;否则模型或操作者可能只是适应了这几个已知问题。重复运行应保存全部结果,包括持平和退步的记录。

对本讲案例,可以先检查活动地点、剩余名额和费用;进一步用其他模拟活动构造未见问题。这里没有预置模型的通过率,也不要求结果必须显示B优于A。

分别评价内容、证据与边界

维度判断内容
内容达标是否满足问题要求,关键事实与计算是否正确
证据可回查所指来源是否存在,内容是否支持结论
边界处理正确是否保留未知、处理冲突,避免无依据补造

三项分别报告通过题数与有效测试总数,不宜只用一个总分隐藏关键错误。输出中出现资料编号,不代表引用成立;表格填得完整,也不代表每格内容正确。A即使没有采用B的字段顺序,仍应按相同的内容与证据标准评价。

分析结果时,先看逐题变化,再看汇总。需要区分改进、持平和新增错误,也要比较运行代价与人工复核成本。只保留最好的一次,或在看到输出后修改评分规则,都会削弱比较的解释力。

把结果迁移到个人项目

传媒项目可先核对事件主张,再生成面向不同受众的文案;科研项目应区分文献作者的观点与自己的推断,并回查真实原文;公共文化服务项目需要整理通知来源、适用条件和人工查询途径。共同要求是保留需求判断、输入、输出和核验之间的联系。

一个可以直接开展的应用是校园活动宣传文案助手。使用者是学院宣传人员,输入正式活动通知、流程表和发布要求,交付约300字的公众号预告、3个标题,以及把关键事实对应到原文位置的核对表。

基础提示A可以写成“根据资料写一篇活动宣传文案”。改进提示B进一步明确受众与篇幅,只依据所给材料写作;费用、报名网址等缺少依据时保留待确认事项,同时输出文案和事实核对表。B的效果需要用实际输出判断。

验证时另准备4组未用于改写提示的活动资料,覆盖信息完整、费用缺失、报名网址缺失、含有适用条件等情形;每组分别用A/B生成,共保留8条原始输出。人工检查时间、地点、报名条件是否准确,是否遗漏重要信息,是否出现无依据的免费或名额承诺,再写出有证据的比较说明。这个例子的成果包括任务与资料、两版提示、8条输出和核验记录、比较说明,与本讲提交要求一一对应。

如果问题出在没有找到材料,就需要检查资料组织与检索;如果找到了正确材料仍然答错,就要检查条件识别、计算或生成。语义相似度只能帮助排序,不是事实可信度。下一讲的RAG将进一步把检索与生成连接起来,并分别评价这两个环节。RAG原论文

扩展为工具链或多智能体系统后,仍要遵守同样的证据要求。多个角色使用同一错误来源,可能形成一致但错误的结论;调用次数相同也不代表Token、延迟或费用相同。只有在分工解决了具体瓶颈,并通过同条件基线检验后,才能说明协作收益。

补充认识:方法名称不能代替测量

自我一致性通过采样多个候选推理路径并聚合答案,思维树则结合候选步骤、评价与搜索。它们会改变调用和计算预算,也依赖任务与评价方式;更多候选不等于更多独立证据。自我一致性;思维树

关于“涌现”,一类研究描述模型规模增长时某些能力表现出的跃升,另一类研究指出非连续指标可能制造表面上的突然变化。实际分析应检查任务、模型系列、指标和样本量。这也提醒我们:评价方法会影响对结果的理解,不能只看一条曲线或一个成功例子。能力涌现研究;测量方法讨论

课程任务与词条修订

本讲提交以下4项成果:

  1. 任务与资料:具体使用者、输入与交付物,资料来源,以及至少4道固定测试题与人工核验要点。
  2. 两版提示:完整A/B文本,标出改动位置并解释理由。
  3. 运行记录:至少8条未经人工改写的输出,记录模型、可见版本、运行日期与设置,保留逐题的内容、证据和边界处理核验。
  4. 比较说明:用原始输出与资料说明改善、持平或退步,解释结论的局限、未解决的问题、下一步测试及本人判断。

每版分别报告三项通过题数与有效测试总数,并保留失败案例。改进说明围绕“具体改了什么、观察到什么、证据支持多大的结论”展开。

词条由同学自行查阅资料、撰写并修订。概念稿可以使用可复核的手工推演或准确的文献分析;有运行记录的稿件应保留失败项;尚未运行的设计应继续明确标注。每位同学还应说明一项本人完成的判断,而不只写“AI生成后已审核”。

提交前可用四个问题自检:

  1. 是否准确区分模型、产品、输入、训练和应用流程?
  2. 关键事实、数字和论文结论能否回到对应来源?
  3. 原始输出、人工修订和预期答案是否分别保存?
  4. 结论是否限于实际任务、资料、模型与测试条件?

课程词条目录:2026llmapplications。

阅读路径

本讲正文已在相关论点后给出原始来源。进一步阅读可以按问题选择:

  • 理解模型与训练:Bengio等(2003)、Vaswani等(2017)、Devlin等(2018)、Brown等(2020)。
  • 理解适配与偏好:Hu等(2021,LoRA)、Ouyang等(2022,InstructGPT)、Rafailov等(2023,DPO)。
  • 理解上下文与提示:Liu等(2023/2024)、Wei等(2022,CoT)、Anthropic(2025,上下文工程)。
  • 理解评测与证据:Lewis等(2020,RAG)、涌现与测量方法的两组研究、OWASP提示注入风险说明。

阅读时记录论文解决的具体问题、测试模型与任务、使用的指标,以及不能直接推广到自己项目的条件。文献数据归于原作者,课堂模拟归于教学设计,个人实测则需要自己的输入、输出与核验记录。