第7讲：舆情研究设计、模型评测与综合应用
数据科学与大数据技术专业，计算广告专业 · 大三上, 新闻与舆情数据学, 2026
← 返回课程主页 · 上一讲：社区识别与信息传播 · 下一讲：证据核验、伦理与披露
新闻与舆情数据学课程讲义。作为前面理论、数据治理、文本建模和社会网络分析的综合应用课。教学案例、混淆矩阵和数值均为虚构示例。
一、本讲定位与学习目标
舆情研究的难点不仅是让模型运行，而是建立一条完整证据链：研究问题对应理论概念，概念对应可观察指标，指标由可靠的数据和模型产生，结果在适当范围内支持结论，结论进一步支持具体建议。
本讲承接第4讲的理论与研究设计，不重复理论目录；重点是把研究设计落实为数据方案、评测方案和综合研判成果。
完成本讲后，应能：
- 区分描述、解释、预测与干预效果评估。
- 建立“问题—概念—字段—方法—证据—边界”对应表。
- 设计抽样、标注、训练验证测试划分与泄漏检查。
- 为分类、聚类、社区、抽取、生成和预测任务选择不同评测标准。
- 将模型误差与样本偏差纳入舆情比例和风险判断。
- 形成可追溯、可复现、能够现场答辩的研究报告。
二、先确定要回答哪一类问题
沿用校园食堂案例：服务调整后讨论增加，校方发布说明，部分学生仍质疑价格。
| 目标 | 合理问题 | 所需证据 | 不能直接推出 |
|---|---|---|---|
| 描述 | 哪类诉求最多，怎样变化？ | 有口径的样本、可靠编码 | 全体学生态度 |
| 解释 | 程序公平质疑为什么持续？ | 理论机制、变量及竞争解释 | 仅凭词频确认机制 |
| 预测 | 已有信息能否预测下一窗口讨论增长？ | 时间划分、未来标签、基线 | 回应的因果效果 |
| 效果评估 | 说明是否降低了质疑？ | 反事实设计及识别假设 | 前后差异就是效果 |
“用大模型研究舆情”是工具选择，尚不是研究问题。可改为：“在事件三个阶段中，价格诉求和程序公平诉求的表达比例怎样变化？”若要继续研究机制，则另问：“程序解释是否与公平性感知有关，如何排除原有态度和选择性接触的影响？”
2.1 分析单位与推广对象
帖子、用户、互动、事件和平台是不同分析单位。一个用户发布20条批评，意味着20条文本，但只有一个发言用户。文本比例、发言用户比例和总体公众比例应分别命名。
设目标总体为某校全体学生，实际样本为某平台可获取评论，两者之间存在平台使用、主动表达和接口可见性等选择。模型更准确不能消除这些选择偏差。
三、把理论落实为研究设计
3.1 概念操作化
| 研究概念 | 可观察指标 | 数据来源 | 核验重点 |
|---|---|---|---|
| 价格诉求 | 评论明确评价价格或收费依据 | 文本编码 | 区分提及与评价 |
| 程序公平表达 | 对解释、发声机会、处理程序的评价 | 评论、访谈或问卷 | 评论表达不等于总体公平感 |
| 社区外溢 | 跨社区传播边、新参与用户 | 时间边表 | 关系证据、社区匹配 |
| 回应充分程度 | 是否覆盖核心问题及提供证据 | 通报内容与核验表 | 有解释不等于受众接受 |
| 讨论持续性 | 后续窗口帖子或用户活动 | 同口径时间序列 | 缺失期、重复采集、夜间节律 |
“舆情风险”需要拆成可监测事件，例如未经核验内容持续传播、关键诉求长期未被覆盖、跨平台参与增加等。不要直接用负面情绪比例定义全部风险；合法质疑本身不等于危害。
3.2 一份设计对应表
| 环节 | 食堂案例中的设定 |
|---|---|
| 主问题 | 说明前后，不同结构社区的价格和程序诉求如何变化？ |
| 理论依据 | 框架、程序正义、弱关系与同质性提供解释线索 |
| 分析单位 | 帖子用于内容，去重用户用于参与，互动用于传播 |
| 观察范围 | 固定平台、固定关键词、同长度时间窗口 |
| 内容方法 | 人工编码基准、传统分类基线、可选大模型辅助编码 |
| 网络方法 | 保留时间的传播图、社区发现和跨社区边统计 |
| 关键产物 | 主题变化图、社区表、传播记录、误差表 |
| 可支持结论 | 所采集讨论中表达与结构的变化 |
| 不能支持结论 | 未参与者态度、说明造成的净效果、实际曝光人数 |
使用理论时，应写出机制预期和反例。例如弱关系可能带来议题外溢，但扩散也可能由平台推荐或媒体报道触发。若缺少曝光数据，就保留这些竞争解释。
3.3 描述变化与因果识别
单纯比较回应前后，可能混入时间趋势、新证据、删帖、推荐变化和日周期。若能找到合适对照，可考虑差分中的差分：
需要论证平行趋势、对照可比性以及没有严重外溢或同时发生的差异冲击。另一种方案是中断时间序列，但要有足够观测点并处理自相关、季节性和同期事件。实验可以更直接识别特定回应版本的影响，但研究对象、同意程序和实际场景仍需明确。
没有识别条件时，应完成描述分析并克制表达：“回应之后样本中的质疑比例下降”，不写“回应有效消除了质疑”。
四、数据方案与人工编码基准
4.1 数据卡
每个项目应记录：来源平台和获取方式；关键词、起止时间和时区；采集成功与失败情况；分析单位；去重和缺失处理；删除与不可访问内容；保存版本；允许访问的范围和脱敏方式。
时间序列应区分真实零记录与采集缺失。不同平台的点赞、播放、转发不应直接相加成统一“传播量”；可分别展示，再说明比较方式。
4.2 编码本
编码本包含标签名称、操作定义、纳入与排除条件、正例、反例、多标签规则和无法判断规则。
例如“涨价但延长营业时间不错”可以同时标记“价格负向”与“营业时间正向”。如果研究诉求，不必强迫文本只有一个类别；如果任务必须单标签，需明确主诉求选择规则。
至少两位编码者独立编码部分样本，比较分歧，修订规则后再冻结基准。Cohen’s κ适用于相应的两编码者分类场景，Krippendorff’s α可处理更广的编码设计，具体选择取决于数据类型和缺失模式。报告一致性时也提供样本量、标签分布与分歧例子，不把某个阈值当作所有任务通用的合格线。
一致性在讨论分歧前计算；协商后的最终标签用于金标准。高一致性说明规则执行较一致，不能单独证明构念效度。
4.3 抽样与两套评测样本
一套代表性样本估计日常表现，另一套挑战样本专门覆盖反讽、转引、混合态度、短文本和缺失上下文。挑战集适合发现失败模式，不适合不加权地估计总体错误率。
按类别、平台、阶段分层抽样时，应保留抽样概率或权重。稀有类别可以过采样以评测，但汇总总体表现和比例时需恢复目标分布，或明确只报告类别指标。
4.4 文献综述：自动编码的价值需要任务内验证
Grimmer与Stewart（2013）梳理自动内容分析的潜力与局限，强调将方法用于社会科学问题时需要验证。Gilardi等（2023）进一步显示，ChatGPT在若干推文和新闻标注任务中相对众包人员具有优势。两项研究共同支持自动化的实用价值，但也提示，模型性能应在本研究标签、语言和样本上检验，不能把既有基准当作当前项目的金标准。文本作为数据、大模型标注研究
因此人工基准必须独立于待评模型，分类准确与概念效度分别检查。模型能识别评论中的“质疑”不意味着它直接测量了全体学生的信任；将输出转为社会科学变量，还需要解释构念、抽样与误差。
五、评测设计：先冻结规则，再比较模型
5.1 数据划分应匹配使用场景
| 使用目标 | 优先考虑的划分 | 要防止的泄漏 |
|---|---|---|
| 同一语料内未见文本分类 | 去重后分组划分 | 转载、模板和近重复跨集合 |
| 未来阶段分析 | 按时间划分 | 未来词表、标签或网络进入训练 |
| 新事件迁移 | 按事件留出 | 同一事件故事线跨集合 |
| 新用户泛化 | 按用户划分 | 作者写作特征被重复记忆 |
| 跨平台应用 | 平台外部测试 | 只在来源平台调参后宣称通用 |
训练集学习参数，验证集用于模型选择，测试集只用于冻结方案后的最终评价。提示词、few-shot示例、阈值和错误规则同样需要遵守边界。看过测试集后修改方案，就不能继续把它当作独立测试集。
TF-IDF词表、IDF、标准化与特征选择只在训练数据上拟合；未来网络指标只使用预测时已知的边。生成任务的检索资料也要检查是否含有未来答案或人工金标准。
5.2 公平比较与基线
至少设置一个简单基线，例如多数类别、关键词规则、TF-IDF加线性分类器，或预测上一窗口值。比较时统一任务、数据、标签定义和测试集，记录模型名称与版本、参数、提示词、运行日期、输入截断策略、失败与重试次数。
如比较大模型零样本与传统监督模型，应披露监督数据预算差异。结果既报告质量，也报告成本、延迟、人工修订量和无法判断比例。不能只挑展示效果最好的几条文本。
六、不同任务需要不同指标
6.1 分类：从混淆矩阵开始
把“程序公平质疑”视为正类。100条教学测试文本中：
| 人工标签＼模型标签 | 预测质疑 | 预测非质疑 | 合计 |
|---|---|---|---|
| 实际质疑 | 30 | 10 | 40 |
| 实际非质疑 | 5 | 55 | 60 |
精确率 
；召回率 
；F1为 
；准确率为0.850。
高精确率意味着被标为质疑的文本通常可靠；召回率0.75意味着仍漏掉四分之一的实际质疑。模型报告的质疑比例是35%，人工标签为40%，说明总体准确率高仍可能影响舆情判断。
多类别任务至少报告每类Precision、Recall、F1和样本数。Macro-F1给各类相同权重，weighted-F1按支持数加权；二者应依研究目标解释。多标签任务还应说明按标签、按样本或整体汇总。
6.2 稀有风险与阈值
若1000条样本只有20条目标风险，全部预测无风险也有98%准确率，但目标召回率为0。应报告PR曲线或PR-AUC、目标类召回率和人工复核成本，并披露PR-AUC的计算口径，例如average precision。
阈值在验证集上根据使用需求选择。提高召回率通常增加误报，不能宣称某个固定阈值普遍最优。模型输出概率还需检查校准；高置信度不等于高正确率。引入“交人工”机制时，同时报告覆盖率和已覆盖样本的错误率，避免通过大量拒答美化结果。
6.3 其他任务
| 任务 | 可用评测 | 必须补充的核验 |
|---|---|---|
| 文本聚类、主题发现 | 轮廓系数、稳定性、主题一致性 | 代表文本、主题可区分性、噪声点 |
| 社区发现 | 模块度、连通性、稳定性；有参考时NMI/ARI | 节点属性与内容，参考标签是否合适 |
| 实体与关系抽取 | 字段或三元组Precision/Recall/F1 | 实体消歧、方向、时间、证据句 |
| 摘要和研判生成 | 事实正确率、证据支持率、覆盖率 | 关键遗漏、错误归因、引用是否真正支持 |
| 链接预测 | PR-AUC、Precision@K、Recall@K | 时间泄漏、候选集和负例采样 |
| 讨论量预测 | MAE、RMSE、相对基线改进 | 时间滚动评测、峰值误差、预测区间 |
轮廓系数衡量所用表示空间中的分离程度，不自动证明社会学意义。摘要与参考答案的文字重合也不等于事实正确。MAPE在真实值为零或很小时不稳定，应解释替代方案。
6.4 大模型输出的评测
要求结构化标签、对象、证据片段和无法判断理由。先检查输出格式，再核验语义；格式合法不等于判断正确。证据原句存在也不意味着支持结论，仍需检查上下文、否定和转引。
对于RAG，应分别检查检索是否找到了支持材料、生成是否忠于材料。评估引用时，可以定义“有充分证据支持的事实性主张数/全部事实性主张数”，并固定主张拆分规则。自动评审可辅助筛查，最终关键事实应有人审，避免让同一模型给自己的输出打分后直接作为质量证明。
6.5 文献综述：生成式报告为什么需要拆分评测
FActScore（Min等，2023）以原子事实衡量长文本的证据支持；ALCE（Gao等，2023）区分正确性与引用质量；Zheng等（2023）则研究模型评审与人类偏好及其偏差。三者评测对象不同，不能把“评审模型给高分”“文字流畅”“附有链接”合并为同一个可靠性指标。FActScore、ALCE、模型评审
据此，本讲要求分别保存标签误差、事实支持、关键遗漏和引用核验结果。若使用模型辅助评审，应在独立人工样本上校准；关键归因和数字回到原始证据，不以总体自动评分替代逐条检查。第8讲进一步说明具体核验、伦理和披露流程。
七、误差如何进入研究结论
7.1 错误分析表
| 错误类型 | 例子 | 改进方向 |
|---|---|---|
| 对象混淆 | 批评价格被标为批评营业时间 | 增加对象字段，检查片段 |
| 转引归因错误 | 引述他人质疑被当作作者立场 | 区分说话者和引述关系 |
| 反讽误判 | “真是太体贴了，又涨价”被判正向 | 增加挑战样本和人工复核 |
| 多标签遗漏 | 价格与程序双重诉求仅保留价格 | 调整任务定义及编码规则 |
| 时间泄漏 | 用未来媒体报道预测当前增长 | 重新构建截止时点特征 |
| 网络错连 | 同名账号被合并 | 保留平台ID与消歧证据 |
改进后在验证集检查，最终冻结再评测。记录仍未解决的错误，以及哪些核心结论可能受影响。
7.2 标签比例并不自动等于真实比例
二分类下，若灵敏度为Se、特异度为Sp，目标真实比例为p，则预测正类比例q满足：
在误差机制适用于目标数据且Se+Sp≠1时，可得到 
。教学矩阵中Se=0.75、Sp=55/60，q=0.35，代入得到p=0.40。
这个例子只解释测量误差。真实项目中验证样本有限，不同平台、阶段与社区的误差可能不同；校正需纳入参数不确定性，出现不合理结果时应检查假设，不能机械使用。它也不能修复平台样本不代表总体的问题。
比较社区的诉求比例时，应分社区人工抽查，避免模型在一个社区擅长正式表达、在另一个社区误判方言或反讽，从而制造虚假差异。
7.3 不确定性与稳健性
比例要报告分母与样本量。时间、用户或传播级联内的记录可能相关，不能默认每条评论独立；区间估计或重采样应匹配数据依赖结构，例如按用户、事件或适当时间块处理。
稳健性检查可以改变关键词、去重规则、窗口、分类阈值、社区分辨率和账号过滤规则。检查的重点是主要结论是否改变及原因，而不是重复运行直到显著。跨事件或跨平台测试可以检验外部适用性，但外部样本也需要明确覆盖范围。
八、综合应用：内容—行动者—关系—时间
文件夹中的应用课件分别讨论行动者、事件内容以及主客体关联。本讲将它们整合为四张关联表：文本表描述内容，用户表描述行动者，互动表描述关系，事件表保存已核验时间节点。
8.1 完整研究流程
- 冻结问题、范围与预期结论类型，建立设计对应表。
- 获取数据并生成数据卡，保留原始记录及清洗日志。
- 制定编码本，建立独立人工基准。
- 比较简单基线和候选模型，冻结最终方案。
- 汇总主题、对象与诉求，并报告误差和分母。
- 构建时间网络，检查社区与传播证据。
- 将事件时间线、内容变化和关系变化关联。
- 检查竞争解释与稳健性，降低无依据的结论强度。
- 编写报告，保存从结论到原始记录的追溯链。
8.2 联合分析中的分母
定义某阶段某社区的价格诉求比例为：该社区该阶段有效文本中价格诉求标签为真的文本数/该社区该阶段有效文本数。多标签下各类比例之和可以超过100%。若按用户统计，应重新定义用户被计为某诉求的规则，不能沿用帖子分母。
社区归属应明确来自全事件网络、基期网络还是同期网络。全事件归属可用于回顾性描述，但在未来预测中可能引入未来信息。动态社区比较则需记录成员变化，避免把构成变化当成同一批人的态度变化。
8.3 从结果到四类句子
- 事实：“校方在所核验时间发布说明。”附原始来源。
- 模型结果：“固定窗口内，模型将某比例文本判为价格诉求。”附模型、分母与误差。
- 解释：“价格诉求持续可能与收费依据尚不清楚有关。”附文本证据和竞争解释。
- 建议：“后续说明应补充收费依据，并监测是否仍出现同类问题。”说明建议对应的证据和观察条件。
“说明后讨论下降”只是时间关联；“某账号处于桥接位置”只是结构描述；“某社区多出现批评”也不意味着所有成员都持同一立场。
8.4 综合应用的迁移
| 应用场景 | 可迁移方法 | 额外要求 |
|---|---|---|
| 企业或机构舆情 | 实体抽取、议题编码、传播网络 | 同名实体消歧、关联不等于责任 |
| 专家网络 | 作者与机构关系、合作网络、主题 | 学者消歧、合作不等于观点一致 |
| 专利地图 | 文本主题、权利人及引用网络 | 时间滞后、引用关系与法律范围分开 |
| 公共事件研判 | 时间线、诉求、传播与回应 | 核验原始事实、保留不确定性 |
这些应用复用方法，但研究对象和效度标准不同。课件中的金融风险应用仅作方法迁移示例，不能直接把舆情热度当作有效投资预测。
九、报告与可视化
报告建议包含：执行摘要；问题与范围；数据与编码；模型比较；事实时间线；主题和社区变化；风险触发条件；建议；限制与复现说明。
图表以问题为中心：讨论量用时间序列，诉求比例用分面折线或堆叠图，模型错误用混淆矩阵，传播用可读网络图与节点表。图注写清时间、单位、分母、来源、过滤规则和缺失情况。网络图颜色只表达一种含义；可视化布局距离不自动等于社会距离。
风险判断应写成可检验条件，例如：“若后续说明仍缺少收费依据，且不同社区重复提出同类诉求，则继续核查解释是否覆盖公众疑问。”不设置未经验证的综合风险分数来包装确定性。需要指数时，公开指标、权重、缺失处理、阈值依据及历史验证。
十、答辩清单与自测题
答辩随机抽取一条结论，沿“结论→图表→统计表→模型标签→处理记录→原始来源→核验日志”逐层展示。无法追溯时，应修改或删除该结论。
- 为什么准确率98%仍可能无用？——类别不均衡时，目标类别可能完全漏检。
- 为什么人工一致性高仍需检查效度？——编码者可能一致地测量了错误概念。
- 大模型提示词调整是否算模型选择？——算，需要遵守验证与测试边界。
- 为什么社区间负面比例不能直接解释为群体态度差异？——构成、抽样、对象和模型误差可能不同。
- 回应后的下降如何支持因果结论？——需要可信反事实及识别假设，前后比较不足。
- 哪些输出必须人工核验？——关键事实、归因、引用、风险判断及支撑核心结论的代表样本。
- 模型标签校正能否解决代表性问题？——不能，测量误差与样本选择是不同问题。