课程定位:高级统计学方法;适用于具备概率、条件期望与回归分析基础的学生。
核心问题:我们如何把“如果采取另一种行动,结果会怎样”写成可以分析的统计问题?
完成本讲后,应能够:
三讲之间的关系:
flowchart LR
A[第一讲:定义问题与表达假设] --> B[第二讲:识别与估计效应]
A --> C[第三讲:发现结构与识别方向]
C --> D[形成候选因果图]
D --> B
B --> E[在假设范围内解释干预后果]
因果发现并不是每个效应估计项目的必要前置步骤。若研究设计和领域知识足以支持相关结构,就可以直接研究目标效应的识别。
某广告平台观察到,采用新广告策略的投放单元平均每千名受众产生 82 次转化,沿用原策略的投放单元为 76 次。
本案例将“转化效率”定义为固定评估期内每千名预先纳入受众的转化人数,记为 \(Y\),单位为“次/千人”;每人最多计一次转化。受众集合在策略实施前确定,两种策略采用相同预算、评估期和转化归因规则,避免分母随策略变化。以下数字均为教学构造。
直接计算得到 6 次/千人的差异,但它可能来自:
因此,“两组相差 6 次/千人”和“让同一组投放单元采用新策略能提高 6 次/千人”是不同的陈述。
一个可以开展的研究至少需要说明以下内容。
| 要素 | 本讲示例 |
|---|---|
| 目标人群 | 本平台本期所有符合投放条件的广告投放单元 |
| 处理 | 采用预先确定的新广告策略版本,持续两周 |
| 对照 | 沿用原广告策略,预算与评估期保持一致 |
| 结果 | 两周内每千名预先纳入受众的转化人数 |
| 基线信息 | 策略实施前的转化水平、广告主运营能力、受众购买意愿等 |
| 目标效应 | 在目标投放单元中采用新策略的平均转化效率变化 |
“新广告策略”若同时包含不同素材、不同出价规则、不同定向方式,应先明确这些版本是否属于同一个处理。否则,讨论的干预本身就可能不够清楚。
| 类型 | 示例 | 需要的核心信息 |
|---|---|---|
| 相关 | 新广告策略与转化效率是否相关? | 观测联合分布 |
| 预测 | 已知是否采用新策略,能否更准确预测转化效率? | 可用于预测的新样本分布 |
| 干预 | 如果让目标投放单元都采用新策略,转化效率会怎样? | 数据与干预机制假设 |
| 反事实 | 某投放单元已采用新策略,转化效率为 85 次/千人,若沿用原策略会是多少? | 对个体机制和未观测量更强的约束 |
预测模型可以利用结果的代理变量或后果变量提高准确率,而这些变量未必适合用于估计干预效应。预测性能不是因果解释的充分条件。
三份讲义共同使用下列记号。
| 记号 | 含义 |
|---|---|
| \(A\in\{0,1\}\) | 是否接受处理 |
| \(Y\) | 实际观察的结果 |
| \(X\) | 处理之前测量的协变量,可以是向量 |
| \(U\) | 未观测的因素或外生扰动,具体含义由模型说明 |
| \(M\) | 处理中介变量 |
| \(S\) | 选择变量或碰撞变量 |
| \(Z\) | 工具变量,第二讲使用 |
| \(Y(a)\) | 若接受处理 \(a\) 时的潜在结果 |
| \(e(X)\) | 倾向评分 \(P(A=1\mid X)\) |
| \(m_a(X)\) | 结果回归 \(E(Y\mid A=a,X)\) |
第三讲在讨论一般网络时使用 \(V_1,\ldots,V_p\) 表示节点,以免与处理变量和协变量混淆。
对投放单元 \(i\),定义:
\[ Y_i(1)=\text{该投放单元采用新策略时的转化效率},\qquad Y_i(0)=\text{该投放单元沿用原策略时的转化效率}. \]
个体处理效应为:
\[ \tau_i=Y_i(1)-Y_i(0). \]
这一定义比较的是同一个投放单元在两个干预状态下的结果,因而不会把投放单元之间原本存在的差异直接当作新广告策略效应。
通常只能观察到两个潜在结果之一:
\[ Y_i=A_iY_i(1)+(1-A_i)Y_i(0). \]
以下数字是为说明概念而构造的完整潜在结果,不代表真实研究中可以同时观测。
| 投放单元 | \(Y_i(0)\) | \(Y_i(1)\) | 个体效应 | 实际处理 \(A_i\) | 实际观察 \(Y_i\) |
|---|---|---|---|---|---|
| 甲 | 60 | 70 | 10 | 1 | 70 |
| 乙 | 70 | 74 | 4 | 0 | 70 |
| 丙 | 80 | 82 | 2 | 1 | 82 |
| 丁 | 90 | 88 | -2 | 0 | 90 |
四个投放单元的平均效应为:
\[ \frac{10+4+2-2}{4}=3.5. \]
但实际处理组均值是 76,对照组均值是 80,观测差异为 \(-4\)。这说明组间观测差异可能与平均因果效应不同,甚至符号相反。
即使处理经过随机分配,有限样本中的一次分配仍可能不平衡。随机化保证的是分配机制下的可比性及相应估计性质,不保证每一次实验的样本差异都恰好等于真实效应。
总体平均处理效应 ATE:
\[ \tau_{ATE}=E\{Y(1)-Y(0)\}. \]
处理组平均处理效应 ATT:
\[ \tau_{ATT}=E\{Y(1)-Y(0)\mid A=1\}. \]
条件平均处理效应 CATE:
\[ \tau(x)=E\{Y(1)-Y(0)\mid X=x\}. \]
ATE 关注目标总体,ATT 关注实际接受处理的人群,CATE 关注某类具有共同特征的人。它们一般不相等;CATE 也不是每个个体不可观测效应的直接测量。
例如,新策略对历史转化水平较低的投放单元帮助较大,而这类单元更经常采用新策略,则 ATT 可能高于 ATE。报告结果时必须同时报告目标人群。
一致性要求:若投放单元实际接受处理 \(A=a\),则观察结果等于相应潜在结果 \(Y(a)\)。
无干扰要求:某投放单元的结果不受其他投放单元策略状态的影响。若不同单元争夺同一广告位或受众,新策略可能改变对照单元的竞价成本或曝光机会,该条件就可能失效,应考虑相互隔离的受众分组或市场层面的分组实验。
通常所说的 SUTVA 包括无个体间干扰及不存在未明确区分的处理版本。教材对一致性与 SUTVA 的组织方式可能不同,研究中应直接说明具体要求,避免只写缩写。
随机化试验理想情况下具有:
\[ \{Y(1),Y(0)\}\perp A. \]
观察性研究常假设条件可交换性:
\[ \{Y(1),Y(0)\}\perp A\mid X. \]
其含义是:在给定 \(X\) 的人群中,是否接受处理不再携带关于潜在结果的额外信息。它并不要求两组观察结果相同;处理本身仍可改变结果。
该条件通常不能仅凭观测数据完全检验。例如,未记录的受众购买意愿仍可能同时影响新广告策略选择和转化效率。
常用表达为:
\[ 0<P(A=1\mid X=x)<1. \]
直观上,需要有可比较的处理与对照观测。课堂实施时,可以把这一条件简化为总体层面的 \(0<P(A=1)<1\):只要样本同时包含处理者与未处理者,缺少某些协变量层内的对照不会破坏识别,因为结果回归可以补齐这些层的反事实均值。
这一区分提示我们,分层样本不足主要是估计精度问题,可通过更灵活的预测模型改善。
利用一致性,可写出:
\[ \begin{aligned} E(Y\mid A=1)-E(Y\mid A=0) &=E\{Y(1)\mid A=1\}-E\{Y(0)\mid A=0\}\\ &=\underbrace{E\{Y(1)-Y(0)\mid A=1\}}_{ATT}\\ &\quad+\underbrace{E\{Y(0)\mid A=1\}-E\{Y(0)\mid A=0\}}_{选择偏差}. \end{aligned} \]
第二项回答:“即使都沿用原策略,两组投放单元本来会不会不同?”只要这一项不为零,原始均值差就不能直接解释为 ATT。
识别研究:给定假设,即使知道完整观测分布,目标效应能否被唯一确定?
估计研究:在目标已识别的前提下,如何用有限样本计算它,并量化不确定性?
不可识别不是简单的“样本不够大”。两个不同的数据生成机制可能产生相同观测分布,却给出不同干预效应。仅增加相同类型的数据未必能区分它们。
以历史转化水平 \(X\)、是否采用新策略 \(A\)、转化效率 \(Y\) 为例:
\[ X=f_X(U_X),\qquad A=f_A(X,U_A),\qquad Y=f_Y(A,X,U_Y). \]
结构方程不仅描述条件均值,还表达变量如何产生,以及干预发生时哪些机制被替换。
外生变量之间若存在依赖,需要在模型中说明其含义;在观测变量图中,它可能对应未测共同原因。不能仅凭写出几条回归方程就宣称已经获得了可信的因果模型。
flowchart LR
X[历史转化水平 X] --> A[新广告策略 A]
X --> Y[转化效率 Y]
A --> Y
节点表示变量,箭头表示假设中的直接因果影响。直接是相对于图中纳入的变量而言的。若补充了中间机制,原先的一条箭头可能被拆成多条路径。
“无环”指不存在沿箭头方向返回起点的路径。现实中若有反馈,可以在有依据时展开时间顺序,如“第一周广告投入→第二周转化表现→第三周广告投入”,不能把同一时间点的反馈直接塞进 DAG。
条件分布
\[ P(Y\mid A=1) \]
描述的是自然选择下已经采用新策略的投放单元。这些单元的历史转化水平和广告主运营能力分布可能不同于总体。
干预分布
\[ P\{Y\mid do(A=1)\} \]
描述的是把目标投放单元的新广告策略状态设为 1 后的转化效率分布。结构模型中用 \(A:=1\) 替换原来的 \(A=f_A(X,U_A)\)。
图上应删除进入 \(A\) 的箭头,保留从 \(A\) 指向后续变量的箭头。
flowchart LR
X[历史转化水平 X] --> Y[转化效率 Y]
A[设定 A=1] --> Y
在完整观测、相应机制假设成立的简单图中:
\[ P\{Y=y\mid do(A=a)\}=\sum_xP(Y=y\mid A=a,X=x)P(X=x). \]
而观测条件分布为:
\[ P(Y=y\mid A=a)=\sum_xP(Y=y\mid A=a,X=x)P(X=x\mid A=a). \]
两者的区别是使用总体的 \(X\) 次/千人布,还是实际处理组的 \(X\) 次/千人布。这也说明标准化为什么要先确定目标人群。
A ← X → Y
\(X\) 同时影响处理与结果,使 \(A\) 和 \(Y\) 即使没有直接因果联系也可能相关。对 \(X\) 条件化可以阻断这条路径。
A → M → Y
例如“新广告策略→落地页互动增加→转化效率提升”。若目标是总效应,直接控制 \(M\) 会阻断这条机制。直接效应或中介效应是不同的目标,需要另外定义并论证识别条件。
回归中加入中介变量后,\(A\) 的系数不自动等于某一种有明确因果定义的直接效应。
A → S ← U → Y
例如新广告策略和受众购买意愿都会影响是否进入某个“高互动投放单元样本” \(S\)。在总体中,路径在碰撞点 \(S\) 处被阻断;只分析入选者,相当于条件化 \(S\),可能打开非因果路径。
给定条件集合 \(C\),一条路径开放需要满足:
如果所有路径均被阻断,两个节点集合在图上 d-分离。在因果 Markov 条件下,d-分离蕴含条件独立。
这里的路径可以逆着箭头走;判断某节点是否为碰撞点,要看它在当前路径上的两个相邻箭头是否都指向该节点。
| 任务 | 潜在结果语言 | 结构模型与图语言 |
|---|---|---|
| 定义处理效应 | \(E\{Y(1)-Y(0)\}\) | 比较两种干预下的结果均值 |
| 表达可比性 | \(Y(a)\perp A\mid X\) | 选择能阻断非因果路径的调整集 |
| 解释干预 | 将潜在结果状态设为 \(a\) | 替换 \(A\) 的结构方程 |
| 说明研究限制 | 潜在结果缺失与不可交换 | 未测混杂、错误结构或开放路径 |
在同一套一致的模型假设下,可以把 \(Y(a)\) 理解为结构模型执行 \(do(A=a)\) 后得到的结果。两种语言可以相互帮助,但画图不能免除对箭头来源的论证,潜在结果记号也不能代替识别假设。
结构模型中的个体反事实通常按照“推断外生状态—修改处理机制—预测新结果”分析。
例如假定 \(Y=50+5A+U\),某投放单元在 \(A=1\) 时转化效率为 80 次/千人,则可推断 \(U=25\);再设置 \(A=0\),得到反事实转化效率为 75 次/千人。这一结论依赖整个确定性结构与个体扰动不变的假设,不能仅凭普通回归拟合直接成立。
四人一组,为新广告策略案例完成以下任务。
提交成果:一页研究问题说明、一张带变量解释的 DAG,以及不超过 200 字的假设说明。
| 说法 | 需要怎样修正 |
|---|---|
| 显著相关就是存在因果效应 | 显著性只涉及模型下的统计证据,不提供完整识别依据 |
| 控制越多变量越好 | 需判断变量在图中的角色及测量时间 |
| 随机化后两组每个变量一定相同 | 有限样本仍会随机不平衡 |
| 个体的 CATE 就是其真实效应 | CATE 是同类人群平均效应 |
| 画出 DAG 就证明了结构 | DAG 表达需要论证的假设 |
| 增大样本一定消除混杂 | 样本量不自动解决设计和识别问题 |
平台考虑是否让所有目标投放单元采用新策略;另一个部门只想评价已经采用者获益多少。两者分别对应什么目标?
答案:前者通常对应目标投放单元总体的 ATE,后者对应 ATT。若“开放策略使用资格”与“实际采用策略”不同,还需要重新区分分配效应与接受处理效应。
观测转化效率差为 6 次/千人,已知未处理潜在结果的选择偏差为 4 次/千人。ATT 是多少?
答案:由观测差异 \(=ATT+选择偏差\),得到 \(ATT=6-4=2\) 次/千人。这里的选择偏差在真实数据中通常不可直接观察。
研究新广告策略总效应时,是否应控制新广告策略后的落地页互动程度?
答案:不能仅因它预测转化效率就纳入。若落地页互动程度是新广告策略产生作用的中介,控制它会改变目标路径;若还有未测共同原因,还可能带来额外偏差。
在 \(A\to S\leftarrow U\to Y\) 中,原路径是否开放?控制 \(S\) 后呢?
答案:未控制 \(S\) 或其后代时,路径在 \(S\) 处阻断;控制 \(S\) 后该路径可能开放,使处理和结果之间出现非因果关联。
总体包含处理和对照,但所有历史转化水平较低的投放单元都采用了新策略。能否通过回归识别历史转化水平较低的投放单元的平均效应?
答案:可以。总体中两种处理都出现已经满足正值性的实际要求;对历史转化水平较低层缺失的对照均值可用其他投放单元的回归关系预测,因此这里主要增加模型拟合的不确定性,不构成识别障碍。
用一句话补全:因果推断不是仅从相关性推到因果性,而是从“______、______和______”共同推导干预结论。
参考:清晰的目标问题、观测或实验数据、明确的因果假设。
本讲案例、活动及练习为教学构造,不是阅读文献中的实证结果。原始材料使用的处理变量符号可能与本讲不同。
下一讲:因果效应的识别与估计。