强化学习与自主决策系统

第六讲配套阅读 资产配置与再平衡的顺序决策
王小宁 2026年秋季 更新于2026年11月21日

两种再平衡动作

权益比重从40%降到35.48%之后

  • 沿用第六讲。24万元中,权益配置9.6万元,债券配置14.4万元。另有6万元应急资金。

  • 题目给定权益跌20%、债券跌3%。两项持仓变为76,800元和139,680元,权益占35.48%。

  • 本次可选保持持仓或部分调回。要比较这两个动作,需要知道费用、下一期可能的收益,以及40%的权益上限。

三种“智能体”需要分清

  • LLM工具智能体:读取任务、决定工具调用、整理结果。

  • 强化学习智能体:利用状态、动作与奖励数据学习策略。

  • 固定规则系统:依据阈值或日历执行预先定义的决策。

一个系统可以组合三者;使用Agent名称并不说明其采用了RL。

马尔可夫决策过程

状态、动作与环境

  • 状态 sts_t 包括持仓、可用资金、已披露信息、剩余期限和本次决策的权重上限。

  • 动作 ata_t 可用目标权重或交易金额表示。先核对预算和上限,再从可行动作集合 𝒜(st)\mathcal A(s_t) 中选择。

  • 环境:市场演化、成交机制、费用、现金流与持仓更新。

  • 奖励 rt+1r_{t+1}:按照任务目标定义的即时反馈。

MDP的基本形式

ℳ=(𝒮,𝒜,p,r,γ) \mathcal M=(\mathcal S,\mathcal A,p,r,\gamma)

p(st+1∣st,at,…,s0,a0)=p(st+1∣st,at) p(s_{t+1}\mid s_t,a_t,\ldots,s_0,a_0) =p(s_{t+1}\mid s_t,a_t)

  • 马尔可夫假设要求当前状态包含预测后续所需的信息。[1]

  • 金融市场存在隐藏因素;实际状态往往只是信息摘要。

  • 若奖励依赖历史峰值或持仓成本,应将相应变量纳入状态。

策略、轨迹与回报

π(a∣s)=P(at=a∣st=s) \pi(a\mid s)=P(a_t=a\mid s_t=s)

τ=(s0,a0,r1,s1,a1,r2,…,sT) \tau=(s_0,a_0,r_1,s_1,a_1,r_2,\ldots,s_T)

Gt=∑k=0T−t−1γkrt+k+1,J(θ)=𝔼τ∼πθ[G0] G_t=\sum_{k=0}^{T-t-1}\gamma^k r_{t+k+1},\qquad J(\theta)=\mathbb E_{\tau\sim\pi_\theta}[G_0]

  • 折扣因子 γ∈[0,1]\gamma\in[0,1] 控制未来奖励的权重。
  • 最大化期望奖励,取决于奖励是否准确表达业务目标。

买卖两边怎样结算费用

  • 甲保持持仓。乙卖出8,008元债券、买入7,992元权益。双边成交额合计16,000元,按0.1%计费,忽略滑点。

  • 卖出款刚好覆盖买入款和费用,8,008=7,992+168{,}008=7{,}992+16。费用用元计,双边换手率为 16,000/216,480=7.39%16{,}000/216{,}480=7.39\%。

交易后 甲 保持 乙 部分调回
净值/元 216,480 216,464
权益比重 35.48% 39.17%

两种动作都符合本次调仓后的40%上限。乙的净值已包含费用。

两种动作的下一期净值

债券下一期持平,下表列出下一次决策前的组合价值。

权益下一期收益 甲/元 乙/元
+1% 217,248.00 217,311.92
−1% 215,712.00 215,616.08
  • 乙多持有7,992元权益。权益涨1%时乙多63.92元,跌1%时乙少95.92元。

  • 两种情景都从同一持仓出发。决定交易时,下一期的涨跌还未知,应将其留到环境返回结果时使用。

奖励:净收益与风险惩罚

令 WtW_t 为决策前净值,已反映过往费用。Ht=maxu≤tWuH_t=\max_{u\le t} W_u 是同一组观察时点上的净值峰值。

Dt=1−WtHt D_t=1-\frac{W_t}{H_t}

一种可讨论的奖励为:

rt+1=logWt+1Wt−λmax(Dt+1−Dt,0) r_{t+1}=\log\frac{W_{t+1}}{W_t} -\lambda\max(D_{t+1}-D_t,0)

  • 本期费用在动作执行时扣除,已经体现在下一决策前的 Wt+1W_{t+1}。在同一奖励里只计一次。
  • λ\lambda 控制回撤加深时的惩罚。权益上限直接限制可选动作。

价值函数与时序差分

状态价值与动作价值

Vπ(s)=𝔼π[Gt∣st=s] V^\pi(s)=\mathbb E_\pi[G_t\mid s_t=s]

Qπ(s,a)=𝔼π[Gt∣st=s,at=a] Q^\pi(s,a)=\mathbb E_\pi[G_t\mid s_t=s,a_t=a]

  • Vπ(s)V^\pi(s):处于状态 ss,之后遵循策略 π\pi 的价值。

  • Qπ(s,a)Q^\pi(s,a):在状态 ss 先选动作 aa,之后遵循 π\pi 的价值。

Bellman方程

Vπ(s)=∑aπ(a∣s)∑s′p(s′∣s,a)[r(s,a,s′)+γVπ(s′)] V^\pi(s)=\sum_a\pi(a\mid s)\sum_{s'}p(s'\mid s,a) \big[r(s,a,s')+\gamma V^\pi(s')\big]

Qπ(s,a)=∑s′p(s′∣s,a)[r(s,a,s′)+γ∑a′π(a′∣s′)Qπ(s′,a′)] Q^\pi(s,a)=\sum_{s'}p(s'\mid s,a) \left[r(s,a,s')+\gamma\sum_{a'}\pi(a'\mid s')Q^\pi(s',a')\right]

当前价值由即时奖励与后续价值共同组成。

蒙特卡罗与TD学习

  • 蒙特卡罗:观察完整回合的实际回报,再更新价值估计。

  • 时序差分(TD):使用一步奖励与下一状态估计进行更新。

V(st)←V(st)+α[rt+1+γV(st+1)−V(st)] V(s_t)\leftarrow V(s_t)+\alpha \big[r_{t+1}+\gamma V(s_{t+1})-V(s_t)\big]

  • α\alpha 为学习率;TD依赖现有价值估计,可能存在自举误差。

SARSA:根据实际后续动作更新

Q(st,at)←Q(st,at)+α[rt+1+γQ(st+1,at+1)−Q(st,at)] \begin{aligned} Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha\big[&r_{t+1}\\ &+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t)\big] \end{aligned}

  • at+1a_{t+1} 是行为策略实际选择的动作。

  • SARSA是同策略方法,更新目标包含当前策略的探索行为。

Q-learning:使用贪心目标更新

Q(st,at)←Q(st,at)+α[rt+1+γmaxa′∈𝒜(st+1)Q(st+1,a′)−Q(st,at)] \begin{aligned} Q(s_t,a_t)\leftarrow Q(s_t,a_t)+\alpha\big[&r_{t+1}\\ &+\gamma\max_{a'\in\mathcal A(s_{t+1})}Q(s_{t+1},a')-Q(s_t,a_t)\big] \end{aligned}

  • 学习目标使用最大动作价值,采样动作仍由行为策略产生。

  • 属于异策略方法;经典收敛结论需要有限表格等条件。

  • 到达终止状态后,下一状态的价值项取零。

同一条经验,三种更新结果

给定旧Q值0.02、即时奖励0.01、学习率0.5、折扣0.9。下一状态有两个可行动作,估值0.01和0.03,行为策略实际选择前者。

更新情形 学习目标 yy 更新后的Q值
SARSA 0.01+0.9×0.010.01+0.9\times0.01 0.0195
Q-learning 0.01+0.9×0.030.01+0.9\times0.03 0.0285
若此步已终止 0.010.01 0.0150

三行均使用 Qnew=0.02+0.5(y−0.02)Q_{\mathrm{new}}=0.02+0.5(y-0.02)。Q值的单位由奖励定义。终止行表示这一步结束回合的另一种情形。

探索与利用

  • ε\varepsilon-greedy:多数时候选估计价值最高的动作,少数时候探索。

  • 离线金融研究依赖历史记录或环境;不能随意用客户资金探索。

  • 行为策略未覆盖的动作,可能缺少可靠训练样本。

  • 历史市场路径不包含所有反事实,也不能消除市场冲击问题。

深度强化学习与策略优化

DQN:用神经网络表示动作价值

yt=rt+1+γmaxa′∈𝒜(st+1)Qθ‾(st+1,a′) y_t=r_{t+1}+\gamma\max_{a'\in\mathcal A(s_{t+1})}Q_{\bar\theta}(s_{t+1},a')

L(θ)=𝔼[(yt−Qθ(st,at))2] L(\theta)=\mathbb E\big[(y_t-Q_\theta(s_t,a_t))^2\big]

  • 经验回放:重复利用历史转移,减弱连续采样的相关性。
  • 目标网络:用较慢更新的 θ‾\bar\theta 构造学习目标。
  • 标准DQN适用于离散动作,终止时的目标取即时奖励。[2]

怎样排除超过上限的动作

  • 若当前客户权益上限为40%,备选目标权重为20%、40%、60%,则60%这项不能进入选择。

  • 即使网络给60%动作估值0.08、给两个合规动作估值0.01和0.03,Q-learning 下一步使用的最大值仍为0.03。

  • 探索选动作、贪心选动作和计算下一状态的目标值,都使用各自状态的可行动作集合。执行时再按费用和资金余额核算。

策略梯度:直接优化策略

∇θJ(θ)=𝔼πθ[∑tγt∇θlogπθ(at∣st)Gt] \nabla_\theta J(\theta) =\mathbb E_{\pi_\theta}\!\left[ \sum_t\gamma^t\nabla_\theta\log\pi_\theta(a_t\mid s_t)G_t \right]

  • REINFORCE使用采样回报估计梯度。

  • 引入与动作无关的基线,可在满足条件时降低梯度方差。

  • 状态、动作和奖励尺度变化,都会影响训练稳定性。

Actor–Critic:策略与评价分工

  • Actor:输出动作或动作分布 πθ(a∣s)\pi_\theta(a\mid s)。

  • Critic:估计价值,为策略更新提供反馈。

δt=rt+1+γVϕ(st+1)−Vϕ(st) \delta_t=r_{t+1}+\gamma V_\phi(s_{t+1})-V_\phi(s_t)

  • TD误差可用于构造优势估计;价值估计误差也会影响策略更新。

  • PPO 的剪切目标限制概率比变化继续带来的优化激励。持仓和预算的硬性上限仍由动作空间或执行规则落实。[4]

搜索与学习:以AlphaGo为例

  • 策略网络提出候选动作,价值网络估计局面。

  • 蒙特卡罗树搜索结合模拟路径与价值估计选择落子。[3]

  • 棋类具有清晰规则与可交互环境;金融环境的转移与成交更难建模。

  • LLM生成“多角色辩论”与通过奖励优化策略,是不同机制。

金融策略的验证

按时间组织信息与样本

  • 训练集用于学习,验证集用于调参,测试集用于最终比较。

  • 使用滚动或扩展窗口,报告每个样本外区间的结果。

  • 标准化、特征选择、协方差估计均只能使用当时可得数据。

  • 报告期结束不等于报告已公开;公告应按公开时间进入状态。

同一份三季报何时能进入状态

  • 截至2026年9月30日,贵州茅台的第三季度已经结束,标为10月31日披露的三季报仍不可用。[5]

  • 截至11月2日,可以读取三季报第1页。第三季度归母净利润同比增长3.78%,前三季度累计同比下降0.25%。两个字段分别保留期间和来源。[5]

  • 状态记录保留报告期、披露日和决策时点。日内交易需进一步核对公开时间。上面的资产收益路径由题目单独给定。

LLM还可能带来知识泄漏

  • 大模型可能从预训练资料中记住后来的公司事件或市场结果。

  • 即使提示词限制日期,也不代表模型已忘记未来信息。

  • 使用受控资料检索、固定提取任务和独立人工检查降低影响。

  • 涉及历史交易策略时,明确模型版本、数据来源与测试限制。

策略比较需要相同假设

  • 基线可取买入后持有、定期再平衡、阈值再平衡。若某条规则产生超限持仓,在共同的决策时点执行相同的约束检查。

  • 统一条件:资产池、信息集、执行时点、费用与资金约束。

  • 结果:累计收益、年化波动、最大回撤、换手与约束违反。

  • 稳定性:不同时间段、费用与参数设定下的表现。

金融强化学习的实证复核

  • FinRL-Meta 把市场数据处理、环境和策略评价分开,环境可纳入交易成本与持仓限制。[6]

  • 一篇2026年复现工作论文,在相同的2019—2023年回测区间比较 PPO 与加入新闻信号的 PPO-DeepSeek。换一个训练随机种子,两者的夏普比率排序发生反转。[7]

  • 论文共检验两个种子。课堂读表时分别问:同一行情重训后结果是否稳定?更换样本外行情后结论能否重现?两种检查回答不同的问题。

讨论:奖励高是否意味着方案合适

某策略的历史收益较高,但频繁调仓、短期回撤较大。

  • 客户资金在一年后需要使用,奖励中是否体现这一约束?

  • 手续费与滑点是否计入?比较基线是否使用相同信息?

  • 哪些结论来自观察,哪些依赖环境设定?

讨论时写出一个能改变策略排序的反例,并说明改变的是费用、风险约束还是未来收益。

课堂核对:第六讲的再平衡计算表

从同一组持仓出发:权益76,800元、债券139,680元,应急资金单列。

  1. 甲持有,乙卖出8,008元债券、买入7,992元权益。每个动作占一行,填入交易费、交易后净值与权益占比。核对40%的上限。

  2. 债券持平,分别令权益涨1%、跌1%。填入两列期末净值,计算乙减甲的差额。用一句话解释为什么差额会变号。

  3. 在记录中标出决策日。对照9月30日和11月2日,判断何时能引用10月31日披露的三季报。

这张表就是第六讲课堂练习二的计算记录,可放入同一份个人简报。

参考文献

强化学习方法

  • [1] Sutton R S, Barto A G. Reinforcement Learning: An Introduction. 2nd ed. MIT Press, 2018. 出版社

  • [2] Mnih V, et al. Human-level control through deep reinforcement learning. Nature, 2015, 518, 529–533. 论文

  • [3] Silver D, et al. Mastering the game of Go with deep neural networks and tree search. Nature, 2016, 529, 484–489. 论文

  • [4] Schulman J, et al. Proximal Policy Optimization Algorithms. 2017. arXiv:1707.06347

信息时点与金融实验

  • [5] 贵州茅台酒股份有限公司. 2026年第三季度报告. 2026-10-31,第1页. 三季报原文

  • [6] Liu X Y, Xia Z, Rui J, et al. FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Learning. NeurIPS, 2022. 论文

  • [7] Mbouyom Leumale V A. FinRL-DeepSeek Revisited. Cambridge Open Engage,工作论文,第1版,2026-09-15. 原文与复现材料