强化学习与自主决策系统
第六讲配套阅读 资产配置与再平衡的顺序决策
王小宁 2026年秋季 更新于2026年11月21日
两种再平衡动作
权益比重从40%降到35.48%之后
沿用第六讲。24万元中,权益配置9.6万元,债券配置14.4万元。另有6万元应急资金。
题目给定权益跌20%、债券跌3%。两项持仓变为76,800元和139,680元,权益占35.48%。
本次可选保持持仓或部分调回。要比较这两个动作,需要知道费用、下一期可能的收益,以及40%的权益上限。
三种“智能体”需要分清
LLM工具智能体:读取任务、决定工具调用、整理结果。
强化学习智能体:利用状态、动作与奖励数据学习策略。
固定规则系统:依据阈值或日历执行预先定义的决策。
一个系统可以组合三者;使用Agent名称并不说明其采用了RL。
马尔可夫决策过程
状态、动作与环境
状态 包括持仓、可用资金、已披露信息、剩余期限和本次决策的权重上限。
动作 可用目标权重或交易金额表示。先核对预算和上限,再从可行动作集合 中选择。
环境:市场演化、成交机制、费用、现金流与持仓更新。
奖励 :按照任务目标定义的即时反馈。
MDP的基本形式
马尔可夫假设要求当前状态包含预测后续所需的信息。[1]
金融市场存在隐藏因素;实际状态往往只是信息摘要。
若奖励依赖历史峰值或持仓成本,应将相应变量纳入状态。
策略、轨迹与回报
- 折扣因子 控制未来奖励的权重。
- 最大化期望奖励,取决于奖励是否准确表达业务目标。
买卖两边怎样结算费用
甲保持持仓。乙卖出8,008元债券、买入7,992元权益。双边成交额合计16,000元,按0.1%计费,忽略滑点。
卖出款刚好覆盖买入款和费用,。费用用元计,双边换手率为 。
| 交易后 | 甲 保持 | 乙 部分调回 |
|---|---|---|
| 净值/元 | 216,480 | 216,464 |
| 权益比重 | 35.48% | 39.17% |
两种动作都符合本次调仓后的40%上限。乙的净值已包含费用。
两种动作的下一期净值
债券下一期持平,下表列出下一次决策前的组合价值。
| 权益下一期收益 | 甲/元 | 乙/元 |
|---|---|---|
| +1% | 217,248.00 | 217,311.92 |
| −1% | 215,712.00 | 215,616.08 |
乙多持有7,992元权益。权益涨1%时乙多63.92元,跌1%时乙少95.92元。
两种情景都从同一持仓出发。决定交易时,下一期的涨跌还未知,应将其留到环境返回结果时使用。
奖励:净收益与风险惩罚
令 为决策前净值,已反映过往费用。 是同一组观察时点上的净值峰值。
一种可讨论的奖励为:
- 本期费用在动作执行时扣除,已经体现在下一决策前的 。在同一奖励里只计一次。
- 控制回撤加深时的惩罚。权益上限直接限制可选动作。
价值函数与时序差分
状态价值与动作价值
:处于状态 ,之后遵循策略 的价值。
:在状态 先选动作 ,之后遵循 的价值。
Bellman方程
当前价值由即时奖励与后续价值共同组成。
蒙特卡罗与TD学习
蒙特卡罗:观察完整回合的实际回报,再更新价值估计。
时序差分(TD):使用一步奖励与下一状态估计进行更新。
- 为学习率;TD依赖现有价值估计,可能存在自举误差。
SARSA:根据实际后续动作更新
是行为策略实际选择的动作。
SARSA是同策略方法,更新目标包含当前策略的探索行为。
Q-learning:使用贪心目标更新
学习目标使用最大动作价值,采样动作仍由行为策略产生。
属于异策略方法;经典收敛结论需要有限表格等条件。
到达终止状态后,下一状态的价值项取零。
同一条经验,三种更新结果
给定旧Q值0.02、即时奖励0.01、学习率0.5、折扣0.9。下一状态有两个可行动作,估值0.01和0.03,行为策略实际选择前者。
| 更新情形 | 学习目标 | 更新后的Q值 |
|---|---|---|
| SARSA | 0.0195 | |
| Q-learning | 0.0285 | |
| 若此步已终止 | 0.0150 |
三行均使用 。Q值的单位由奖励定义。终止行表示这一步结束回合的另一种情形。
探索与利用
-greedy:多数时候选估计价值最高的动作,少数时候探索。
离线金融研究依赖历史记录或环境;不能随意用客户资金探索。
行为策略未覆盖的动作,可能缺少可靠训练样本。
历史市场路径不包含所有反事实,也不能消除市场冲击问题。
深度强化学习与策略优化
DQN:用神经网络表示动作价值
- 经验回放:重复利用历史转移,减弱连续采样的相关性。
- 目标网络:用较慢更新的 构造学习目标。
- 标准DQN适用于离散动作,终止时的目标取即时奖励。[2]
怎样排除超过上限的动作
若当前客户权益上限为40%,备选目标权重为20%、40%、60%,则60%这项不能进入选择。
即使网络给60%动作估值0.08、给两个合规动作估值0.01和0.03,Q-learning 下一步使用的最大值仍为0.03。
探索选动作、贪心选动作和计算下一状态的目标值,都使用各自状态的可行动作集合。执行时再按费用和资金余额核算。
策略梯度:直接优化策略
REINFORCE使用采样回报估计梯度。
引入与动作无关的基线,可在满足条件时降低梯度方差。
状态、动作和奖励尺度变化,都会影响训练稳定性。
Actor–Critic:策略与评价分工
Actor:输出动作或动作分布 。
Critic:估计价值,为策略更新提供反馈。
TD误差可用于构造优势估计;价值估计误差也会影响策略更新。
PPO 的剪切目标限制概率比变化继续带来的优化激励。持仓和预算的硬性上限仍由动作空间或执行规则落实。[4]
搜索与学习:以AlphaGo为例
策略网络提出候选动作,价值网络估计局面。
蒙特卡罗树搜索结合模拟路径与价值估计选择落子。[3]
棋类具有清晰规则与可交互环境;金融环境的转移与成交更难建模。
LLM生成“多角色辩论”与通过奖励优化策略,是不同机制。
金融策略的验证
按时间组织信息与样本
训练集用于学习,验证集用于调参,测试集用于最终比较。
使用滚动或扩展窗口,报告每个样本外区间的结果。
标准化、特征选择、协方差估计均只能使用当时可得数据。
报告期结束不等于报告已公开;公告应按公开时间进入状态。
同一份三季报何时能进入状态
LLM还可能带来知识泄漏
大模型可能从预训练资料中记住后来的公司事件或市场结果。
即使提示词限制日期,也不代表模型已忘记未来信息。
使用受控资料检索、固定提取任务和独立人工检查降低影响。
涉及历史交易策略时,明确模型版本、数据来源与测试限制。
策略比较需要相同假设
基线可取买入后持有、定期再平衡、阈值再平衡。若某条规则产生超限持仓,在共同的决策时点执行相同的约束检查。
统一条件:资产池、信息集、执行时点、费用与资金约束。
结果:累计收益、年化波动、最大回撤、换手与约束违反。
稳定性:不同时间段、费用与参数设定下的表现。
金融强化学习的实证复核
讨论:奖励高是否意味着方案合适
某策略的历史收益较高,但频繁调仓、短期回撤较大。
客户资金在一年后需要使用,奖励中是否体现这一约束?
手续费与滑点是否计入?比较基线是否使用相同信息?
哪些结论来自观察,哪些依赖环境设定?
讨论时写出一个能改变策略排序的反例,并说明改变的是费用、风险约束还是未来收益。
课堂核对:第六讲的再平衡计算表
从同一组持仓出发:权益76,800元、债券139,680元,应急资金单列。
甲持有,乙卖出8,008元债券、买入7,992元权益。每个动作占一行,填入交易费、交易后净值与权益占比。核对40%的上限。
债券持平,分别令权益涨1%、跌1%。填入两列期末净值,计算乙减甲的差额。用一句话解释为什么差额会变号。
在记录中标出决策日。对照9月30日和11月2日,判断何时能引用10月31日披露的三季报。
这张表就是第六讲课堂练习二的计算记录,可放入同一份个人简报。
参考文献
强化学习方法
[1] Sutton R S, Barto A G. Reinforcement Learning: An Introduction. 2nd ed. MIT Press, 2018. 出版社
[2] Mnih V, et al. Human-level control through deep reinforcement learning. Nature, 2015, 518, 529–533. 论文
[3] Silver D, et al. Mastering the game of Go with deep neural networks and tree search. Nature, 2016, 529, 484–489. 论文
[4] Schulman J, et al. Proximal Policy Optimization Algorithms. 2017. arXiv:1707.06347
信息时点与金融实验
[5] 贵州茅台酒股份有限公司. 2026年第三季度报告. 2026-10-31,第1页. 三季报原文
[6] Liu X Y, Xia Z, Rui J, et al. FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Learning. NeurIPS, 2022. 论文
[7] Mbouyom Leumale V A. FinRL-DeepSeek Revisited. Cambridge Open Engage,工作论文,第1版,2026-09-15. 原文与复现材料