本报告旨在提供关于深度强化学习在选股投资组合构建 上的量化研究的全面概述。强化学习可以用于开发能够从市场 环境中自适应学习的交易策略，有效应对快速变化的市场环境 中的不确定性与风险，在量化投资领域具有重要的应用潜力， 可以为专业的投资机构提供有价值的决策支持和实践指南。本 报告探讨了不同强化学习算法在投资组合构建中的潜力、优势 和局限性，并通过使用沪深300 成分股数据训练强化学习模型3 agents (A2C, PPO, DDPG)，最终得到的投资策略能够出色地平 衡风险与回报。

一、引言 ..................................................................................... 3

1.1.研究背景 ............................................................................. 3

1.2.报告结构概述 ......................................................................... 3

二、深度强化学习 ............................................................................. 3

2.1.深度强化学习 ......................................................................... 3

2.2.马尔可夫决策过程 ..................................................................... 4

2.3.值函数和策略 ......................................................................... 5

2.4.强化学习算法概述 ..................................................................... 6

2.4.1.基于值 ......................................................................... 6

2.4.2.基于策略 ....................................................................... 7

2.4.3.基于值和策略 ................................................................... 8

2.4.4.深度强化学习算法 ............................................................... 8

三、深度强化学习的投资组合构建应用场景 ....................................................... 10

3.1.状态的定义 .......................................................................... 10

3.2.行动空间的定义 ...................................................................... 11

3.3.奖励函数的设计 ...................................................................... 12

3.4.转移概率建模 ........................................................................ 12

四、强化学习在投资组合构建上的实证研究 ....................................................... 12

4.1.训练输入特征 ........................................................................ 12

4.2.深度强化学习模型的参数设置 .......................................................... 13

4.3.训练和测试数据集划分如下 ............................................................ 14

4.4.实证结果分析 ........................................................................ 15

4.5.实践中遇到的问题 .................................................................... 16

五、风险提示 ................................................................................ 16

六、参考文献.... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16