当深度学习遇上魔鬼轮盘：欧洲轮盘的强化学习（第一部分）

欧洲轮盘以其约2.7%的众所周知的赌场优势，在长期来看对任何玩家来说都是数学上无法获胜的挑战。尽管存在这种固有劣势，创建一个深度强化学习（RL）代理来玩这款游戏的动机并非为了经济收益，而是为了探索在几乎纯随机性和充满噪声的环境中，RL技术的极限。该项目旨在推动现代深度学习方法在一个最优策略仅仅是不参与游戏的环境中的能力边界。该实验作为对RL算法的压力测试，检验其在本质上是白噪声的环境中发现有意义模式的能力。\n\n欧洲轮盘的动作空间出人意料地丰富，包含47个离散选择。这些选择从37个单个数字（0-36）的直注投注开始，提供高风险高回报的35:1赔率，到各种外围投注如颜色、奇偶、高低范围和打十等，这些提供较低风险但回报率也较低。一个重要的动作是“PASS”，代表不下注的决定，鉴于赌场优势，这通常是最谨慎的选择。代理不仅必须权衡下注哪种赌注，还要考虑每个动作隐含的风险特征。\n\n状态表示整合了两个组成部分：最近20次旋转的历史缓冲区和反映当前资金相对于起始金额的收益比率。尽管轮盘结果是独立同分布的，历史缓冲区允许序列模型尝试模式检测，尽管统计上无效。关键是，包含收益比率使代理能够基于表现来调整策略，区分领先时和明显落后时的行为。这种财务背景有助于开发更细致的策略，适应资金波动。\n\n奖励系统是确定性的，紧密遵循轮盘的支付规则。正奖励稀少且常被负回报掩盖，创造了严苛的学习环境。直注获胜支付+35单位，而简单投注如红或黑支付+1单位。失败统一扣除-1惩罚，PASS动作奖励为零。这种稀疏且大多为负的奖励环境是RL的经典挑战，要求强健的探索和训练稳定性。\n\n代理使用的架构侧重于稳定性和训练效率。尽管由于输入的序列性质，长短期记忆网络（LSTM）最初看似合适，但批量归一化（BatchNorm）层证明更有效。BatchNorm在训练期间稳定激活，平滑梯度曲线，加速收敛。网络首先将每次旋转结果嵌入64维向量，以捕捉潜在关系，如轮盘邻近性，然后展平并通过配备BatchNorm的全连接层。一个独立子网络处理收益比率，两个特征集在最终全连接层前合并，输出所有可能动作的Q值。\n\n一个关键创新是采用双重DQN以减轻标准DQN算法固有的过度估计偏差。通过分离动作选择和评估网络，双重DQN减少了乐观的Q值预测，避免代理高估失败动作的价值。这一机制在轮盘中特别重要，因为过度估计可能掩盖PASS常常是最优策略的现实。\n\n虽然LSTM网络由于轮盘旋转缺乏时间依赖性可能对主代理无益，但它们仍作为系统内的预测模型有用。这种双重方法利用不同架构的优势：BatchNorm稳定Q学习，而LSTM尝试在噪声环境中进行序列预测。对这些架构的探索为面对随机性和稀疏奖励主导环境时的RL训练动态提供了宝贵见解。