可视化分段线性神经网络

神经网络常被视为不透明的黑箱模型，用于近似函数但缺乏明确的可解释性。然而，理论方法使我们能够更透明地描述和可视化其内部工作原理。许多神经网络共享的一个关键特性是分段线性，即网络表示的函数可以分解为多个线性段，尽管整体函数是非线性的。这一特性在使用修正线性单元（ReLU）激活函数的网络中尤为突出，ReLU本身由两个线性部分在零点相交定义。鉴于ReLU激活的广泛采用，研究由线性变换和ReLU非线性交替构建的网络提供了宝贵的行为洞察。\n\n举例来说，考虑一个简单神经网络，具有两个输入神经元和一个使用ReLU激活的输出神经元。在三维空间中可视化时，输入变量分别映射到x轴和y轴，输出映射到z轴，ReLU将输入空间划分为两个线性区域：一个激活关闭（输出为零），一个激活开启（正线性输出）。重要的是，这样的网络学习的函数必须是连续且分段线性的，避免线性段在边界处不对齐导致的不连续。\n\n将网络扩展为单层八个输出神经元，增加了输入空间分段线性的复杂度。ReLU激活产生多个边界，将输入平面划分为多边形，每个多边形对应独特的神经元激活模式（部分神经元开启，部分关闭）。理论上可能有2^8即256种激活模式，但几何约束限制了二维中可行区域数为37，称为第8个中心多边形数，通常可见32个区域。这些线和多边形的排列称为多面体复合体，代表网络的分段线性分解。\n\n添加第二层八个ReLU神经元进一步细化了这种划分。第二层的决策边界在第一层定义的每个区域内保持线性，但在跨越区域边界时引入“折点”，反映激活模式的变化。某些激活模式因偏置和输入而变得不可行，有效地终止了部分边界。计算这些区域的过程涉及遍历每个父区域内所有可能的激活模式，并通过求解源自网络参数的线性不等式测试其可行性。\n\n到第三层时，分段线性划分发展出复杂的曲线状结构，尽管由线性段组成。通过输出幅度着色的区域可视化显示某些区域产生更高输出值，在图形表示中更亮。回到三维视图提供了对网络函数景观的直观理解。\n\n迄今为止的探索聚焦于单个训练以逼近Jane Street环形图案的神经网络。然而，随着网络权重变化，多面体复合体动态演化。初始随机未训练网络将输入空间划分为少数大多边形，代表粗略的分段线性近似。训练过程中权重调整，复杂度增加，产生更多更小的多边形和更细致的决策边界，更好地逼近目标形状。\n\nRicson自2020年起参与Jane Street研究团队，兼顾天文摄影和语言建模兴趣。他的研究强调了分段线性神经网络的强大与可解释性，提供了可视化工具以理解此类模型如何通过分层ReLU激活划分输入空间。