ニューラルネットワークはしばしばブラックボックスモデルとして扱われ、関数を近似するものの明確な解釈性を欠くと見なされます。しかし、理論的アプローチにより、その内部動作をより透明に記述・可視化することが可能です。多くのニューラルネットワークが共有する重要な特性は区分線形性であり、これはネットワークが表現する関数が非線形であっても複数の線形区間に分解できることを意味します。この特性は、ReLU（整流線形単位）活性化関数を用いるネットワークで顕著に現れます。ReLU自体は0で接続する2つの線形部分で定義されているためです。ReLU活性化の広範な採用を踏まえ、線形変換とReLU非線形性を交互に組み合わせたネットワークを調べることは、その挙動理解に有益です。\n\n例として、2つの入力ニューロンと1つの出力ニューロンを持つ単純なニューラルネットワークを考えます。3次元で可視化すると、x軸とy軸に入力変数、z軸に出力を配置し、ReLUは入力空間を2つの線形領域に分割します。1つは活性化がオフ（出力ゼロ）、もう1つはオン（正の線形出力）です。重要なのは、このネットワークが学習する関数は連続かつ区分線形であり、線形区間が境界で不連続になることはありません。\n\n単一層で8つの出力ニューロンを持つネットワークに拡張すると、入力空間の区分線形分割の複雑さが増します。ReLU活性化は複数の境界を作り、入力平面を多角形に分割します。各多角形はニューロンの活性化パターン（オンのニューロンとオフのニューロンの組み合わせ）に対応します。理論上は2^8=256の活性化パターンが存在しますが、幾何学的制約により2次元では37の実現可能領域に制限され、通常は32領域が可視化されます。この線と多角形の配置は多面体複体と呼ばれ、ネットワークの区分線形分解を表します。\n\n8つのReLUニューロンを持つ第2層を追加すると、この分割はさらに細分化されます。第2層の決定境界は第1層で定義された各領域内で線形ですが、領域間を跨ぐと「折れ曲がり」が生じ、活性化パターンの変化を反映します。バイアスや入力により一部の活性化パターンは実現不可能となり、特定の境界が途切れます。これらの領域を計算する過程は、親領域内のすべての活性化パターンを反復し、ネットワークパラメータから導出される線形不等式を解いて実現可能性を検証することを含みます。\n\n第3層に達すると、区分線形の分割は線形区間で構成されているにもかかわらず複雑で曲線状の構造を形成します。出力の大きさで色分けされたこれらの領域の可視化は、特定の領域がより高い出力値を示し、グラフィカルに明るく表示される様子を明らかにします。3次元ビューに戻ることで、ネットワークの関数地形を直感的に理解できます。\n\nこれまでの探求は、Jane Streetのリングパターンを近似する単一のニューラルネットワークに焦点を当ててきましたが、多面体複体はネットワークの重み変化に伴い動的に進化します。ランダム初期化された未訓練ネットワークでは、入力空間は数個の大きな多角形に分割され、粗い区分線形近似を表します。訓練が進み重みが調整されると、複雑さが増し、多数の小さな多角形とより精緻な決定境界が形成され、目標形状をより正確に近似します。\n\n2020年からJane Streetのリサーチデスクに所属するRicsonは、天体写真や言語モデルへの関心と並行してこの研究を行っています。彼の研究は、区分線形ニューラルネットワークの力と解釈性を強調し、層状ReLU活性化を通じて入力空間をどのように分割するかを可視化・理解するツールを提供します。
