Linearity theorem

Теорема 3.1 (линейность тела)

При activation=None отображение \(\mathbf{I} \mapsto \mathbf{F}\) является аффинным по входу \(\mathbf{I}\) при фиксированных параметрах \(\theta\).

Доказательство

Conv2d линеен по \(\mathbf{X}\); AdaptiveAvgPool2d линеен; merge-узел — среднее линейных операторов. Суперпозиция конечного числа линейных операторов линейна. \(\square\)

Следствие для GBM

При activation=None признаки \(\mathbf{F} = \text{flatten}(G(\mathbf{X}))\) аффинны по \(\mathbf{X}\). GBM строит нелинейные разделяющие поверхности, компенсируя линейность генома.

3.12 Линейность тела и роль нелинейностей

Утверждение: при activation=None (baseline) тело CNN-NEAT — линейный оператор по входному тензору \(\mathbf{I}\) (при фиксированной топологии и фиксированных весах).

Доказательство: каждый Conv2d — линейный оператор; AdaptiveAvgPool2d — линейная операция (усреднение с фиксированными коэффициентами); сумма/среднее — линейная операция. Суперпозиция линейных операторов линейна. ∎

Следствие: без нелинейностей выразительная мощность тела ограничена классом аффинных функций от входа. Единственная нелинейность в стандартном pipeline — sigmoid в binary head.

Роль активаций (activation ∈ {relu, gelu, tanh, leaky_relu}): при включении активации после каждого Conv2d тело становится нелинейным, что потенциально увеличивает выразительную мощность и позволяет эволюции находить более сложные признаки. Это исследуется в аблационном эксперименте (Фаза A).

---