Periodic gd
5.4 Периодический градиентный спуск (Periodic GD)¶
Лёгкий Adam-проход по всей популяции каждые \(N_\text{pgd}\) поколений (cnn_neat/periodic_gd.py):
\[
\forall G_i \in \mathcal{P}:\quad \theta_i \leftarrow \theta_i - \eta \nabla_{\theta_i} \mathcal{L}(G_i, \mathcal{D}_\text{train}), \quad E_\text{pgd}\text{ эпох}
\]
Топология заморожена: меняются только веса Conv2d. Цель — улучшить «потенциал» топологии перед следующим раундом эволюции.
| Параметр | Default | Описание |
|---|---|---|
periodic_gd_enabled |
False |
Включить |
periodic_gd_every |
5 |
Каждые N поколений (gen > 0) |
periodic_gd_epochs |
3 |
Эпох Adam на каждый геном |
periodic_gd_batch_size |
256 |
Размер батча |
periodic_gd_lr |
1e-3 |
Learning rate |
Исследуется в Фазах C и D аблационного эксперимента.