Обзор литературы¶
Структурированный обзор источников, лежащих в основе CNN-NEAT и гибридного конвейера.
2.1 Эволюционные алгоритмы¶
2.1.1 Генетические алгоритмы (GA)¶
Holland [19] формализовал GA как вероятностный поиск на основе отбора, скрещивания и мутации. Функция приспособленности (fitness) \(f : \{0,1\}^L \to \mathbb{R}\) направляет эволюцию. Теорема о схемах (Schema Theorem) объясняет комбинирование частичных решений.
Недостатки: чувствительность к кодированию, преждевременная сходимость, сложность с хромосомами переменной длины (актуально для NAS).
2.1.2 Генетическое программирование (GP)¶
Koza [21] обобщил GA на синтаксические деревья. CGP [22] — сетка вычислительных узлов; применялся для эволюции CNN Suganuma et al. [23].
2.1.3 Эволюционные стратегии (ES)¶
Rechenberg, Schwefel; систематизация Beyer & Schwefel [24]. CMA-ES Hansen [25] адаптирует ковариационную матрицу мутации. OpenAI ES [26] — параллельное обучение без обратное распространение ошибки (backprop), но без топологического поиска.
2.2 Нейроэволюция¶
| Метод | Авторы | Ключевая идея |
|---|---|---|
| NEAT [1] | Stanley & Miikkulainen, 2002 | Топология + веса; номера инноваций (innovation numbers) |
| HyperNEAT [30] | Stanley et al., 2009 | CPPN-генерация весов |
| CoDeepNEAT [31] | Miikkulainen et al., 2017 | Иерархическая эволюция модулей |
| WANN [32] | Gaier & Ha, 2019 | Эволюция весов-агностичных топологий |
CNN-NEAT расширяет NEAT: каждое ребро DAG — Conv2d с детерминированной геометрией.
2.3 Поиск архитектур нейронных сетей¶
| Подход | Представители | Характеристика |
|---|---|---|
| RL-based | NASNet [33], ENAS [3] | Контроллер LSTM + общие веса (weight sharing) |
| Differentiable | DARTS [2], ProxylessNAS [34] | Релаксация дискретного выбора |
| Evolutionary | AmoebaNet [5], Large-scale Evolution [51] | Турнирный отбор |
| Random | Random NAS [4] | Baseline для сравнения |
2.4 Градиентный бустинг¶
| Алгоритм | Ссылка | Особенности |
|---|---|---|
| AdaBoost | Freund & Schapire [14] | Взвешивание ошибочных примеров |
| GBM | Friedman [13] | Градиентный спуск в пространстве функций |
| XGBoost | Chen & Guestrin [16] | Регуляризация, эффективная реализация |
| LightGBM | Ke et al. [17] | GOSS, EFB |
| CatBoost | Prokhorenkova et al. [18] | Ordered boosting |
2.5 CNN-признаки + классические ML¶
Razavian et al. [38] показали, что признаки предобученных CNN универсальны. Комбинации CNN + RF/SVM/GBM активно применяются при ограниченных данных.
Связь с данной работой: GBM компенсирует линейность тела CNN-NEAT (см. Теорема 3.1).
2.6 Мультиклассовая классификация¶
| Схема | Формула | Применение в работе |
|---|---|---|
| OvR (One-vs-Rest) | \(K\) бинарных классификаторов | Фазы 1–5 |
| OvO | \(\binom{K}{2}\) классификаторов | — |
| Softmax | \(p_k = e^{z_k}/\sum_j e^{z_j}\) | Фазы 5–6 |
2.7 ResNet и сильные результаты на CIFAR-10¶
He et al. [37] — ResNet с skip-connections. WideResNet [42], DenseNet [44] — улучшения для CIFAR-10. Фаза 7 сравнивает гибридный конвейер с ResNet-18/34/50.
Полный список источников — Библиография.