Цель и задачи исследования¶
Актуальность¶
Классификация изображений традиционно требует ручного проектирования архитектуры нейронной сети. Автоматический поиск архитектур (NAS) систематизирует этот процесс. Среди эволюционных методов выделяется NEAT [1], одновременно оптимизирующий топологию и веса.
Параллельно развивались ансамблевые методы — градиентный бустинг (GBM) [13], включая XGBoost, LightGBM и CatBoost, эффективные на векторных признаках, извлечённых свёрточными сетями.
Новизна: сочетание нейроэволюции с GBM для поклассовой специализации признаков в опубликованной литературе не исследовалось.
Цель¶
Разработка, реализация и экспериментальное исследование гибридного метода CNN-NEAT + GBM для автоматического поиска архитектур свёрточных нейросетей с последующим ансамблевым дообучением на задаче классификации изображений CIFAR-10.
Задачи¶
- Разработать математическую модель генома CNN-NEAT как DAG с операторами мутации, скрещивания и отбора.
- Разработать семифазный гибридный пайплайн: эволюция → экстракция признаков → GBM → отбор → ансамблирование → fine-tune → сравнение с ResNet.
- Реализовать программный комплекс на PyTorch с GPU-оптимизациями.
- Провести аблационное исследование гиперпараметров и архитектурных компонентов.
- Сравнить результаты с ResNet-18/34/50 (from scratch) на CIFAR-10.
Постановка задачи¶
Задача классификации: CIFAR-10, \(K = 10\) классов, изображения \(\mathbf{x} \in \mathbb{R}^{3 \times 32 \times 32}\).
Бинарная подзадача (Фаза 1): для каждого класса \(k \in \{0,\ldots,9\}\) решается задача «один против всех» (OvR):
Многоклассовая задача (Фазы 5–7):