Сравнение NAS
14. Сравнение с конкурирующими методами NAS¶
| Характеристика | CNN-NEAT (данная работа) | DARTS [2] | ENAS [3] | AmoebaNet [5] | Random NAS [4] |
|---|---|---|---|---|---|
| Стратегия поиска | Нейроэволюция | Gradient (differentiable relaxation) | RL + weight sharing | Регуляризованная эволюция | Случайный |
| Пространство поиска | DAG из Conv2d | Ячейки (discrete ops) | Ячейки | Ячейки | Различное |
| Один GPU, часы | да (50 gen × 100 pop ≈ 1–4 ч) | ~4 GPU-дня | ~0.45 GPU-дня | ~3150 GPU-дней | ~1.5 GPU-дня |
| Weight sharing | нет | нет | да | нет | нет |
| Differentiable | нет | да | нет | нет | нет |
| Произвольная топология | да (DAG) | ограничено ячейками | ограничено ячейками | ограничено ячейками | да |
| Инкрементальная сложность | да (NEAT принцип) | нет | нет | нет | нет |
| Специфика | Свёртки на рёбрах DAG | Smooth supernet | Controller LSTM | Evolutionary tournament | Baseline |
Преимущество CNN-NEAT: инкрементальная эволюция начинается с минимальных топологий и постепенно добавляет сложность — это снижает риск попасть в неработающую область пространства поиска.
Ограничение CNN-NEAT: без weight sharing каждый геном обучается независимо → дорого при больших популяциях.