Сравнение с методами поиска архитектур¶
| Характеристика | CNN-NEAT (данная работа) | DARTS [2] | ENAS [3] | AmoebaNet [5] | Random NAS [4] |
|---|---|---|---|---|---|
| Стратегия поиска | Нейроэволюция | Градиент (дифференцируемая релаксация) | Обучение с подкреплением и общие веса | Регуляризованная эволюция | Случайный |
| Пространство поиска | Граф из Conv2d |
Ячейки (дискретные операции) | Ячейки | Ячейки | Различное |
| Один GPU, часы | да (50 поколений × популяция 100, около 1–4 ч) | около 4 GPU-дней | около 0,45 GPU-дня | около 3150 GPU-дней | около 1,5 GPU-дня |
| Общие веса | нет | нет | да | нет | нет |
| Дифференцируемый поиск | нет | да | нет | нет | нет |
| Произвольная топология | да (граф) | ограничено ячейками | ограничено ячейками | ограничено ячейками | да |
| Постепенное усложнение | да (принцип NEAT) | нет | нет | нет | нет |
| Особенность | Свёртки на рёбрах графа | Гладкая суперсеть | Контроллер LSTM | Эволюционный турнир | Базовая линия |
Преимущество CNN-NEAT: инкрементальная эволюция начинается с минимальных топологий и постепенно добавляет сложность — это снижает риск попасть в неработающую область пространства поиска.
Ограничение CNN-NEAT: без общих весов каждый геном обучается независимо, и большие популяции стоят дорого.