Перейти к содержанию

Гибрид: прямой проход на процессоре и градиентное дообучение на GPU

Eval (мутации + приспособленность (fitness) forward) может идти на CPU, а периодическое градиентное дообучение (periodic GD) — на CUDA.

run_experiment.apply_cpu_training_overrides(cfg) снимает CUDA-only knobs с эволюции, но сохраняет AMP, если periodic_gd_device="cuda".

Компонент device=cpu periodic_gd_device=cuda
Мутации, cone expand CPU —
Приспособленность forward CPU —
Adam периодическое градиентное дообучение — GPU
кэш Меркла host (нет gpu_resident) park не нужен так же, как на full GPU

Режим скрипта 10: cpu_mut_fwd_gpu_gd vs full_gpu. Script 11 — только CUDA (cone prefetch на host, eval на GPU).

resolve_periodic_gd_device(cfg, evolver_device) выбирает фактический GD-device.

Hybrid CPU/GPU

Script 10: мутации и приспособленность на CPU, Adam на CUDA.