Нейросетевые текстуры обучают без backprop: только Evolution Strategies
Fitting Neural Textures and PBR Material Maps with ES (No Backprop)
Рич Гелдер выпустил компактный C++ эксперимент neural_texture_es2: RGB-изображение или целый PBR-материал кодируется общей латентной текстурой и крошечным MLP-декодером, которые обучаются исключительно Evolution Strategies — без backprop и autodiff. Для латента 128×128×8 достигнуто 32.2 dB при 3.27 bpp, а материал из четырёх карт сжимается до 0.66 bpp на текстуру. Ключевая идея — поксельная атрибуция потерь по билинейному футпринту, снижающая дисперсию ES.
Каждое изменение потерь пикселя относится только к тем латентным текселам, которые считываются его билинейным фильтром, поэтому одна пара антитетических декодирований даёт одновременные локальные ES-оценки по всему латенту, исключая члены потерь, которые не могут зависеть от данного тексела.