Backprop 없이 Evolution Strategies로 Neural Texture와 PBR Material을 학습하다
Fitting Neural Textures and PBR Material Maps with ES (No Backprop)
작은 C++ 실험이 RGB 이미지 또는 하나의 material을 구성하는 최대 4개의 동일 크기 텍스처를 공유 저해상도 latent texture와 소형 MLP decoder로 인코딩하고, 이를 전적으로 Evolution Strategies만으로 학습한다. Backprop도, autodiff도, 학습 프레임워크도 사용하지 않는다. 128×128×8 latent는 32.2dB를 기록했고, 4-layer PavingStones070 material은 텍스처당 0.66bpp로 공동 학습됐다.
여기서는 각 texel의 loss 차이를 자신의 bilinear footprint 안에 있는 픽셀에 대해서만 측정하므로, 다른 약 16k개 texel에서 오는 노이즈는 평균화되지 않고 버려진다.