Учёные из SFU научили фотографии слушаться источников света как в Blender
Physically Controllable Relighting of Photographs
Метод из статьи на SIGGRAPH 2025 позволяет вставлять в обычный снимок точечные, прожекторные или панорамные источники света и задавать их положение прямо в 3D. Сначала по одному фото восстанавливается цветная меш-модель сцены, затем path-tracing считает приблизительное освещение, а нейросетевой рендерер доводит результат до фотореализма. Обучение самоподнадзорное, на реальных фотографиях, без эталонных пар.
Наш метод — значительный шаг к тому, чтобы перенести явный физический контроль над светом, доступный в типичных инструментах 3D-графики вроде Blender, на редактирование освещения реальных фотографий.
- Tepix
Это довольно близко к магии. Респект!
- amelius
Круто! И видео было довольно интересным!
Погодите... патентная заявка? Исследование на государственные деньги? Фу! Сразу минус.
- vonneumannstan
Или я ошибаюсь, полагая, что это уже можно было сделать с помощью диффузионных моделей?