OpenDLSS воссоздаёт нейросеть NVIDIA DLSS 5 на Vulkan с побитовой точностью
OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network

Проект OpenDLSS-NR от maanHimself представляет собой независимую реализацию нейросети DLSS 5 Neural Rendering от NVIDIA на Vulkan. Сеть из 71 блока Swin/ViT с FP8 на тензорных ядрах воспроизводится побитово: совпадают не только финальные изображения, но и все 75 промежуточных границ блоков. В комплекте — браузерный порт на WebGPU, демо на Filament и инструменты для проверки точности. Требуются веса модели, которые пользователь предоставляет самостоятельно.
Промежуточные результаты тоже совпадают, а не только финальное изображение: все 75 границ блоков, байт в байт.
- Lerc
Меня довольно удивляет, что он не принимает z-буфер на вход. Я бы подумал, что это дало бы полезную информацию, это одна из наиболее полезных форм controlnet.
- TheJCDenton
> побитово точно относительно оригинала
Что это за колдовство? Очень впечатляющая работа!
- tim-projects
Дженсен: Никому больше не нужно программировать...
Программист: OpenDLSS...
Дженсен: Подожди. Не так! (╯°□°)╯︵┻━┻
- drnick1
> Реализация нейронной сети рендеринга NVIDIA DLSS 5 на Vulkan, побитово точная относительно оригинала.
Бит-в-бит идентичная, клянусь, я где-то это уже слышал.
- flohofwoe
Почти 8 мс при разрешении 1080p кажется чрезвычайно дорогим, оригинал тоже так сильно съедает бюджет рендеринга?
- Geee
Какой набор данных используется для обучения DLSS 5? Им нужно сначала генерировать синтетические пары изображений?
- binsquare
В какой момент этот нейронный рендеринг лишает художественные стили человеческого прикосновения?
- franticgecko3
Насколько это полезно без весов?
Разве не в том фишка Nvidia, что они работают со студиями, чтобы генерировать обучающие данные из игры, а затем выпускают модель для каждой игры?
Или мои знания устарели, и они просто используют одну обобщённую модель?