NVIDIAのDLSS 5をVulkanで再実装、オリジナルとビット完全一致を達成
OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network

OpenDLSS-NRは、NVIDIAのDLSS 5 Neural RenderingネットワークをVulkanで再実装したプロジェクトだ。同じ71ブロックのSwin/ViTネットワークをFP8でテンソルコア上に実行し、最終画像だけでなく75の中間ブロック境界もバイト単位で一致する。WebGPU版も独立実装され、テンソルコアなしで同じビット精度を実現。重みはユーザーが用意する必要がある。
正確さは仕様の中にあり、ハードウェアの中にはない。
HNでの議論
122- Lerc
z-bufferを入力として受け取らないのが意外だ。有用な情報を提供してくれると思っていたのに。controlnetのより有用な形式の一つだ。
- TheJCDenton
> オリジナルとビット完全一致
これはどんな魔法だ? 非常に印象的な仕事だ!
- tim-projects
Jensen:もうコーディングする必要はない...
プログラマー:OpenDLSS...
Jensen:待て。そういう意味じゃない!(╯°□°)╯︵┻━┻
- drnick1
> NVIDIAのDLSS 5ニューラルレンダリングネットワークをVulkanで再実装、オリジナルとビット完全一致。
ビット完全一致、どこかで聞いたことがある気がする。
- flohofwoe
1080p解像度でほぼ8msは極めて高コストに思えるが、オリジナルも同じくらいレンダリング予算を食うのだろうか?
- Geee
DLSS 5のトレーニングにはどんなデータセットが使われるのか? まず合成画像ペアを生成する必要があるのか?
- binsquare
このニューラルレンダリングは、どの時点でアートスタイルへの人間のタッチを奪ってしまうのか?
- franticgecko3
重みなしでこれはどれほど有用なのか?
Nvidiaの強みは、スタジオと協力してゲームからトレーニングデータを生成し、ゲームごとにモデルを出荷していることではないのか?
それとも私の知識が古く、彼らは単一の汎用モデルを使っているだけなのか?