NVIDIA DLSS 3.5 подобрява Ray Tracing с AI

NVIDIA е пионер в областта на хардуера и софтуера за изкуствен интелект, който задвижва невероятни пробиви във всяка индустрия. NVIDIA DLSS, един от първите им големи AI алгоритми, беше представен преди пет години. Неговата цел бе да повишава производителността с помощта на невронно рендиране, което е възможно благодарение на тензорните ядра във всеки графичен процесор GeForce RTX.

Още от първоначалното си пускане, AI моделите зад DLSS се обучават без да спират, което води до все по-добри резултати и иновации, допълнително ускоряващи производителността: 

Днес отново усъвършенстват технологията за рендериране с представянето на NVIDIA DLSS 3.5, включваща Ray Reconstruction - нов модел с изкуствен интелект, който създава изображения с по-качествено трасиране на лъчи за интензивни игри и приложения. 

Alan Wake 2, Cyberpunk 2077, Cyberpunk 2077: Phantom Liberty, Portal with RTX, Chaos Vantage, D5 Render, и NVIDIA Omniverse добавят поддръжка на NVIDIA DLSS 3.5 тази есен. 

Вижте сами предимствата в този ексклузивен нов поглед към Cyberpunk 2077: Phantom Liberty, визуализиран с DLSS 3.5 и Full Ray Tracing: 

"Благодарение на интелигентната технология на DLSS 3.5, подхранвана от мощта на изкуствения интелект за рендиране, можете да изживеете Cyberpunk 2077: Phantom Liberty с по-чисти изображения, по-точно осветление и възможно най-висока честота на кадрите." - Якуб Кнапик, вицепрезидент на отдел "Изкуство", глобален арт директор, CD PROJEKT RED

За да оценим ползите от реконструкцията на лъчи, нека разгледаме как работи трасирането им.

Първо, игровият енджин генерира геометрията и материалите на сцената, които имат физически атрибути, влияещи на външния им вид и на начина, по който светлината взаимодейства с тях. След това от гледната точка на камерата се "изстрелва" извадка от лъчи, които определят свойствата на източниците на светлина в сцената и как тя реагира, когато се сблъска с материалите. Например, ако лъчите се ударят в огледало, се получават отражения. 

ПРОБЛЕМЪТ с DLSS досега:

Изпращането на лъчи към всеки пиксел на екрана е твърде трудоемко от изчислителна гледна точка, дори за офлайн рендери, които изчисляват сцени в продължение на няколко минути или дори часове. Затова се използва само малка част - изстрелват се нисък брой лъчи в различни точки на сцената за представителна извадка от осветлението, отражателната способност и сенките в нея.

Крайният резултат е зашумено, петнисто изображение с пропуски, което обаче е достатъчно добро, за да се установи как трябва да изглежда сцената при трасиране на лъчите. 

За да запълнят липсващите пиксели, които не са били проследени от лъчите, ръчно настроените денойзери (обезшумители за изображение) използват два различни метода, като временно натрупват пиксели през няколко кадъра и ги интерполират в пространството, за да ги смесят със съседните пиксели. Чрез този процес зашуменият необработен краен вариант се превръща в изображение с лъчева траектория. 

Тези денойзери се настройват и обработват ръчно за всеки тип лъчево проследявано осветление в сцената, което усложнява и утежнява процеса на разработване, намалявайки честотата на кадрите в игри с висока степен на лъчево проследяване, в които множество денойзери работят едновременно, за да се постигне максимално качество на изображението.

Всеки ръчно настроен денойзер натрупва пиксели от няколко кадъра, за да увеличи детайлите, като на практика краде лъчи от миналото, но с риск да въведе остатъчни изображения (ghosting), да премахне динамични ефекти и да намали качеството на други. Той също така интерполира съседни пиксели и смесва тази информация заедно, но отново с риск да смесва или твърде много, или недостатъчно детайлна информация и да създава нееднородни светлинни ефекти. 

Увеличаването на мащаба (upscaling) е последният етап от тръбопровода за осветяване с проследяване на лъчите (ray-traced lighting pipeline) и е от ключово значение за възпроизвеждането на най-детайлните и взискателни игри с висока честота на кадрите. Но с премахването или намаляването на качеството на ефектите, ограниченията на ръчно настроените денойзери се увеличават, като премахват фините детайли (наричани високочестотна информация), които ъпскейлърите използват, за да извеждат ясно и чисто изображение. 

РЕШЕНИЕТО:

NVIDIA DLSS 3.5. Последната иновация на Nvidia, Реконструкция на лъчи (Ray Reconstruction), е част от подобрен невронен рендер с изкуствен интелект, който подобрява качеството на лъчевото изображение за всички графични процесори GeForce RTX, като заменя ръчно настроените денойзери с обучена от суперкомпютър на NVIDIA AI-мрежа, която генерира пиксели с по-високо качество между дискретизираните лъчи.

Обучен с 5 пъти повече данни от DLSS 3, DLSS 3.5 разпознава различни лъчеви ефекти, за да взема по-интелигентни решения за използване на времеви и пространствени данни и да запазва високочестотна информация за висококачествено мащабиране.

Реконструкцията на лъчи, обучена с помощта на офлайн рендерирани изображения, които изискват много повече изчислителна мощност, отколкото може да бъде осигурена по време на игра в реално време, разпознава моделите на осветление от данните за обучение, като например глобалното осветление (global illumination) или оклузия на околната среда (ambient occlusion), и ги пресъздава в играта, докато играете. Резултатите са по-добри от тези при използването на ръчно настроени денойзери.

В Portal with RTX при изключен DLSS, денойзерът се бори с пространствената интерполация, при която не смесва достатъчно пиксели, създавайки ефект на петна. Освен това той не натрупва достатъчно добри пиксели от предишни кадри и резултатът е визуален ефект наподобяващ мараня. С DLSS 3.5 той разпознава определени модели, свързани с отраженията, и поддържа изображенията стабилни, като натрупва точни пиксели, докато смесва съседните, за да генерира висококачествени отражения.

В сцената от Cyberpunk 2077 по-долу, неточното осветление на фаровете, което обгражда автомобила, е резултат от ръчно настроения денойзер, който привлича неточни светлинни ефекти от предишни кадри. DLSS 3.5 генерира точно осветлението, така че можете да различите лъча на фаровете и да видите как светлината се отразява доста по-реалистично върху бордюра пред автомобила.

Улиците на Night City в Cyberpunk 2077 са изпълнени с отражения от въртящи се билбордове и неонови светлини. С активиране на DLSS3.5, качеството и яснотата им се подобрява значително: 

Творческите приложения имат голямо разнообразие от съдържание, което е трудно за традиционните денойзери, тъй като, както споменахме по-горе, те изискват ръчна настройка за всяка сцена. В резултат на това при преглед на съдържанието се получава неоптимално качество на изображението. С DLSS 3.5 невронната мрежа с изкуствен интелект е в състояние да разпознава голямо разнообразие от сцени, като създава висококачествени изображения по време на предварителния преглед още преди да се отделят часове за окончателно рендиране. D5 Render, водещо в бранша приложение за архитекти и дизайнери, ще се предлага с DLSS 3.5 тази есен. 

"Интеграцията на DLSS Ray Reconstruction с D5 Render бележи третото ни техническо сътрудничество с NVIDIA след DLSS SR и FG, което допълнително подобрява качеството на изображението на възможностите за рендиране в реално време на D5 Render. Очакваме с нетърпение да проучим повече възможности с NVIDIA в бъдеще." - Джеси Хуанг, вицепрезидент, ръководител маркетинг, D5 Render

С DLSS 3.5 Nvidia предоставя по-бързо и по-добро изживяване като безплатен ъпгрейд, който подобрява вече наличните технологии в любимите ви игри.

Благодарение на RTX на практика разполагате с мощта на 2 компютъра във вашия PC или лаптоп - първият е суперкомпютър на NVIDIA, който обучава DLSS AI модела с милиарди точки данни, за да повиши производителността и качеството на изображението. И вторият - вашата графична карта GeForce RTX, със специални тензорни ядра за изпълнение на AI модела в реално време, плюс специализирани RT ядра, иновации като Shader Execution Reordering и суровата мощност на всеки графичен процесор RTX, осигуряваща най-доброто в класа трасиране на лъчи.

В Cyberpunk 2077 красивото пълно трасиране на лъчи, осигурено от режима Overdrive, не би могло да се постигне безпроблемно без силата на AI. DLSS Super Resolution (SR), реконструира 4K изображение от такова с по-ниска резолюция, осигурявайки драстично увеличение на производителността и страхотно качество на картината.

За да увеличи още повече производителността в най-взискателните, изпълнени с екшън моменти, активираме DLSS Frame Generation (FG) на графичните карти от серията GeForce RTX 40, който анализира последователни кадри, за да създаде нови за увеличаване на гладкостта при игра.

А сега NVIDIA DLSS 3.5 допълнително подобрява качеството на изображението за лъчеви ефекти, като заменя множество ръчно настроени денойзери с Ray Reconstruction (RR).

С компиниране на Super Resolution, Feame Generation, и Ray Reconstruction, DLSS3.5 увеличава кадрите за секунда в Cyberpunk 2077 общо 5 пъти, спрямо рендирането при 4K DLSS OFF.

Обърнете внимание, че в игрите с множество ефекти, проследявани с лъчи, може да има няколко деноайзера, които се заменят с една невронна мрежа за реконструкция на лъчи. В тези случаи Ray Reconstruction също може да повиши производителността. В заглавия с по-слабо интензивно трасиране на лъчи и по-малко денойзери Ray Reconstruction ще подобри качеството на изображението, въпреки че може да има лек спад в производителността.

Източник: NVIDIA