Defesa de Dissertação de Mestrado de Horácio Brescia Macêdo Henriques, em 29/08/2024, às 10:00 horas, por videoconferência
Link para defesa: https://meet.google.com/gew-thnc-kxw
Exploring Radiance Fields as Surrogate for Ray Traced Effects in Foveated Rendering
Resumo:
A popularização da realidade virtual aumenta a demanda por gráficos mais realistas e com melhor performance. Uma forma de conseguir gráficos melhores em ambientes interativos é através de raytracing em tempo real, uma técnica computacionalmente custosa que simula uma iluminação fisicamente acurada e que graças a novos avanços nas arquiteturas de placas de vídeo podem agora ser obtidas em tempo real. Essas mesmas placas gráficas também permitiram o florescimento de técnicas baseadas em IA para geração de gráficos, em específico de campos de radiância; espaços que retornam cor e densidade de acordo com a direção e a posição da visão do usuário no espaço. Campos de radiância foram inicialmente atingidas com redes neurais através das NeRFs (Neural Radiance Fields), mas trabalhos recentes tiveram sucesso em fornecer campos de radiância em tempo real através da otimização de superfícies gaussianas, obtendo resultados de qualidade comparável e desempenho em tempo real. Este trabalho explora uma estratégia para usar campos de radiância para auxiliar na renderização em tempo real de efeitos atingidos com raytracing de tal forma que seja performática e perceptualmente tão boa quanto renderizar os efeitos na tela inteira para usuários de realidade virtual. Nomeamos esta estratégia de “Foveated Path Culling”(FPC), tendo em vista o uso de princípios de foveated rendering para, de acordo com a distância do centro da visão, não renderizar raios em prol de renderizar um campo de radiância da mesma cena sob as mesmas condições de iluminação. Este trabalho explora também a percepção visual de usuários acerca da qualidade visual das imagens geradas por FPC, comparando através de métricas como SSIM, PSNR e a opinião subjetiva de usuários e obtendo pareceres favoráveis em todas as métricas.
Abstract:
The increasing popularity of virtual reality has led to an increased demand for better graphics with better performance. One way to achieve better graphics in interactive environments is through real-time ray tracing, a computationally expensive technique that simulates physically accurate lighting. Thanks to new advances in graphics card architectures, these effects are now reproduced in real time. These same graphics cards also permitted the flourishing of AI-based techniques for graphic synthesis, e.g. radiance fields, which are spaces that return color and density according to the direction and position of the user’s vision in space. Radiance fields were initially achieved with neural networks through NeRFs (Neural Radiance Fields), but recent work has been successful in providing real-time radiance fields through the optimization of Gaussian surfaces, obtaining results of comparable quality and performance in real time. This work presents a strategy for the use of radiance fields to facilitate real-time rendering of effects achieved through ray tracing. The objective is to achieve a performance and perceptual quality that is on par with rendering the effects in full screen mode for virtual reality users. This strategy is designated as “Foveated Path Culling”(FPC). It employs foveated rendering principles to render rays in accordance with the distance from the center of vision, rather than rendering a field of radiance of the same scene under the same lighting conditions. This work also examines users’ perceptions of the visual quality of images generated by FPC. It compares these images using metrics such as SSIM, PSNR, and users’ subjective opinions, and obtains favorable opinions in all metrics.
Banca examinadora:
Prof. Esteban Walter Gonzalez Clua, UFF – Presidente
Profa. Daniela Gorski Trevisan, UFF
Prof. Creto Augusto Vidal, UFC