Defesa de Tese de Doutorado de Raphael Silva de Abreu, em 12/07/2024, às 11:30 horas, por videoconferência
Link para defesa: meet.google.com/tjj-tqbd-wrw
Semi-automatic Authoring of Sensory Effects in 360º Videos
Resumo:
Esta tese aborda o desafio de autoria de experiências multissensoriais em vídeos 360°. O processo manual de sincronizar efeitos sensoriais, como vento ou calor, com o conteúdo audiovisual é demorado e propenso a erros. Para solucionar isso, foi proposto um método de autoria semi-automática que combina algoritmos de reconhecimento de mídia para identificar automaticamente elementos-chave nos vídeos, sugerir efeitos sensoriais correspondentes e também permitir o refinamento humano para garantir que os resultados atendam às preferências individuais. Uma arquitetura genérica para reconhecimento de efeitos sensoriais em vídeos 360° foi desenvolvida, que divide o problema de reconhecimento em partes menores, processa cada parte independentemente com módulos especializados e combina os resultados. Quatro módulos foram implementados, cada um com algoritmos de reconhecimento baseados em redes neurais profundas ou visão computacional clássica. Foi desenvolvida uma ferramenta web de autoria, SensorySynch360, que incorpora essa abordagem, permitindo que usuários realizem autoria semi-automática de efeitos sensoriais em seus vídeos 360°. Através de estudos com usuários, confirmamos que o método semi-automático não apenas reduz o tempo e o esforço necessários para a autoria de efeitos sensoriais, mas também mantém a usabilidade e a experiência do usuário.
Abstract:
This thesis addresses the challenge of authoring multisensory experiences in 360° videos. The manual process of synchronizing sensory effects, such as wind or heat, with audiovisual content is time-consuming and error-prone. To address this, we propose a semi-automatic authoring method, which combines media recognition algorithms to automatically identify key elements in videos, suggest corresponding sensory effects, and also enable human refinement to ensure results meet individual preferences. A generic architecture for recognizing sensory effects in 360° videos was developed, which divides the recognition problem into smaller parts, processes each part independently with specialized modules, and combines the results. Four modules were implemented, each with recognition algorithms based on deep neural networks or classical computer vision. We developed a web authoring tool, SensorySynch360, that incorporates this approach, allowing users to perform semi-automatic authoring of sensory effects in their 360° videos. Through user studies, we confirmed that our semi-automatic method not only reduces the time and effort required for sensory effects authoring, but also maintains usability and user experience.
Banca examinadora:
Profa. Débora Christina Muchaluat Saade, UFF – Presidente
Prof. Célio Vinicius Neves de Albuquerque, UFF
Prof. Igor Monteiro Moraes, UFF
Prof. Joel André Ferreira dos Santos, Cefet/RJ
Prof. Gheorghita Ghinea, Brunel University London
Prof. Rudinei Goularte, USP