Defesa de Dissertação de Mestrado de Leonardo Vieira Soares Ferreira, em 04/12/2023, às 15:00 horas, por videoconferência
Link para defesa: meet.google.com/pby-mbno-tvj
Reveal: Exploração Visual de Grandes Coleções Multimodais Orientada por Proveniência
Resumo:
O rápido avanço da tecnologia tem aumentado a transmissão de informações por meio de vários tipos de mídia, incluindo vídeo, áudio, imagens e texto. Agências de notícias utilizam diferentes canais, como rádio, TV e jornais, para comunicar histórias. Os meios de educação e as artes também abraçam múltiplos tipos de mídia para aprimorar métodos de ensino e expressão criativa. Com a crescente fusão de mídias, houve uma explosão de coleções digitais contendo conteúdo diversificado, potencialmente abrigando conhecimento histórico valioso sobre a humanidade. No entanto, dar sentido a esses dados multimodais ainda é um desafio, exigindo uma abordagem humana, uma vez que métodos automáticos lutam para identificar tópicos subjetivos e relações entre diferentes conteúdos. Para enfrentar isso, introduz-se neste trabalho o REVEAL, um sistema inovador projetado para facilitar a exploração visual de grandes coleções de textos e imagens, levando em consideração o conceito de proveniência. Esta interface gráfica amigável permite que analistas identifiquem relações entre diferentes modalidades por meio da exploração visual, capacitando uma análise mais eficaz e eficiente. Além disso, também é estabelecido neste trabalho uma taxonomia para interações de exploração de dados multimodais. Através de dois estudos de caso convincentes, demonstra-se a eficácia do REVEAL e o uso da taxonomia estabelecida para avançar na análise de dados multimodais e apoiar a tomada de decisões. Além dos estudos de caso, valida-se o potencial do sistema aplicando-o a um conjunto de dados de obras de artes, mostrando sua versatilidade na manipulação de diferentes conjuntos de dados que combinam imagens e textos. As contribuições englobam um sistema interativo de exploração multimodal visual e adaptável a várias áreas, uma técnica de ponta para navegação de informações usando um grafo interativo de exploração e evidências convincentes da eficácia do sistema.
Abstract:
The rapid advancement of technology has led to the conveyance of information through various media types, including video, audio, images, and text. News agencies employ different channels such as radio, TV, and newspapers to communicate stories. Education and the arts also embrace multiple media types to enhance teaching methods and creative expression. With the increasing fusion of media, there has been an explosion of digital collections containing diverse content, potentially harboring valuable historical knowledge about humanity. However, making sense of such multimodal data remains challenging, necessitating a human-in-the-loop approach as automatic methods struggle with identifying subjective topics and relations among different contents. To address this, \system is introduced, a novel system designed to facilitate the visual exploration of large collections of texts and images while considering provenance. The user-friendly graphical interface enables analysts to identify relationships between different modalities using visual exploration, empowering more effective and efficient analysis. Moreover, it also establishes a taxonomy for multimodal data exploration interactions. Through two compelling case studies, the efficacy of \system and the use of the established taxonomy in advancing multimodal data analysis and supporting informed decision-making is demonstrated. In addition to the case studies, the system’s potential is validated by applying it to an arts dataset, showcasing its versatility in handling different datasets that combine images and texts. The contributions encompass an interactive visual exploration system adaptable across various fields, a cutting-edge technique for information navigation utilizing an interactive exploration graph, and compelling evidence of the system’s effectiveness.
Banca examinadora:
Prof. Marcos de Oliveira Lage Ferreira, UFF – President
Prof. Aline Marins Paes Carvalho, UFF
Prof. Daniel Cardoso Moraes de Oliveira, UFF
Prof. Fábio Markus Nunes Miranda, University of Illinois Chicago