Uma Abordagem para Modelagem e Captura de Proveniência em Sistemas de Análise Visual Interativa
Resumo:
A crescente disponibilidade de dados impulsionou o desenvolvimento de sistemas de análise visual interativa para auxiliar especialistas de domínio na exploração e na extração de conhecimento. Para facilitar a construção dessas soluções, o uso de frameworks baseados em fluxos de dados (dataflows) tem se destacado, permitindo o registro da proveniência estrutural e dos artefatos gerados (p-prov e r-prov). No entanto, esses sistemas ainda falham em capturar as interações dinâmicas do usuário com a interface gráfica, resultando na perda da cadeia de raciocínio analítico e das hipóteses formuladas durante a exploração. Este cenário torna-se ainda mais desafiador com a recente adoção de Modelos de Linguagem de Larga Escala (LLMs) como mediadores dessas interações. Se, por um lado, o comportamento probabilístico desses agentes dificulta a auditoria, por outro, o uso de comandos em linguagem natural oferece a oportunidade de capturar a intenção explícita do usuário. Para preencher essa lacuna, esta pesquisa propõe o desenvolvimento de uma arquitetura semântica e relacional, fundamentada no padrão W3C PROV, para a captura da proveniência de interação (i-prov). O trabalho abrange a definição de uma taxonomia de interações, a estruturação de um modelo conceitual, e sua avaliação inicial em ecossistemas de visualização (como os frameworks Curio e Trrack) e subsequente apresentamos uma proposta de expansão para englobar sistemas híbridos mediados por LLMs. Como resultado, espera-se garantir um histórico exploratório interpretável, preservando a rastreabilidade do processo analítico.
Abstract:
The increasing availability of data has driven the development of interactive visual analytics systems to assist domain experts in exploring and extracting knowledge. To facilitate the construction of these solutions, the use of dataflow-based frameworks has gained prominence, enabling the tracking of structural provenance and generated artifacts (p-prov and r-prov). However, these systems still fail to capture dynamic user interactions with the graphical interface, resulting in the loss of the analytical reasoning chain and the hypotheses formulated during exploration. This scenario becomes even more challenging with the recent adoption of Large Language Models (LLMs) as mediators of these interactions. While the probabilistic behavior of these agents complicates auditing, the use of natural language commands offers the opportunity to capture explicit user intent. To bridge this gap, this research proposes the development of a semantic and relational architecture, based on the W3C PROV standard, for capturing interaction provenance (i-prov). The work encompasses the definition of an interaction taxonomy, the structuring of a conceptual model, and its initial evaluation in visualization ecosystems (such as the Curio and Trrack frameworks), subsequently presenting a proposal for expansion to encompass hybrid systems mediated by LLMs. As a result, it is expected to ensure an interpretable exploratory history, preserving the traceability of the analytical process.
Banca examinadora:
Prof. Daniel Cardoso Moraes de Oliveira, UFF – Presidente
Prof. Marcos de Oliveira Lage Ferreira, UFF
Prof. Marcos Vinicius Naves Bêdo, UFF
Profa. Marta Lima de Queirós Mattoso, UFRJ
Prof. Fábio Markus Nunes Miranda, University of Illinois Chicago