Avaliação de Explicações Geradas por Modelos de Linguagem em Sistemas de Recomendação
Resumo:
Sistemas de recomendação têm como principal função sugerir itens aos usuários com base em seus perfis de consumo e preferências. Ao fornecer explicações sobre o racional por trás do sistema de recomendação, esclarecendo seu funcionamento, o sistema se torna mais transparente para o usuário e contribui para o aumento de sua confiança nas recomendações ofertadas. Uma abordagem de tornar o sistema de recomendação explicável é gerar explicações em linguagem natural, com o auxílio de modelos de linguagem. Porém, a avaliação dessas explicações permanece um desafio, especialmente em relação à influência das informações disponibilizadas ao modelo sobre o conteúdo gerado e aos possíveis impactos dessas explicações sobre os usuários e os sistemas de recomendação. Nesta tese, propõe-se a avaliação de explicações geradas por modelos de linguagem, focando em sistemas de recomendação. A proposta investiga como informações disponibilizadas para geração das explicações podem modificar as explicações produzidas. Para isto, é proposta a métrica de Sensitividade, onde é mensurado como alterações observadas nas explicações estão relacionadas às alterações nas informações fornecidas como entrada ao modelo de linguagem. A avaliação é realizada considerando diferentes modelos de linguagem, templates de prompts e métodos de similaridade entre as explicações. Resultados experimentais preliminares indicam que mudanças no contexto impactam diretamente em mudanças nas explicações. Os resultados também indica, a influência do método de similaridade nos valores obtidos pela métrica, destacando a importância da escolha da representação utilizada na avaliação das explicações. Como continuidade da pesquisa, serão avaliados outros aspectos da explicação, levando em consideração sua qualidade e fidelidade em relação às recomendações. Será avaliado sua influência sobre a confiança no sistema, além da investigação da presença e propagação de vieses nas explicações e sua possível relação com a formação ou o reforço de filter bubbles. Desta forma, a tese busca estabelecer avaliações mais abrangentes em relação a explicações geradas por modelos de linguagem em sistemas de recomendação.
Abstract:
Recommender systems have as their primary function the suggestion of items to users based on their consumption profiles and preferences. By providing explanations about the rationale behind the recommendation system and clarifying its functioning, the system becomes more transparent to users and contributes to increasing their confidence in the recommendations provided. One approach to making recommender systems explainable is to generate natural language explanations with the aid of language models. However, evaluating these explanations remains a challenge, particularly regarding the influence of the information provided to the model on the generated content and the potential impacts of these explanations on users and recommender systems. In this thesis, we propose the evaluation of explanations generated by language models, focusing on recommender systems. The proposed approach investigates how information provided for the generation of explanations can modify the explanations produced. To this end, we propose a metric called Sensitivity, which measures how observed changes in explanations are related to changes in the information provided as input to the language model. The evaluation considers different language models, prompt templates, and similarity methods for comparing the explanations. Preliminary experimental results indicate that changes in the context are associated with changes in the explanations. The results also indicate that the similarity method influences the values obtained by the metric, highlighting the importance of the choice of representation used to evaluate the explanations. As a continuation of this research, other aspects of explanations will be evaluated, taking into account their quality and fidelity to the recommendations. Their influence on users’ confidence in the system will also be investigated, as well as the presence and propagation of biases in the explanations and their possible relationship with the formation or reinforcement of filter bubbles. Thus, this thesis aims to establish more comprehensive approaches for evaluating explanations generated by language models in recommender systems.
Banca examinadora:
Prof. Antonio Augusto de Aragão Rocha, UFF – Presidente
Profa. Aline Marins Paes Carvalho, UFF
Profa. Flavia Cristina Bernardini, UFF
Prof. Leonardo Chaves Dutra da Rocha, UFSJ