Defesa de Dissertação de Mestrado de Miguel Domingos Brito – 21/03/2025, 15h, por videoconferência
Link para defesa: https://meet.google.com/gyr-dpsx-ize
Comparação de Métodos de Explicabilidade que Geram Contrafactuais
Resumo:
Métodos de explicabilidade são utilizados para explicar modelos de Aprendizado de Máquina e tornar a tomada de decisão na classificação dos dados mais transparente, e desta forma, ajuda no desenvolvimento da Inteligência Artifical Ética. Dentre as possíveis formas de explicar um modelo, os métodos contrafactuais se destacam pela maior facilidade de se entender o resultado e por fornecerem um cenário alternativo, úteis para muitas aplicações onde se deseja alterar o resultado da classificação. Os métodos contrafactuaisselecionados foram: DICE, MACE, Growing Spheres e Nearest Neighbor Contrastive Explainer. Para avaliar estes métodos foram selecionados quatro conjuntos de dados e três modelos de aprendizado de máquina do tipo ensemble, a saber: XGBoost, AdaBoost e Random Forest. Os métodos foram avaliados utilizando métricas encontradas na literatura, mas também foi proposta duas novas métricas que são o número médio de alterações dos atributos num conjunto de teste e as variações médias destas alterações. Os resultados mostraram a importância da análise mais aprofundada das alterações feitas nos atributos, onde é possível ver o comportamento dos diferentes métodos. Dos quatro métodos, o DICE e o Growing Spheres se destacaram, e o NNCE obteve a pior performance, sendo o único a não conseguir explicar todas as instâncias propostas. Foi possível observar que a alteração de modelos afeta o modelo Growing Spheres a partir das análises das alterações nos atributos.
Abstract:
Explainability methods are used to explain Machine Learning models and make decision-making in data classification more transparent, thus helping in the development of Ethical Artificial Intelligence. Among the possible ways to explain a model, counterfactual methods stand out for making it easier to understand the result and for providing an alternative scenario, useful for many applications where one wants to change the classification result. The counterfactual methods selected were: DICE, MACE, Growing Spheres and Nearest Neighbor Contrastive Explainer. To evaluate these methods, four data sets and three ensemble-type machine learning models were selected, namely: XGBoost, AdaBoost and Random Forest. The methods were evaluated using metrics found in the literature, but two new metrics were also proposed, which are the average number of attribute changes in a test set and the average variations of these changes. The results showed the importance of a more in-depth analysis of the changes made to the attributes, where it is possible to see the behavior of the different methods. Of the four methods, DICE and Growing Spheres stood out, and NNCE had the worst performance, being the only one that could not explain all the proposed instances. It was possible to observe that the change of models affects the Growing Spheres model from the analysis of the changes in the attributes.
Banca examinadora:
Prof. Flávio Luiz Seixas, UFF – Presidente
Profa. Mariza Ferro, UFF
Profa. Flavia Cristina Bernardini, UFF
Profa. Adriana Santarosa Vivacqua, UFRJ