Defesa de Proposta de Tese de Doutorado de Igor Garcia Ballhausen Sampaio, em 02/09/2024, às 09:00 horas, por videoconferência
Link para defesa: meet.google.com/gbh-ttxc-kws
Artificial Intelligence for Fraud Detection in Public Procurement: An Ethical Approach
Resumo:
A deteção de fraudes nos Contratos Públicos (PP) é um desafio crítico que pode ser mitigado através da aplicação de técnicas de Inteligência Artificial (IA). Um problema da aplicação da IA no cenário PP é a falta de atenção aos aspectos éticos. Embora existam pesquisas neste campo, muitas vezes ignoram as considerações éticas cruciais necessárias para uma implementação confiável. Este trabalho tem como objetivo estudar como integrar aspectos éticos de IA em estimadores baseados em Machine Learning usados para detecção de fraudes em PP, considerando também a falta ou incerteza de rótulos de fraude nos dados e a incerteza nas etapas do processo de um PP. Para tanto, realizamos inicialmente uma revisão sistemática da literatura Revisão Sistemática da Literatura (RSL). Além disso, conduzimos experimentos utilizando técnicas de explicabilidade para diagnosticar fraudes em PP. Observamos que diagnosticar fraudes é um processo muito complexo, exigindo não apenas precisão técnica, mas também a consideração de fatores éticos para garantir todos os princípios éticos fundamentais nas decisões algorítmicas, o que apresentou muitas limitações neste sentido. Portanto, para atingir o objetivo desta tese, propomos um framework para ajudar os cientistas de dados a construir detectores de fraude ou estimadores de probabilidade de fraude, incorporando aspectos éticos no cenário de apoio aos analistas de PP no processo de detecção de fraudes em PPs. Durante a revisão da literatura, aplicamos análise temática para identificar e categorizar os aspectos éticos relevantes para o diagnóstico de fraudes. O resultado foi um conjunto abrangente de diretrizes éticas adaptadas ao contexto da detecção de fraudes de PP. Para construir a estrutura, planejamos (i) identificar indicadores de risco de fraude com atores do Processo de Contratações Públicas (PPP) no cenário brasileiro para incorporá-los à estrutura; (ii) investigar técnicas de aprendizado de máquina que abordem a incerteza no processo de detecção de fraudes; e (iii) incorporar os indicadores de risco que vamos explorar. Pretendemos também compreender na literatura se e como outros países utilizam indicadores de risco além do Brasil neste cenário. Para avaliar o framework a ser proposto, realizaremos uma série de testes empíricos e análises de casos para verificar sua eficácia na detecção de fraudes em PPPs. Esses testes incluirão a aplicação da estrutura em diferentes cenários de PP, a coleta de feedback das partes interessadas envolvidas e a análise da precisão e outros aspectos éticos que serão considerados relevantes para os modelos baseados em ML neste cenário.
Abstract:
Detecting fraud in Public Procurement (PP) is a critical challenge that can be mitigated by applying Artificial Intelligence (AI) techniques. One problem with applying AI in the PP scenario is the lack of attention to ethical aspects. While there is existing research in this field, it often overlooks the crucial ethical considerations necessary for trustworthy implementation. This work aims to study how to integrate Ethical AI aspects into Machine Learning-based estimators used for fraud detection in PP, also considering the lack or uncertainty of fraud labels into data and the uncertainty on the process steps of a PP. To achieve this, we initially conducted a systematic review of the literature Systematic Literature Review (SLR). Furthermore, we conducted experiments using explainability techniques to diagnose fraud in PP. We observed that diagnosing fraud is a very complex process, requiring not only technical precision but also the consideration of ethical factors to ensure all fundamental ethical principles in algorithmic decisions, which showed many limitations in this way. Therefore, to achieve the objective of this thesis, we propose a framework to help data scientists construct fraud detectors or fraud probability estimators, incorporating ethical aspects in the scenario of supporting PP analysts in the process of fraud detection in PPs. During the literature review, we applied thematic analysis to identify and categorize the ethical aspects relevant to fraud diagnosis. The output was a comprehensive set of ethical guidelines tailored to the context of PP fraud detection. To build the framework, we plan to (i) identify fraud risk indicators with Public Procurement Process (PPP) actors in the Brazilian scenario to incorporate these into the framework; (ii) investigate machine learning techniques that address uncertainty in the fraud detection process; and (iii) incorporate the risk indicators that we are going to explore. We also plan to understand in the literature if and how other countries use risk indicators beyond Brazil in this scenario. To evaluate the framework to be proposed, we will conduct a series of empirical tests and case analyses to verify its effectiveness in detecting fraud in PPPs. These tests will include applying the framework in different PP scenarios, collecting feedback from involved stakeholders, and analyzing the accuracy and other ethical aspects that will be considered relevant to the ML-based models in this scenario.
Banca examinadora:
Profa. Flavia Cristina Bernardini, UFF – Presidente
Prof. José Viterbo Filho, UFF
Profa. Mariza Ferro, UFF
Prof. Nitesh Bharosa, Delft University of Technology