Defesa de Dissertação de Mestrado de Felipe dos Santos Ribeiro, em 10/10/2023, às 13:30 horas, por videoconferência
Link para defesa: https://meet.google.com/bbp-bpwu-zee
Verificação Automática de Fatos: Uma Avaliação com Desinformação em Português do Brasil
Resumo:
A desinformação tem se espalhado de forma alarmante nos últimos anos, causando impactos negativos substanciais em áreas sensíveis, como política e saúde. Uma contramedida popular é a verificação de fatos conduzida por agências de notícias e veículos jornalísticos, que se baseia em evidências para confirmar ou refutar a veracidade de uma alegação. Entretanto, a verificação de fatos feita de forma quase-manual dificilmente acompanha a taxa de geração de notícias falsas. Assim, ferramentas automáticas de verificação de fatos (Automatic Fact-Checking – AFC) podem ajudar a lidar com o grande número de alegações falsas compartilhadas rapidamente. A AFC está longe de ser trivial, pois integra áreas desafiadoras, como recuperação de informação (IR, do inglês Information Retrieval), processamento de linguagem natural (NLP, do inglês Natural Language Processing) e aprendizado de máquina (ML, do inglês Machine Learning). Além disso, embora haja um grande corpo de pesquisa em AFC, apenas alguns focam no idioma português, apesar de comumente a língua portuguesa ser listada como a quinta língua mais falada. Este trabalho apresenta um sistema de verificação de fatos para alegações brasileiras, abrangendo técnicas de IR, NLP e ML. Ele se baseia em um conjunto de dados de alegações do mundo real verificadas por fontes respeitáveis. O critério para definição de fontes respeitáveis para verificar alegações também é uma contribuição deste trabalho. O sistema coleta evidências da web e verifica automaticamente se as evidências suportam, refutam ou são insuficientes para classificar a alegação. O sistema atinge 81% de acurácia preditiva e 86% de F1-score. Em uma análise qualitativa, notamos que o sistema classifica corretamente as alegações com as evidências adequadas em 80% dos casos. Esses resultados e a construção cuidadosa de uma definição de fontes confiáveis apontam o potencial do sistema para evitar a disseminação massiva de desinformação.
Abstract:
Misinformation has spread alarmingly in recent years, causing substantial negative impacts in sensitive areas such as politics and health. A popular countermeasure is fact-checking conducted by news agencies, which relies on evidence to confirm or refute the veracity of a claim. However, almost-manual methods of fact checking cannot keep the pace of desinformation generation and spread. Thus, automated fact-checking (AFC) tools can help deal with the large number of false claims shared quickly. AFC is far from trivial, as it integrates challenging areas such as information retrieval (IR), natural language processing (NLP), and machine learning (ML). Besides, although there is a large body of research on AFC, only a few focus on the Portuguese language, even though Portuguese is commonly listed as the fifth most spoken language. This work presents a fact-checking system for Brazilian claims, covering IR, NLP and ML techniques. It is based on a dataset of real-world claims verified by reputable sources. This dissertation also contributes with a criteria for defining reputable sources. The system gathers evidence from the web and automatically checks whether the evidence supports, refutes, or is insufficient to classify the claim. The system achieves 81% of predictive accuracy and 86% of F1-score. In a qualitative analysis, we noticed that the system correctly classifies claims with adequate evidence in 80% of cases. Those results and the careful building of a reliable source definition point out the system’s potential to prevent the massive dissemination of misinformation.
Banca examinadora:
Profa. Aline Marins Paes Carvalho, UFF – Presidente
Profa. Mariza Ferro, UFF
Profa. Thaiane Moreira de Oliveira, UFF
Prof. Ronaldo Ribeiro Goldschmidt, IME
Prof. Marcelo Alves dos Santos Junior, PUC-Rio