Defesa de Tese de Doutorado de Eduardo de Oliveira Andrade – 12/12/2024, 13h, por videoconferência
Link para defesa: https://meet.google.com/wbq-bfxe-srf
Unifying Adversarial Attacks on Person Search Systems
Resumo:
O número de sistemas desenvolvidos para a Re-Identificação de Pessoas (Re-ID, em inglês), que visa identificar indivíduos a partir de imagens capturadas por diferentes câmeras em cenários variados, teve um aumento acelerado nos últimos anos. Esse crescimento foi impulsionado pelo progresso das Redes Neurais Profundas (Deep Neural Networks, em inglês), resultando em classificações cada vez mais precisas, especialmente em imagens. Mais recentemente, surgiram as tarefas na área de Busca de Pessoas (Person Search, em inglês), que, diferentemente do problema de Re-Identificação de Pessoas, representam melhor os desafios do mundo real, pois envolvem o reconhecimento de indivíduos em cenas completas. Na Busca de Pessoas, os sistemas precisam localizar e identificar indivíduos em imagens amplas, o que adiciona complexidade, enquanto na Re-Identificação de Pessoas, a identificação é realizada por meio de imagens “manualmente recortadas”, uma abordagem que se afasta um pouco das aplicações práticas do dia a dia. Governos e empresas, principalmente da Ásia, estão investindo muito tempo e dinheiro neste tipo de abordagem de rastreamento para o uso em segurança pública, como na identificação de pessoas desaparecidas e com problemas na justiça. Apesar dos inúmeros benefícios com a utilização desses sistemas, eles não são fáceis de serem implementados. Diversos desafios precisam ser resolvidos, como oclusões e reflexos luminosos nas imagens das pessoas, além da dificuldade de analisar os indivíduos desejados em cenários com multidões. Para aumentar ainda mais estes empecilhos, temos os ataques contraditórios. Estes ataques buscam ludibriar os sistemas, fazendo com que os algoritmos e Redes Neurais Profundas retornem resultados de classificação indesejados. Este trabalho tem o objetivo de fornecer uma nova estratégia de ataque aos sistemas de Busca de Pessoas com uma abordagem unificada que envolve a combinação de métodos presentes nas áreas de Detecção de Objetos (Object Detection, em inglês) e Re-Identificação de Pessoas. O objetivo ao propor essa abordagem não é apenas comprometer o sistema, mas também estimular a melhoria das implementações de identificação e defesa, permitindo o desenvolvimento de novas contramedidas para fortalecer os sistemas contra possíveis falhas e vulnerabilidades, já que esses ataques podem representar um cenário real. O campo da Busca de Pessoas, então, é composto por duas áreas, sendo a Detecção de Objetos a primeira etapa, seguida pela Re-Identificação de Pessoas. Além do ataque, o trabalho também propõe uma nova taxonomia para a Busca de Pessoas em relação aos ataques contraditórios e suas defesas. Os datasets selecionados para a Busca de Pessoas foram o CUHK-SYSU (Chinese University of Hong Kong and Sun Yat-sen University, em inglês) e PRW (Person Re-Identification in the Wild, em inglês), juntamente com o sistema AlignedReID modificado para a Busca de Pessoas. O melhor resultado para o nosso ataque unificado demonstra um decréscimo de 52.4% na métrica de “média aritmética das precisões médias” (mAP, em inglês), considerando o dataset PRW.
Abstract:
The number of systems developed for Person Re-Identification (Re-ID) has accelerated growth in recent years, driven by the progress of Deep Neural Networks (DNNs), resulting in increasingly accurate classification, especially in images. More recently, the Person Search (PS) field tasks have emerged. Unlike the Re-ID problem, where we identify individuals through images captured by surveillance cameras in various scenarios, PS better represents real-world challenges as it involves recognizing individuals within entire scenes in images. In PS, systems need to locate and identify individuals in entire images, adding complexity, while in Re-ID, we perform the identification using “manually cropped” images. This approach deviates from practical day-to-day applications. Governments and companies, mainly in Asia, are investing a lot of time and money in this tracking approach for public security, such as identifying missing people and those in legal trouble. Despite the numerous benefits of using these systems, they are challenging to implement. Several challenges exist, such as occlusions, light reflections in person images, and difficulty analyzing desired individuals in crowd scenarios. To further increase these obstacles, we have adversarial attacks. These attacks seek to deceive systems, causing algorithms and DNNs to return unwanted classification results. This work aims to provide a new attack strategy for PS systems with a unified approach that combines methods from Object Detection (OD) and Re-ID domains. The purpose of proposing this approach is not only to compromise the system but also to encourage improvements in identification and defense implementations, allowing the development of new countermeasures to strengthen systems against potential failures and vulnerabilities, as these attacks can represent real-world scenarios. The PS field comprises two areas, with OD as the first stage, followed by Re-ID. In addition to the attack, the work proposes a new taxonomy for PS concerning adversarial attacks and defenses. The datasets selected for the PS were the Chinese University of Hong Kong and Sun Yat-sen University (CUHK-SYSU) and the Re-ID in the Wild (PRW), with the AlignedReID system modified for PS. The best result for our unified attack demonstrates a decrease of 52.4% in the mean Average Precision (mAP) metric, considering the PRW dataset.
Banca examinadora:
Prof. José Viterbo Filho, UFF – Presidente
Profa. Flavia Cristina Bernardini, UFF
Prof. Esteban Walter Gonzalez Clua, UFF
Prof. Joris Michel Gérard Daniel Guérin, Université de Montpellier
Prof. Ronaldo Ribeiro Goldschmidt, IME
Prof. Bruno Bogaz Zarpelão, UEL