Defesa de Dissertação de Mestrado de Camila de Oliveira Lopes, em 25/03/2024, às 14:00 horas, por videoconferência
Link para defesa: meet.google.com/oof-ixct-rme
Captura e Uso de Dados de Proveniência em Aplicações de Aprendizado Federado
Resumo:
O Aprendizado Federado (AF) é uma técnica distribuída que permite que vários usuários treinem modelos de Aprendizado de Máquina (AM) de forma colaborativa sem a necessidade de acessar dados privados e/ou confidenciais. Iterativamente, cada usuário treina um modelo “local” em uma máquina específica consumindo dados privados e então envia as atualizações do modelo para um servidor para sua fusão em um servidor centralizado. Embora a técnica de AF represente um avanço, a duração do treinamento em cada iteração depende diretamente das diversas configurações definidas, e.g., hiperparâmetros. A análise de hiperparâmetros durante uma execução de um experimento de AF permite um ajuste dinâmico e eventualmente a correção de problemas, que podem melhorar o desempenho do AF em relação ao tempo de treinamento e à qualidade dos resultados. Porém, devido ao seu caráter exploratório, o usuário pode perder a noção de quais configurações foram utilizadas para treinar o melhor modelo caso as escolhas não sejam registradas corretamente. Os dados de proveniência se mostram como a escolha natural para representar o caminho de derivação de dados para ajudar no ajuste fino dos hiperparâmetros e em recuperação de falhas, fornecendo uma visão global do workflow de AF. No entanto, os arcabouços de AF existentes não realizam a captura de proveniência. Portanto, esta dissertação apresenta um arcabouço denominado Flower-PROV que captura e utiliza dados de proveniência para auxiliar na análise durante o treinamento distribuído do modelo. Tais dados permitem que o Flower-PROV seja capaz de ajustar dinamicamente os parâmetros e disponibilize mecanismos de tolerância a falhas, economizando assim o tempo do usuário. Avaliamos o arcabouço proposto por meio de um estudo de caso com AF Cross-Silo no qual o ajuste fino dinâmico do Flower-PROV reduziu o tempo de treinamento do AF em até 94,24% quando comparado com o ajuste fino usando grid-search. Além disso, testamos diferentes técnicas em relação à tolerância a falhas, onde foi possível obter a mesma acurácia e, ao mesmo tempo, fornecer tolerância a falhas em caso de perda de clientes, i.e., churning.
Abstract:
Federated Learning (FL) is a distributed technique that allows multiple users to train Machine Learning (ML) models collaboratively without the need of accessing private and/or sensitive data. Iteratively, each user trains a “local” model in a specific machine consuming private data and then sends the model updates to a server for their fusion into a centralized one. Although FL represents a step forward, the training duration in each iteration directly depends on the several configurations set, e.g., hyperparameters. Analyzing hyperparameters during the FL workflow allows for dynamic fine-tuning and eventually problem solving, which can improve the performance of FL regarding training time and quality of results. However, due to its exploratory nature, the user may lose track of which configurations have been used to train the model with the best accuracy if the choices are not correctly registered. Provenance data emerge as the natural choice to represent data derivation path to help hyperparameters fine-tuning and fault tolerance, providing a global data-oriented picture of the FL workflow. Yet, the existing FL frameworks do not offer provenance capture. Therefore, this thesis introduces a framework called Flower-PROV, which captures and utilizes provenance data to assist in analysis during distributed model training. Such data enables Flower-PROV to dynamically adjust parameters and provide fault tolerance mechanisms, thus saving user’s time. We evaluated the proposed framework through a case study with Cross-Silo FL where Flower-PROV dynamic fine-tuning reduced the FL training time up to 94.24% when compared with the fine-tuning using grid-search. Furthermore, we tested different techniques regarding fault tolerance, where it was possible to achieve the same accuracy while also being able to provide fault tolerance when losing clients, i.e., churning.
Banca examinadora:
Prof. Daniel Cardoso Moraes de Oliveira, UFF – Presidente
Profa. Aline Marins Paes Carvalho, UFF
Profa. Lúcia Maria de Assumpção Drummond, UFF
Profa. Maria Cristina Silva Boeres, UFF
Profa. Marta Lima de Queirós Mattoso, UFRJ