Defesa de Proposta de Tese de Doutorado de Alan Lira Nunes, 04/09/25, 13h, por videoconferência
Link para defesa: https://meet.google.com/ksh-asmy-ecf
Optimal and Metaheuristic-Based Client Selection Strategies for Federated Learning on Heterogeneous Devices
Resumo:
O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos entre clientes distribuídos sem expor os dados brutos, abordando preocupações críticas de privacidade e apoiando a conformidade com regulamentações como o GDPR. No entanto, sistemas de FL Cross-Device enfrentam desafios significativos devido à heterogeneidade dos clientes em termos de capacidade computacional, disponibilidade de energia e distribuições de dados (non-IID). Para lidar com essas questões, algoritmos de seleção de clientes buscam otimizar o tempo de treinamento, a eficiência energética, a acurácia do modelo e a equidade, por meio da escolha estratégica dos participantes em cada rodada.
As abordagens existentes apresentam várias limitações importantes: (1) A rotatividade de clientes é frequentemente simplificada como uma única probabilidade de disponibilidade, ignorando os efeitos distintos de interrupções transitórias (e.g., perda de conectividade) em comparação com desligamentos permanentes (e.g., falha do dispositivo). Essa abstração resulta em uso ineficiente de recursos e instabilidade na convergência do modelo; (2) A avaliação permanece amplamente restrita a tarefas de classificação de imagens (e.g., CIFAR-10, MNIST, Fashion-MNIST), com limitada validação cruzada entre domínios, como processamento de linguagem natural ou análise de séries temporais, deixando de identificar vulnerabilidades específicas por tarefa; (3) A otimização multi-objetivo, equilibrando latência, consumo de energia, acurácia e equidade, ainda é pouco explorada, com mecanismos preditivos para lidar com a rotatividade de clientes sendo raramente abordados.
Em uma contribuição recente, apresentamos MEC e ECMTC, estratégias ótimas de seleção de clientes que minimizam conjuntamente o tempo e a energia, ao mesmo tempo em que controlam a distribuição da carga de trabalho. Para enfrentar os desafios remanescentes, propomos MetaCS-FL, um framework extensível que aplica a meta-heurística Large Neighborhood Search (LNS) para otimização multiobjetivo durante a seleção de clientes em sistemas de FL. A metodologia consiste em: (1) Formular um modelo de escalarização ponderada para otimizar conjuntamente o tempo de treinamento, a eficiência energética, a acurácia do modelo e a equidade; (2) Incorporar o perfilamento de clientes para capturar as capacidades dos dispositivos e as características dos dados; (3) Implementar mecanismos preditivos para mitigar abandonos de clientes; (4) Realizar a validação utilizando o framework Flower em nós do testbed Grid’5000, com domínios de conjuntos de dados diversos, incluindo visão, processamento de linguagem natural e séries temporais.
Abstract:
Federated Learning (FL) enables collaborative model training across distributed clients without exposing raw data, addressing critical privacy concerns, and supporting compliance with regulations such as GDPR. However, Cross-Device FL systems face substantial challenges due to client heterogeneity in computational capabilities, energy availability, and non-IID data distributions. To address these issues, client selection algorithms aim to optimize training time, energy efficiency, model accuracy, and fairness by strategically selecting participants in each round.
Existing approaches reveal several key limitations: (1) Client churn is often over-simplified as a single availability probability, overlooking the distinct effects of transient disruptions (e.g., connectivity loss) versus permanent dropouts (e.g., device failure). This abstraction leads to inefficient resource usage and model convergence instability; (2) Evaluation is largely confined to image classification tasks (e.g., CIFAR-10, MNIST, Fashion-MNIST), with minimal cross-modality validation across domains such as NLP or time-series analysis, thereby missing task-specific vulnerabilities; (3) Multi-objective optimization, balancing latency, energy consumption, accuracy, and fairness, remains insufficiently addressed, with predictive handling of client churn being underexplored.
In a recent contribution, we introduced MEC and ECMTC, optimal client selection strategies that jointly minimize time and energy while controlling workload distribution. To address the remaining challenges, we propose MetaCS-FL, an extensible framework that applies the Large Neighborhood Search (LNS) metaheuristic for multi-objective optimization during client selection in FL systems. The methodology consists of: (1) Formulating a weighted scalarization model to jointly optimize training time, energy efficiency, model accuracy, and fairness; (2) Incorporating client profiling to capture device capabilities and data characteristics; (3) Implementing predictive mechanisms to mitigate client dropouts; (4) Conducting validation using the Flower framework on Grid’5000 testbed nodes, with diverse dataset domains, including vision, NLP, and time-series.
Banca examinadora:
Profa. Lúcia Maria de Assumpção Drummond, UFF – Presidente
Profa. Maria Cristina Silva Boeres, UFF
Profa. Flávia Coimbra Delicato, UFF
Prof. Laércio Lima Pilla, CNRS
Prof. Allan Mariano de Souza, Unicamp
Prof. Valmir Carneiro Barbosa, UERJ