Discovering Communities With Clustered Federated Learning - Laboratoire d’Informatique, Systèmes, Traitement de l’Information et de la Connaissance
Pré-Publication, Document De Travail Année : 2024

Discovering Communities With Clustered Federated Learning

Découvrir des communautés avec l'apprentissage fédéré en clusters

Résumé

We address a community detection problem in a realistic federated learning setup where clients own non-iid data. We propose a Clustered Federated Learning-based method (CFL) that can dynamically discover client communities according to their model distances along the federated rounds. This method is based on Louvain clustering, a relevant model similarity measure and a client aggregated model attribution strategy. The proposed framework enables the unsupervised detection of communities with no prior knowledge while maximizing client task performances. We propose an extensive study based on the Cifar10 dataset to assess the sensitivity of the approach to critical factors including data non-iidness level, model initialization, client participation rates and client cluster attribution strategy. Importantly, both model task accuracy and clustering relevance are evaluated thus extending state-of-the-art standard evaluation. Compared to stateof-the-art on an image classification problem, we show the interest of our continuous clustering and attribution strategy along federated rounds that maintain client migration capability while preserving the aggregated model relevance. This facilitates learning convergence while reducing result variability along trials. This work can be flawlessly integrated in standard FL approaches and opens new directions for both task performance and community detection relevance in a federated learning context. Results show the relevance of the clustering on an image classification task to discover communities of related classes.

Nous abordons un problème de détection de communautés dans une configuration réaliste d'apprentissage fédéré où les clients possèdent des données non identifiées. Nous proposons une méthode basée sur l'apprentissage fédéré par grappes (CFL) qui permet de découvrir dynamiquement les communautés de clients en fonction de la distance entre leurs modèles le long des rondes fédérées. Cette méthode est basée sur le clustering de Louvain, une mesure de similarité de modèle pertinente et une stratégie d'attribution de modèle agrégée par client. Le cadre proposé permet la détection non supervisée de communautés sans connaissances préalables tout en maximisant les performances des tâches des clients. Nous proposons une étude approfondie basée sur l'ensemble de données Cifar10 afin d'évaluer la sensibilité de l'approche à des facteurs critiques tels que le niveau de non-identification des données, l'initialisation du modèle, les taux de participation des clients et la stratégie d'attribution des clusters aux clients. Il est important de noter que la précision de la tâche du modèle et la pertinence du regroupement sont évaluées, ce qui élargit l'évaluation standard de l'état de l'art. Par rapport à l'état de l'art sur un problème de classification d'images, nous montrons l'intérêt de notre stratégie de regroupement et d'attribution continus le long de rondes fédérées qui maintiennent la capacité de migration des clients tout en préservant la pertinence du modèle agrégé. Cela facilite la convergence de l'apprentissage tout en réduisant la variabilité des résultats au cours des essais. Ce travail peut être parfaitement intégré dans les approches FL standard et ouvre de nouvelles directions pour la performance des tâches et la pertinence de la détection des communautés dans un contexte d'apprentissage fédéré. Les résultats montrent la pertinence du regroupement .
Fichier principal
Vignette du fichier
IEEE_BigData_2024 (3).pdf (935.91 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
licence

Dates et versions

hal-04696543 , version 1 (11-10-2024)

Licence

Identifiants

  • HAL Id : hal-04696543 , version 1

Citer

Mickaël Bettinelli, Alexandre Benoit, Kévin Grandjean. Discovering Communities With Clustered Federated Learning. 2024. ⟨hal-04696543⟩

Collections

UNIV-SAVOIE LISTIC
2 Consultations
0 Téléchargements

Partager

More