Data centres: monitoring efficace des performances
Auteure
Prof. Lydia Y. Chen
Delft University of Technology
Ce projet a conçu de nouvelles méthodes d’analyse des performances dans les centres de données du cloud, une tâche importante pour gérer efficacement les ressources informatiques et minimiser la consommation d’énergie.
Le projet préconisait d’effectuer un traitement sélectif sur les mégadonnées en tirant parti de la dépendance spatiale et temporelle, et de réserver les ressources informatiques aux données critiques. Cet apprentissage sélectif des données était également motivé par la quantité de données «sales» figurant dans les ensembles de mégadonnées. C’est pourquoi des stratégies ont été élaborées afin de sélectionner des données informatives et précises pour former des modèles analytiques robustes. Les résultats ont également confirmé que les connaissances acquises sur les mégadonnées se font au détriment de la protection de la vie privée, révélant un compromis important entre l’utilité des données et le niveau de protection de la vie privée. Pour relever ces défis, les objectifs suivants ont été atteints:
Alléger et accélérer le traitement des mégadonnées: ces questions ont été abordées au moyen de stratégies de représentation à faible débit, d’un sous-échantillonnage intelligent des données et d’une modélisation hiérarchique spécifique aux modèles de séries chronologiques.
Rendre le traitement des mégadonnées prévisible: des modèles stochastiques ont été développés pour prédire la latence des applications de mégadonnées, qu’il s’agisse d’un simple tri des données ou d’analyses complexes. De tels modèles permettent d’aboutir un compromis calculable entre la précision du modèle et le temps d’apprentissage du modèle (et les ressources nécessaires).
Préserver la confidentialité du traitement des mégadonnées: des algorithmes privés différentiels présentant une fuite d’informations confidentielles à travers les mégadonnées et son analyse ont été dérivés. Combinés aux modèles de latence, ils permettent d’élargir le portefeuille des critères de conception des analyses de mégadonnées, notamment la précision, la latence et la confidentialité.
Rendre l’analyse des mégadonnées distribuée: différents algorithmes d’apprentissage distribués et décentralisés ont été étudiés afin qu’une analyse des mégadonnées puisse être réalisée partout, et plus précisément à l’endroit où sont collectées les données.
Le dernier programme de travail sur le partage des traces de centres de données au moyen de modèles d’apprentissage automatique a suscité l’intérêt de la Fondation nationale néerlandaise pour la science et de l’industrie pour commercialiser la solution. Un synthétiseur de données tabulaires a été développé afin que les données exclusives obtenues par des sociétés commerciales puissent être partagées avec le public sans.