Rechenzentren: effiziente Überwachung der Leistung
Autorin
Prof. Lydia Y. Chen
Delft University of Technology
In diesem Projekt wurden neue Wege zur Auswertung der Leistung in Cloud-Rechenzentren entwickelt, eine wichtige Aufgabe bei der effizienten Verwaltung von Rechenressourcen bei gleichzeitiger Minimierung des Energieverbrauchs.
Das Projekt unterstützte die selektive Verarbeitung von Big Data durch Nutzung räumlicher und zeitlicher Abhängigkeiten und das Reservieren von Rechenressourcen für kritische Daten. Ein weiterer Grund für ein solches selektives Anlernen von Daten ist die Menge an «schmutzigen Daten» in Big-Data-Datensätzen. Es wurden also Strategien zur selektiven Auswahl informativer und exakter Daten zum Trainieren robuster Analysemodelle entwickelt. Zudem bestätigten die Ergebnisse, dass die aus Big Data gewonnenen Einblicke auf Kosten des Datenschutzes gehen. Es liegt also ein wesentlicher Konflikt zwischen Datennutzen und Datenschutz vor. Zur Bewältigung dieser Herausforderungen wurde Folgendes umgesetzt:
Leichtere und schnellere Verarbeitung grosser Datenmengen: Probleme konnten durch Strategien wie Low-Bit-Darstellung, intelligente Unterabtastung von Daten und hierarchische Modellierung speziell für Zeitreihenmodelle behoben werden.
Vorhersehbarkeit der Big-Data-Verarbeitung: Es wurden stochastische Modelle zur Prognose der Latenz von Big-Data-Anwendungen entwickelt – von einfachen Datensortierungen bis hin zu komplexen Analysen. Anhand derartiger Modelle lässt sich dann ein kalkulierbarer Kompromiss zwischen Modellgenauigkeit und Modelltrainingszeit (sowie erforderlichen Ressourcen) eingehen.
Datenschutz bei der Big-Data-Verarbeitung: Es wurden differenzierte private Algorithmen entwickelt, die Datenschutzverstösse durch Big Data und die Big-Data-Analyse verhindern. In Kombination mit Latenzmodellen lässt sich das Kriterienportfolio zur Entwicklung von Big-Data-Analysen in Bezug auf Genauigkeit, Latenz und Datenschutz weiter ausbauen.
Verteilte Big-Data-Analysen: Es wurden verschiedene verteilte und dezentralisierte Big-Data-Analysen geprüft, die überall angewendet werden können, oder um genauer zu sein, genau dort, wo die Daten erfasst werden.
Das letzte Arbeitspaket zur gemeinsamen Nutzung von Rechenzentrumsspuren anhand von Modellen zum maschinellen Lernen erhielt von der nationalen Wissenschaftsstiftung der Niederlande und der Industrie Unterstützung zur Kommerzialisierung der Lösung. Es wurde ein tabellarischer Datensynthesizer entwickelt, um die erfassten geschützten Unternehmensdaten ohne Bedenken vor Datenschutzverstössen mit der Öffentlichkeit teilen zu können. Eine unerwartete Entwicklung, die dem Folgeprojekt, dem so genannten tabellarischen Datensynthesizer, finanziert von der Nationalen Wissenschaftsstiftung der Niederlande zur Kommerzialisierung der Idee, eine neue Richtung eröffnete.