Unsicherheit bei Big Data-Anwendungen: Lehren aus Klimasimulationen

Autor
Prof. Reto Knutti
ETH Zürich

Gespräch mit dem Projektleiter des NFP75-Projekts.

Was war das Ziel Ihres Projekts?

Im Rahmen des Projekts wollten wir folgendes erstellen:

  • einen Prototypen eines Klimafolgenmodells unter Verwendung von Big-Data-Ansätzen, um das Potenzial und die Grenzen solcher Methoden zu untersuchen und ihre Unsicherheit bei aktuellen Ereignissen und Trends bei extremen Wetterlagen und Auswirkungen zu quantifizieren,
  • eine Typologie der Unsicherheiten und der zugrunde liegenden Argumente,
  • Kriterien für die Übertragbarkeit der Ergebnisse auf andere wissenschaftliche Bereiche.

Was waren die Resultate?

Mehrere Pionierstudien in diesem Projekt haben sowohl die konzeptionellen als auch die praktischen Möglichkeiten und Herausforderungen bei der Verwendung von Big-Data-Instrumenten und Daten unbekannter Qualität in der Klimamodellierung und in Studien zu den Auswirkungen des Klimawandels untersucht und den Weg für künftige Anwendungen geebnet. Mit der Verfügbarkeit von viel mehr Daten und Rechnerkapazitäten wächst dieser Bereich schnell, aber es bleiben wichtige Fragen offen, wie Big Data mit dem Verständnis von Prozessen kombiniert werden kann und wie Fortschritte bei interpretierbaren maschinellen Lernmethoden erzielt werden können. In Fällen, in denen eine wiederholte Überprüfung nicht möglich ist, ist der Prozess der Vertrauensbildung eine Herausforderung und hängt oft vom Verständnis der relevanten Prozesse und Einflussfaktoren ab. Methoden des maschinellen Lernens sind in dieser Hinsicht von Natur aus begrenzt, können jedoch Informationsmuster extrahieren, die sonst unzugänglich wären. Der Schlüssel wird darin liegen, das Beste aus beiden Welten zu kombinieren, und dieses Projekt hat dafür eine wichtige Grundlage geschaffen.

Was sind die Hauptaussagen des Projekts?

  • Ansätze im Zusammenhang mit Big Data und Datenwissenschaft wie neue Formen und Quellen von Daten und Modellierungsansätze, die sich auf maschinelles Lernen stützen, können am erfolgreichsten angewandt werden, wenn sie mit traditionelleren wissenschaftlichen Ansätzen kombiniert werden und wenn sie auf der Grundlage von domänenspezifischem Hintergrundwissen, d. h. Prozessverständnis, bewertet werden. Dies kann auch als Aufruf zu mehr interdisziplinärer Forschung verstanden werden, welche die fachliche Expertise z.B. von Klimaforschenden mit der technischen Expertise von Data Scientists verbindet.
  • Ob neue Formen und Quellen von Daten oder Modellierungsansätzen, die auf maschinellem Lernen beruhen, für eine bestimmte Fragestellung nützlich sind, lässt sich kaum je mit einem klaren Ja oder Nein beantworten. Vielmehr lassen sich Daten und Modellierungsansätze am besten im Hinblick auf ihre Zweckmässigkeit (fitness-for-purpose) bewerten. Diese Zweckmässigkeit sollte als ein abgestuftes und mehrdimensionales Konzept verstanden werden. Das bedeutet, dass ein Ansatz mehr oder weniger zweckdienlich sein kann (und nicht einfach nur zweckdienlich oder nicht) und dass es vom jeweiligen Kontext abhängt, welcher Grad an Zweckdienlichkeit erforderlich ist. Darüber hinaus gibt es in der Regel mehrere Dimensionen, die für die Bestimmung der Zweckmässigkeit eines Ansatzes relevant sind (z.B. Darstellungsgenauigkeit, Benutzerfreundlichkeit, Rechenleistung, wirtschaftliche Kosten, …), und welche Dimensionen relevant sind und wie sie gegeneinander gewichtet werden, hängt ebenfalls vom Kontext ab.
  • Big Data erweitert den Werkzeugkasten der Forschenden um neue Instrumente zur Beantwortung bestimmter Fragen. Die Veränderungen, die diese Entwicklung mit sich bringt, sind jedoch schleichend und es ist nicht zu erwarten, dass sie zu völlig neuen Methoden und Ansätzen führen werden. In dieser Hinsicht sind die meisten neuen datenwissenschaftlichen Ansätze (tief) in der Statistik und Informatik verwurzelt. Trotz der neuen Möglichkeiten, fertige und einfach zu bedienende Werkzeugkästen für maschinelles Lernen in der (Klima-)Forschung einzusetzen, erscheint es entscheidend, dass traditionelles statistisches Fachwissen (insbesondere in Bezug auf die Grenzen und Annahmen von Methoden) und Hintergrundwissen kontinuierlich trainiert, gelehrt und verstärkt werden, da dies der Schlüssel zur Interpretation und letztlich zur Nützlichkeit von datenwissenschaftlichen Ansätzen für den Zweck des Verstehens ist.

Welche wissenschaftlichen Implikationen sehen Sie?

  • Big Data sollte nicht als eine Alles-oder-Nichts-Entwicklung betrachtet werden, sondern als eine Reihe von Instrumenten, die Forschende für spezifische Fragen und Probleme erfolgreich einsetzen können.
  • Entgegen früheren Annahmen wird Big Data nicht das Ende der Theorie in der Wissenschaft bedeuten. Im Gegenteil: Die Arbeit in diesem Projekt hat gezeigt, dass Big-Data-Elemente in der wissenschaftlichen Forschung am erfolgreichsten eingesetzt werden, wenn sie mit theoriebasierten Ansätzen kombiniert und in diese eingebettet werden.
  • Mit der zunehmenden Verfügbarkeit neuer Formen von Daten werden datenwissenschaftliche Fähigkeiten für die Forschung immer wichtiger. Aufgrund der Bedeutung des domänenspezifischen Hintergrundwissens wird die interdisziplinäre Zusammenarbeit zwischen Domänenfachleuten und Data Scientists immer wichtiger werden.
  • Unsicherheiten bei der Nutzung neuer Datenformen und datenwissenschaftlicher Fähigkeiten müssen auf einer angemessenen konzeptionellen Basis analysiert und im Hinblick auf den Zweck ihrer Nutzung bewertet werden.

Welche Empfehlungen hat Ihr Projekt?

  • Wie unsere Ergebnisse zeigen, werden datenwissenschaftliche Fähigkeiten und interdisziplinäre Kooperationen in Zukunft für die wissenschaftliche Forschung immer wichtiger. Dies hat direkte Auswirkungen auf die Wissenschaftspolitik: Unsere Ergebnisse weisen auf die Bedeutung von Förderinstrumenten hin, die solche interdisziplinären Kooperationen ermöglichen. Darüber hinaus können Data-Science-Kompetenzen auch durch Forschungsinfrastrukturen wie das Swiss Data Science Center vermittelt werden. Daher sollten Forschungsinfrastrukturen langfristig angemessen finanziert werden, um den Forschenden zu helfen, Data-Science-Kompetenzen in ihre Forschungsprojekte einzubauen.
  • Die Arbeiten zur Unsicherheit von Big-Data-Vorhersagen haben deutlich gemacht, dass eine angemessene Unsicherheitsbewertung ein gründliches Verständnis des jeweiligen Zielsystems sowie der Modellierungstechnik und der verwendeten Daten erfordert. Mit dem zunehmenden Einsatz von Entscheidungsalgorithmen in der Gesellschaft (z. B. bei der Vorhersagenden Polizeiarbeit) kann diese Unsicherheit ethische Auswirkungen haben. Bevor solche Instrumente breit eingesetzt werden, sollten daher die Unsicherheiten der getroffenen Vorhersagen bewertet werden. Obwohl die in diesem Projekt entwickelten Instrumente auf Fälle in der Klimaforschung ausgerichtet waren, bieten sie einen guten Ausgangspunkt für solche Analysen auch in anderen Bereichen.

Big Data ist ein sehr vager Begriff. Können Sie uns erklären, was Big Data für Sie bedeutet?

Das Fehlen einer eindeutigen Definition des Begriffs «Big Data» war der Ausgangspunkt des Projekts. Um die Fragen angehen zu können, die im Mittelpunkt des Projekts standen, musste der Begriff «Big Data» selbst geklärt werden. Zu diesem Zweck entwickelten wir einen konzeptionellen Rahmen, der zwischen drei verschiedenen Komponenten unterscheidet: den Messungen, den Datensätzen und den Modellen. Wir haben gezeigt, dass sich die Konstruktion und Verwendung von theoriebasierten Modellen und die Big-Data-Analyse in Bezug auf alle drei Komponenten unterscheiden.

Diesen Rahmen mit seinen drei Komponenten haben wir dann verwendet, um Fallstudien aus der Klimaforschung zu kategorisieren. Dabei konnten wir zeigen, dass es Big-Data-Elemente gibt, die von Forschenden recht häufig eingesetzt werden, dass aber die meisten der kategorisierten Fallstudien zwischen den beiden oben beschriebenen «Extremfällen» liegen. So haben wir beispielsweise viele Studien identifiziert, die klassische Datensätze aus der Klimawissenschaft verwenden, d. h. feste Datensätze mit Messungen theoriebasierter Variablen, und diese mit maschinellem Lernen analysieren. Bei diesen Ansätzen basiert die Modellierung auf automatisch erkannten Korrelationen. Die Messungen und Daten sind jedoch immer noch von der Theorie abgeleitet.

In anderen Fällen verwendeten Sozialwissenschaftler:innen die Häufigkeit von Google-Suchergebnissen als Ersatz für fehlende Variablen, um Indikatoren für die Anfälligkeit europäischer Städte für extreme Hitze zu erstellen. Während der Indikator auf einer Theorie basiert, beruhen einige der Messungen auf alltäglichen Intuitionen.

Dieser Überblick über die Studien hat zwei Punkte hervorgehoben: Erstens: Big Data hält in der wissenschaftlichen Forschung nicht nach dem Alles-oder-Nichts-Prinzip Einzug. Vielmehr werden einzelne Elemente wie neue Formen von Messungen, Datenströme und auf maschinellem Lernen basierende Modellierung in Kombination mit anderen, traditionelleren Ansätzen angewandt.

Zweitens basiert die «ausgewachsene» Big-Data-Analyse aus Sicht unseres konzeptionellen Rahmens auf einem unstrukturierten Strom von Messungen, die auf alltäglichen Überlegungen und Modellierungen auf der Grundlage automatisch erkannter Korrelationen beruhen. Die auf diese Weise gewonnenen Ergebnisse müssen ständig anhand neuer Daten bewertet und gegebenenfalls angepasst werden, da es keinen Grund zur Annahme gibt, dass sie auf neue Fälle extrapoliert werden können. Eine solche ständige Bewertung anhand neuer Daten ist bei wissenschaftlichen Untersuchungen oft nicht möglich.

In Bereichen wie der Klimawissenschaft, in denen die Forschung auch auf künftige langfristige Entwicklungen ausgerichtet ist, ist eine solche Bewertung unmöglich. Daher muss das Vertrauen in die mit solchen Ansätzen erzielten Ergebnisse durch Argumente für die Beständigkeit der ermittelten Beziehungen und Ergebnisse begründet werden. Solche Argumente können nur durch Bezugnahme auf relevantes Hintergrundwissen über das untersuchte Zielsystem geliefert werden, d.h. durch Verankerung der Forschung in einer domänenspezifischen Theorie.

So hat unser Ansatz deutlich gemacht, dass es nicht nur deskriptiv wahr ist, dass Big-Data-Elemente häufig mit eher theoriegestützten Ansätzen kombiniert werden. Es ist auch eine Notwendigkeit, Ergebnisse zu erhalten, die sinnvollerweise auf weitere Fälle extrapoliert werden können. Auf der Grundlage dieses Überblicks zielten die weiteren Schritte des Projekts auf spezifische Fragen in Bezug auf einzelne Big-Data-Elemente ab, die auf der Grundlage dieses Rahmens ermittelt wurden.

Unsere Arbeit hat zwar nicht zu einem Vorschlag für eine Definition des Begriffs «Big Data» geführt, aber die deskriptive Analyse der Kategorisierung von Fallstudien auf der Grundlage eines konzeptionellen Rahmens bietet sicherlich einen fruchtbaren Ausgangspunkt für eine solche Arbeit in der Zukunft.

Zum Projekt

Weiterführende Links