Schnelle Vorhersage-Algorithmen
Autor
Professor Marco Zaffalon
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale
Gespräch mit dem Projektleiter des NFP75-Projekts.
Was war das Ziel Ihres Projekts «Lernhungrig: Ultraschnelle Algorithmen verschlingen Big Data»?
Der Nutzen eines Algorithmus für die Datenanalyse wird durch die für die Verarbeitung erforderliche Geschwindigkeit begrenzt. Ein Grossteil der Forschung im Bereich des maschinellen Lernens zielt daher auf die Kombination von Leistung und Geschwindigkeit ab, was jedoch bei Big Data noch nicht gelungen ist. Unser Projekt konzentrierte sich auf einen neuen Ansatz zur Entwicklung von Algorithmen, die sowohl maximale Leistung als auch Geschwindigkeit bieten. Sie ermöglichen es, das Versprechen von Big Data zu erfüllen.
Was waren die Resultate?
Unser Projekt hat den Stand der Technik in zwei Methodik-Familien für die Regression von Gauss’schen Prozessen mit Big Data weiterentwickelt: Methoden der sparsamen Induzierungspunkte und lokale Gauss’sche Prozesse.
Hinsichtlich der ersten Familie, der Methoden der sparsamen Induzierungspunkte, haben wir signifikante Fortschritte beim Training solcher Annäherungsmethoden im Mini-Batch-Setting mit stochastischen Gradientenabstiegsverfahren erreicht. Insbesondere haben wir eine rekursive Methode für das Training sparsamer Gauss’scher Prozesse entwickelt, die durch das Ausnutzen von Kalman-Filter-ähnlichen Updates die Anzahl der zu schätzenden Parameter reduzierte und die Gesamtleistung erhöhte. Indem ein ähnlicher Forschungsansatz verfolgt wurde, konnten wir zeigen, dass eine weitere Methode auf der Grundlage von Informationsfilter-Updates und Unabhängigkeitsannahmen im Vergleich zum aktuellen Stand der Forschung eine bis zu viermal höhere Berechnungsgeschwindigkeit ermöglichte.
Ausserdem haben wir eine korrelierte Methode für Annäherungen an lokale Gauss’sche Prozesse entwickelt. Diese Methode ermöglicht eine präzisere Kontrolle über den Sparsamkeitsgrad und die Lokalität der Annäherung. Die Optimierung für bestimmte Anwendungen gestaltet sich so einfacher. Des Weiteren erreichen die vorgeschlagenen Methoden durch korrekte Berücksichtigung von Korrelationen in einem Produkt des Experten-Settings eine bessere Leistung als bisherige Annäherungen.
Was sind die Hauptaussagen des Projekts?
- Es ist möglich, Gauss’sche Prozesse für Big Data zu nutzen, und sie bieten den Vorteil von Vorhersageunsicherheiten.
- Es gibt einen einzigartigen Rahmen, der Lokalität und Sparsamkeit umfasst. Dieser Rahmen kann auf das jeweilige spezifische Problem abgestimmt werden.
- Näherungen für sparsame Induzierungspunkte spielen eine wichtige Rolle bei Anwendungen im Bereich des maschinellen Lernens. Die Wahl der richtigen Trainingsmethode könnte sogar noch wichtiger sein als die Wahl der richtigen Annäherung an sparsame Induzierungspunkte.
Welche wissenschaftlichen Implikationen sehen Sie?
Unser Projekt hat gezeigt, dass es möglich ist, solide Näherungswerte für Gauss’sche Prozesse auf Big Data anzuwenden. Dies bedeutet, dass auch Big-Data-Vorhersagen mit einer Quantifizierung der Unsicherheit einhergehen, d. h. wir kennen die Qualität der Modellvorhersagen.
Big Data ist ein sehr vager Begriff. Können Sie uns erklären, was Big Data für Sie bedeutet?
In unserem Projekt haben wir unter «Big Data» so grosse Datensätze verstanden, dass die Möglichkeit des Erlernens eines spezifischen Modells, der Gauss’sche Prozesse, in Frage gestellt wurde. Bei grossen Datensätzen bieten Gauss’sche Prozesse den wichtigen Vorteil, dass sie eine solide Quantifizierung der Unsicherheit der Vorhersagen ermöglichen. Dies ist ein Schlüsselaspekt, der bei Big-Data-Anwendungen oft vernachlässigt wurde. Für die Entscheidungsfindung ist es jedoch sehr wichtig, das Unbekannte zu kennen (d. h. die Unsicherheit der Vorhersage zu kennen). In unserem Projekt haben wir uns auf die Verbesserung der Methoden konzentriert, die es ermöglichen, Gauss’sche Prozesse auf grosse Datensätze zu skalieren. Unsere Beiträge ebnen den Weg für den Einsatz einer soliden Bayes’schen probabilistischen Methode bei grossen Datensätzen. Aus einer breiteren gesellschaftlichen Perspektive sollte die solide Quantifizierung der Unsicherheiten zusammen mit genauen Vorhersagen die Entscheidungen verbessern, die auf der Grundlage solcher Vorhersagen getroffen werden.