Algorithmes de prédiction rapide
Auteur
Professor Marco Zaffalon
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale
Entretien avec le responsable du projet PNR 75.
Quel était l’objectif de votre projet «Avide d’apprendre: des algorithmes ultrarapides pour dévorer les Big Data»?
L’utilité d’un algorithme pour l’analyse des données est limitée par la rapidité requise pour leur traitement. De nombreuses recherches en matière d’apprentissage automatique sont donc orientées sur la combinaison entre puissance et rapidité, mais cela reste encore à faire pour les mégadonnées. Notre projet s’est concentré sur une nouvelle approche afin de développer des algorithmes qui fournissent un maximum de puissance et de rapidité, permettant ainsi de remplir les promesses du Big Data.
Quels résultats ont été obtenus?
Notre projet a permis de faire progresser l’état de la technique dans les deux familles de méthodes de régression par processus gaussiens avec le Big Data, à savoir: les méthodes des points inducteurs clairsemés et les méthodes des processus gaussiens locaux.
S’agissant de la première famille, les méthodes des points inducteurs clairsemés, nous avons réalisé des progrès significatifs concernant l’apprentissage de ces méthodes d’approximation dans la configuration par mini-lots avec des techniques de descente de gradient stochastique. En particulier, une méthode récursive pour l’apprentissage de processus gaussiens clairsemés a été conçue, laquelle a permis de réduire le nombre de paramètres à estimer et d’augmenter les performances globales en exploitant des mises à jour de type filtre Kalman. Suivant un axe de recherche similaire, nous avons pu montrer qu’une autre méthode, basée sur des mises à jour de filtre d’information et des hypothèses d’indépendance, fournissait des accélérations de calcul jusqu’à quatre fois supérieures à l’état de la technique.
De plus, nous avons développé une méthode corrélée pour les approximations de processus gaussiens locaux. Cette méthode permet un contrôle plus précis du degré d’économie et de la localité de l’approximation. L’optimisation pour certaines applications est simplifiée. De plus, en tenant compte de manière adéquate des corrélations dans une configuration Produits d’experts, les méthodes proposées offrent de meilleures performances que les approximations actuelles.
Quels sont les principaux messages du projet?
- Il est possible d’utiliser des processus gaussiens pour le Big Data, qui offrent l’avantage des incertitudes prédictives.
- Il existe un cadre unique qui englobe la localité et l’économie. Ce cadre peut être adapté à chaque problème spécifique.
- Les approximations pour les points inducteurs clairsemés jouent un rôle important dans les applications d’apprentissage automatique. Le choix de la bonne méthode d’apprentissage pourrait même être encore plus important que le choix de la bonne approximation des points inducteurs clairsemés.
Quelles sont les implications scientifiques selon vous?
Notre projet a démontré qu’il est possible d’appliquer des valeurs approximatives solides pour les processus gaussiens au Big Data. En d’autres termes, les prédictions du Big Data s’accompagnent aussi d’une quantification des incertitudes, c’est-à-dire que nous connaissons la qualité des prédictions du modèle.
La notion de «Big Data» est très vague. Pouvez-vous nous expliquer ce qu’elle signifie pour vous?
Dans le cadre de notre projet, nous avons considéré le «Big Data» comme des ensembles de données tellement volumineux qu’ils remettent en question la possibilité d’apprendre un modèle spécifique des processus gaussiens. Pour les grands ensembles de données, les processus gaussiens offrent l’avantage de permettre une quantification solide de l’incertitude des prédictions. C’est un aspect clé qui est souvent négligé dans les applications du Big Data. Il est pourtant essentiel pour la prise de décision de connaître l’inconnu (c’est-à-dire de connaître l’incertitude de la prédiction). Dans notre projet, nous nous sommes donc concentrés sur l’amélioration des méthodes permettant de mettre les processus gaussiens à l’échelle des grands ensembles de données. Nos contributions ouvrent la voie à l’utilisation d’une méthode bayésienne probabiliste solide pour les grands ensembles de données. Dans une perspective sociale plus large, une quantification solide des incertitudes, combinée à des prévisions précises, devrait améliorer les décisions prises sur la base de ces prévisions.