Modèles de langage: nouvelles méthodes pour agents conversationnels
Auteur
Prof. Thomas Hofmann
ETH Zurich
Ce projet a réalisé plusieurs avancées théoriques dans le domaine des modèles de langage, notamment pour les agents conversationnels et les systèmes répondant à des requêtes.
Le projet a permis d’obtenir des résultats dans quatre domaines qui sont centraux et fondamentaux pour les domaines en évolution rapide du traitement du langage naturel et des agents aptes au dialogue.
Tout d’abord, en matière de détection et de liaison d’entités, le projet a contribué à un nouveau système de liaison d’entités qui combine des intégrations d’entités avancées, un mécanisme d’attention neuronale sur des fenêtres contextuelles locales, ainsi qu’une inférence de désambiguïsation conjointe différentiable. Ce système combine en particulier la détection et la liaison d’entités. De plus, les travaux menés dans ce domaine ont débouché sur des activités de suivi novatrices.
Deuxièmement, dans le domaine des modèles de génération de langage qui sont à la base des systèmes aptes au dialogue, des résultats ont été obtenus quant aux différentes limitations qui résultent des polarisations et de l’apprentissage dirigé lors de la formation de modèles de langage inconditionnels.
Troisièmement, en ce qui concerne l’utilisation des réseaux neuronaux profonds pour les modèles génératifs, le projet a permis de progresser dans les algorithmes d’apprentissage pour l’évaluation des réseaux antagonistes génératifs (GAN). On espère pouvoir utiliser les GAN pour la production de textes et les échanges conversationnels, mais cela demeure encore un défi.
Quatrièmement, le projet a permis d’obtenir des résultats concernant la conception d’agents d’apprentissage par renforcement dans le cadre de jeux en mode texte. L’accent a été mis sur la manière de composer avec la nature compositionnelle et combinatoire du langage, qui rend difficile l’optimisation des politiques. De plus, un agent a été conçu avec la capacité d’obtenir de bons résultats à travers toute une famille de jeux, plutôt que dans un seul jeu.
Dans l’ensemble, le projet a contribué de manière décisive à la méthodologie de l’apprentissage automatique, plus particulièrement dans les domaines des intégrations géométriques et des modèles génératifs. Les résultats sont documentés dans une douzaine d’articles qui englobent des articles déjà très cités dans les conférences majeures sur l’apprentissage automatique ou l’IA, telles que NeurIPS, ICML et AISTATS.