Poste de Doctorat F/H [campagne doc mi-nf-lys-2024] Tenseur de bas rang

A propos du centre ou de la direction fonctionnelle

Le centre de recherche Inria de Lyon est le 9ème centre de recherche Inria, formellement créé en janvier 2022. Il regroupe environ 300 personnes réparties dans 16 équipes de recherche et services d’appui à la recherche.

Ses effectifs sont à ce stade répartis sur 2 campus : à Villeurbanne La Doua (Centre / INSA Lyon / UCBL) d’une part, et Lyon Gerland (ENS de Lyon) d’autre part.

Le centre de Lyon est actif dans les domaines du logiciel, du calcul distribué et haute performance, des systèmes embarqués, de l’informatique quantique et de la vie privée dans le monde numérique, mais aussi en santé numérique et en biologie computationnelle.

Contexte et atouts du poste

Les réseaux de neurones convolutifs (CNN) sont actuellement les modèles de pointe pour classer les objets dans plusieurs domaines, tels que la vision par ordinateur, la reconnaissance vocale, le traitement de texte, etc. Grâce à l’amélioration des capacités de calcul, nous assistons à plusieurs CNN populaires complexes et plus profonds. . Par exemple, AlexNet a une profondeur de 8 couches, tandis que ResNet utilise des connexions courtes et est représenté avec 152 couches. Les deux ont environ 60 millions de paramètres. Les CNN nécessitent des calculs intensifs en raison de leur énorme complexité et de leur grand nombre de paramètres.

Les tenseurs sont un moyen naturel de représenter des données de grande dimension pour de nombreuses applications en science informatique et en science des données [1]. CP, Tucker et Tensor Train sont les méthodes de décomposition tensorielle largement utilisées dans la littérature. Ces décompositions représentent un objet de grande dimension avec un petit ensemble d’objets de faible dimension.

Représenter un tenseur de grande dimension avec un ensemble d’objets de plus petite dimension réduit considérablement le nombre total de paramètres. Cela a conduit à l’utilisation de représentations tensorielles de bas rang à différentes couches de CNN. Par exemple, il a été démontré que le remplacement des noyaux de convolution de ResNet par leurs approximations de bas rang dans les représentations du tenseur de Tucker réduit considérablement le nombre de paramètres et améliore les performances globales [2]. Dans un travail distinct, des contributions ont été faites pour remplacer les matrices de poids denses des couches entièrement connectées d’AlexNet par leurs approximations au format Tensor-train [3]. Cette approche réduit également considérablement le nombre de paramètres tout en obtenant une précision similaire. Les contributions ci-dessus préconisent fortement d’utiliser les représentations tensorielles de bas rang dans les CNN. Nous considérons le CNN complet comme un grand tenseur et visons à le remplacer par un ensemble de tenseurs plus petits.

[1] TG Kolda et BW Bader, « Décompositions et applications des tenseurs », SIAM Review, vol. 51, non. 3, pp. 455-500, 2009. [En ligne]. Disponible : https://doi.org/10.1137/07070111X

[2] A.-H. Phan, K. Sobolev, K. Sozykin, D. Ermilov, J. Gusak, P. Tichavsky ‘, V. Glukhov, I. Oseledets et A. Cichocki, « Décomposition stable du tenseur de bas rang pour la compression du réseau neuronal convolutif,  » dans Vision par ordinateur – ECCV 2020, pp. 522-539. [En ligne]. Disponible : https://doi.org/10.1007/978-3-030-58526-6_31

[3] A. Novikov, D. Podoprikhin, A. Osokin et DP Vetrov, « Tensorisation des réseaux de neurones », dans Advances in Neural Information Processing Systems, vol. 28, 2015. [En ligne]. Disponible : https://proceedings.neurips.cc/paper_files/paper/2015/file/6855456e2fe4…

Mission confiée

Nous considérons les modèles CNN comme de grands tenseurs et prévoyons de les représenter avec leurs représentations tensorielles de bas rang. L’objectif principal de cette thèse de doctorat est de tirer parti des travaux parallèles sur les calculs tensoriels et de diverses méthodes pour former de manière itérative des cadres basés sur des tenseurs pour une formation et une prédiction efficaces avec les modèles CNN populaires.

Cette thèse se déroulera au sein de l’équipe ROMA Inria du LIP, ENS Lyon sous la direction de Suraj Kumar et Loris Marchal.

Principales activités

Le candidat devra effectuer les activités suivantes :

• Analyser les méthodes de formation existantes pour les CNN et les adapter aux modèles tensoriels
• Représenter les modèles CNN populaires avec des représentations tensorielles de bas rang
• Évaluer les modèles proposés pour les ensembles de données MNSIT, CIFAR et ImageNet
• Concevoir des algorithmes parallèles pour les modèles proposés

Compétences

Le candidat doit être titulaire d’une maîtrise en informatique, en sciences computationnelles, en mathématiques appliquées ou dans un domaine technique connexe.

Une connaissance des calculs d’algèbre linéaire et des réseaux de neurones sera très appréciée.

Avantages

• Repas subventionnés
• Remboursement partiel des frais de transports en commun
• Congés : 7 semaines de congés annuels + 10 jours de congés supplémentaires pour cause de RTT (réduction légale du temps de travail) + possibilité de congés exceptionnels (enfants malades, déménagement…)
• Possibilité de télétravail (après 6 mois d’emploi) et organisation flexible du temps de travail
• Matériel professionnel à disposition (visioconférence, prêt de matériel informatique, etc.)
• Événements et activités sociales, culturelles et sportives
• Accès à la formation professionnelle
• Couverture sociale

Rémunération

1ère et 2ème année : 2100 euros de salaire brut/mois

3ème année : 2190 euros de salaire brut/mois