Conception d’une méthodologie d’annotation pour les données de la Défense Navale

Contexte:

Dans le domaine de la Défense Navale, l’annotation des données est une tâche fastidieuse et complexe, impactant toute la chaîne de post-traitement des données : dans le cadre de la conception d’algorithmes d’aide à la décision basés sur l’IA, toute erreur d’étiquetage par l’opérateur humain entraînera des erreurs de classification et dégradera les performances de ces algorithmes d’aide à la décision.
Dans le cadre de la Chaire NAIADE1 (Intelligence Artificielle Navale Appliquée à l’Amélioration de la Décision), l’objectif est donc d’accroître la confiance de l’opérateur dans les technologies de pointe pouvant utiliser l’IA, en optimisant le processus d’annotation afin que le modèle d’IA résultant reflète les connaissances de l’opérateur.
En utilisant des techniques issues des Facteurs Organisationnels et Humains, de l’expertise des marins et de la Data Science, comment optimiser le processus d’annotation des données de Défense Navale en maximisant la qualité et la fiabilité de l’annotation tout en minimisant l’effort humain ?
D’où l’objectif de cette thèse d’apporter des réponses à la problématique de l’optimisation du processus d’annotation des données de Défense Navale avec des solutions de Data Science.
Le candidat utilisera les résultats et outils logiciels en Facteurs Organisationnels et Humains obtenus dans le cadre des études de la Chaire NAIADE, et aura l’opportunité d’expérimenter les réalisations obtenues auprès des utilisateurs finaux.
Plus généralement, le candidat aura un intérêt particulier pour la complémentarité des recommandations en Facteurs Humains avec les solutions issues de la Data Science à déterminer, afin de répondre de manière innovante à l’identification des besoins des opérateurs.

État de l’art:

Français Le sujet comprend les points suivants :
− Réaliser l’analyse des activités des opérateurs humains liées à l’étiquetage des données [1, 2] et comprendre les profils hétérogènes des opérateurs, en interaction avec les spécialistes des Facteurs Humains et Organisationnels de NAIADE.
− Identifier les conditions et les outils de qualité de l’étiquetage des données [3, 4].
− Étudier l’étiquetage des données par apprentissage semi-supervisé et supervisé [5, 6].
− Étudier l’automatisation de l’étiquetage à partir de données historiques étiquetées [7, 8].
− Caractériser l’incertitude des intervalles de prédiction des données appartenant à une classe spécifique [9, 10].
− Proposer des pistes d’amélioration concernant les intervalles de certitude de prédiction [11, 12].

La spécificité de ce travail repose sur l’étude de cas d’usage réels et actuels où une activité d’annotation critique est réalisée par un opérateur expert [13, 14].

Question de recherche :
Dans le cadre des travaux de recherche précédemment menés, les solutions proposées ne permettent toujours pas d’étiqueter des données en fonction de profils d’opérateurs hétérogènes. Connaissant cette limitation considérable, la question de recherche se concentre sur la problématique suivante : quelles méthodes d’aide à la décision d’étiquetage des données basées sur l’intelligence artificielle (IA) peuvent aider à l’étiquetage, à partir d’un historique de données étiquetées par des experts dont les profils sont hétérogènes, en respectant des conditions de certitude ?

Organisme de recherche :

L’objet de ce travail est l’analyse de l’activité des opérateurs humains avec les objectifs suivants :

• Identification des conditions et des moyens de la qualité de la labellisation et de son amélioration en considérant l’activité de l’opérateur durant cette phase (connaissances mises en jeu, critères considérés) et l’expertise croisée de plusieurs opérateurs experts. Approche hybride quantitative/qualitative issue des sciences humaines et sociales.
• Automatisation de l’étiquetage à partir de données historiques étiquetées : production d’intervalles de confiance de prédiction. Machine learning.
• Pour les situations à faible intervalle de confiance de prédiction, la deuxième partie de la recherche consisterait à identifier les conditions et les moyens qui améliorent le mécanisme de prise de décision en transférant des éléments d’expertise des opérateurs.

Étape 1 – Étude du processus de décision d’étiquetage
L’activité des opérateurs étant par nature liée au contexte, la première étape consistera à concevoir, expérimenter et documenter des recommandations, issues des Facteurs Organisationnels et Humains et de la Science des Données, spécifiques à chaque cas d’utilisation.
Tâche 1 : État de l’art sur les solutions d’aide à la décision basées sur l’IA pour l’étiquetage des données, compréhension de l’approche cognitive, de l’expertise nécessaire pour étiqueter les données et des profils des opérateurs afin de caractériser le processus de décision.
Tâche 2 : Analyse des approches et des métriques pour évaluer la qualité des données à étiqueter et la performance de l’étiquetage.
Tâche 3 : Identification et validation des éléments et paramètres clés qui facilitent l’étiquetage des données, en fonction du profil de l’opérateur par rapport à l’objectif d’étiquetage. Proposition de différents modèles d’aide à la décision basés sur l’IA pour l’étiquetage des données et évaluation des performances.
Tâche 4 : Définition des scénarios d’utilisation, collecte de données, expérimentation et analyse des comportements des experts. Test des modules développés dans la tâche 3 et démonstration des résultats.
Tâche 5 : Publication des résultats dans une conférence et une revue scientifique.
Étape 2 – Étude de la transférabilité du processus décisionnel
L’étape 1 applique les résultats à un cas d’utilisation en contexte militaire naval et à un autre cas d’utilisation en fonction des données et de la disponibilité des experts, afin d’identifier les aspects communs du processus décisionnel et leur transférabilité d’un cas à l’autre.
Tâche 1 : Analyse de l’intégration des expertises croisées de plusieurs opérateurs experts pour l’étiquetage des données.
Tâche 2 : État de l’art sur les solutions d’aide à la décision pour l’étiquetage des données basé sur l’IA en utilisant des approches de transférabilité d’expertise, proposées dans la littérature. Analyse des approches et de l’adéquation des métriques pour évaluer la qualité des données à étiqueter et la performance de l’étiquetage dans le contexte de la transférabilité d’expertise.
Tâche 3 : Définition du processus décisionnel basé sur la transférabilité d’expertise. Proposition de différents modèles d’aide à la décision basés sur l’IA pour l’étiquetage des données, basés sur la transférabilité d’expertise.
Tâche 4 : Définition de scénarios d’utilisation, de collecte de données et d’expérimentation. Test des modules développés dans la tâche 3 et démonstration des résultats.
Tâche 5 : Publication des résultats dans une conférence et une revue scientifique.
Étape 3 – Finalisation
Tâche 1 : Rédaction du manuscrit de thèse.
Tâche 2 : Préparation à la soutenance de thèse.
Tâche 3 : Valorisation et transfert des résultats au sein de l’entreprise.