Differentiated representation learning in deep learning models : detection of unknown classes and interpretability
Apprentissage de représentation différenciées dans des modèles d’apprentissage profond : détection de classes inconnues et interprétabilité
Résumé
Deep learning, and particularly convolutional neural networks, has revolutionized numerous fields such as computer vision. However, these models remain limited when encountering data from unknown classes (never seen during training) and often suffer from a lack of interpretability. We proposed a method aimed at directly optimizing the representation space learned by the model. Each dimension of the representation is associated with a known class. A dimension is activated with a specific value when the model faces the associated class, meaning that certain features have been detected in the image. This allows the model to detect unknown data by their distinct representation from known data, as they should not share the same features. Our approach also promotes semantic relationships within the representation space by allocating a subspace to each known class. Moreover, a degree of interpretability is achieved by analysing the activated dimensions for a given image, enabling an understanding of which features of which class are detected. This thesis details the development and evaluation of our method across multiple iterations, each aimed at improving performance and addressing identified limitations through interpretability, such as the correlation of extracted features. The results obtained on an unknown class detection benchmark show a notable improvement in performance between our versions, although they remain below the state-of-the-art.
L’apprentissage profond, et en particulier les réseaux de neurones convolutifs, a révolutionné de nombreux domaines tels que la vision par ordinateur. Cependant, ces modèles restent limités lorsqu’ils rencontrent des données issues de classes inconnues (jamais vues durant l'entraînement) et souffrent souvent d’un manque d’interprétabilité. Nous avons proposé une méthode visant à optimiser directement l’espace de représentation appris par le modèle. Chaque dimension de la représentation est associée à une classe connue. Une dimension doit être activée avec une certaine valeur lorsque le modèle fait face à la classe associée, donc lorsque certaines caractéristiques ont été détectées dans l'image. Cela permet au modèle de détecter les données inconnues par leur représentation distincte des données connues, puisqu'elles ne doivent pas partager les mêmes caractéristiques. Notre approche favorise également des rapprochements sémantiques dans l'espace de représentation en allouant un sous-espace à chaque classe connue. De plus, une certaine interprétabilité est possible en analysant les dimensions activées pour une image donnée, permettant de comprendre quels attributs de quelle classe sont détectés. Cette thèse détaille le développement et l’évaluation de notre méthode à travers plusieurs versions, chacune visant à améliorer les performances et à adresser des limites identifiées grâce à l'interprétabilité, telles que la corrélation des attributs extraits. Les résultats obtenus sur un benchmark de détection de classes inconnues montrent une amélioration notable des performances entre nos différentes versions, bien que présentant des résultats inférieurs à l'état de l'art.
Origine | Version validée par le jury (STAR) |
---|