Régression orthogonale par les réseaux de neurones

English

Séminaire Probabilités & Statistique

19/05/2011 - 14:00 Giansalvo Cirrincione (Laboratoire LTI, Universite de Picardie Jules Verne) Salle 1 - Tour IRMA

On présente les problèmes de régression linéaire dont la solution est donnée par la méthode de Moindres Carrés Totaux (TLS=Total Least Squares). Cette méthode, connue aussi dans la littérature sous le nom de régression orthogonale, donne le seul estimateur non biaisé des paramètres du problème de régression quand toutes les variables sont entachées de bruit. On montre une interprétation théorique globale de tous les algorithmes TLS qui explique leurs caractéristiques en utilisant de nouvelles techniques d’analyse, surtout sur la convergence et la stabilité. En particulier on décrira un phénomène particulier : la divergence soudaine (presque toutes les lois d'apprentissage actuelles divergent en un temps fini et ne permettent donc pas le choix d'un critère d'arrêt fiable). 
On introduit les algorithmes MCA EXIN, NMCA EXIN (version robuste de MCA EXIN) et surtout TLS EXIN, qui dérive de MCA EXIN. En particulier, on en donnera une théorie géométrique et matricielle et une analyse complète de la stabilité et du domaine de convergence, où on est mis en évidence l'existence de conditions initiales universelles, c'est à dire des conditions initiales qui garantissent toujours la convergence indépendamment du problème en question.
Une importante variante de TLS EXIN s’appelle CTLS EXIN. Elle a une fonction à minimiser qui tient en compte de la particulière structure des données dans l’estimation en vision par ordinateur des matrices essentielles et fondamentales pour le problème « structure from motion ».
Cependant, la partie plus intéressante de la théorie est sa généralisation (GeTLS) à tous les cas possibles de régression qui font différentes hypothèses sur la présence du bruit dans les données (OLS, DLS). GeTLS généralise TLS, en utilisant dans la fonction de coût un seul paramètre, qui est fini dans tous les cas possibles de régression (contrairement à autres techniques existantes). A partir de GeTLS on a crée l’algorithme GeTLS EXIN qui a une forte base théorique et MCA EXIN+ avec les meilleures performances de stabilité et vitesse pour TLS. 
On terminera avec une nouvelle théorie (GeMCA) qui étudie en profondeur le problème GeTLS (en le transformant dans un problème de valeurs propres généralisées) et le généralise à MCA (GeMCA EXIN).