L’analyse en composantes principales (ACP) est une technique statistique fondamentale ayant de nombreuses applications en apprentissage automatique, en biologie, en finance quantitative et en science actuarielle. En science actuarielle, par exemple, l’ACP peut être utilisée pour réduire la dimension de données de courbes de taux, ce qui permet de résumer l’information essentielle contenue dans des ensembles de données de grande dimension tout en facilitant leur exploration et leur interprétation en vue de la prévision des prix futurs des actifs et des mouvements économiques. D’un point de vue statistique, l’ACP apparaît comme la solution du maximum de vraisemblance du modèle d’analyse en composantes principales probabiliste (ACPP) dans la limite où le bruit gaussien tend vers zéro. Malgré son usage répandu, une compréhension théorique approfondie de la solution du maximum de vraisemblance du modèle ACPP faisait défaut, principalement en raison de la non-identifiabilité du modèle. Dans cette thèse, nous proposons un cadre général, inspiré d’idées issues de la topologie quotient, afin de traiter de tels problèmes de non-identifiabilité. Cependant, le modèle ACPP avec bruit gaussien est bien connu pour sa sensibilité aux observations extrêmes, ou valeurs aberrantes, pouvant conduire à des conclusions trompeuses. Nous proposons ensuite une alternative bayésienne robuste à l’ACPP, qui en préserve les principaux avantages tout en offrant une meilleure fiabilité en présence de valeurs aberrantes. Notre modèle d’analyse en composantes principales bayésienne (ACPB) remplace le bruit gaussien par des distributions à queues lourdes, telles que la loi de Student, afin de limiter l’influence des valeurs aberrantes en attribuant des probabilités non négligeables aux événements de queue. En nous appuyant sur des travaux antérieurs en régression linéaire robuste, nous montrons théoriquement que le modèle robuste d’ACPB proposé atteint la robustesse, en estimant adéquatement les paramètres du modèle sous des hypothèses raisonnables sur le nombre de valeurs aberrantes. Ici, la robustesse renvoie à un impact borné ou asymptotiquement nul des valeurs aberrantes sur les estimateurs lorsque celles-ci deviennent de plus en plus extrêmes. Nous étayons nos résultats théoriques par des expériences numériques et utilisons l’inférence variationnelle par ascension coordonnée (IVAC) pour calculer des estimateurs robustes, fournissant ainsi une solution complète. Par souci d’exhaustivité, nous proposons également, dans ce contexte, une étude comparative de l’inférence variationnelle et de l’échantillonnage de Gibbs. Enfin, à l’aide d’outils issus des systèmes dynamiques et en tirant parti de développements récents dans la littérature sur l’inférence variationnelle, nous établissons des garanties de convergence pour l’IVAC appliquée à l’ACPB avec erreurs gaussiennes.

Les modèles de graphes aléatoires de la famille exponentielle sont flexibles et permettent d’analyser des relations entre des objets. Malheureusement, leur souplesse vient avec un lot de difficultés. Échantillonner des graphes provenant de ces modèles est le plus souvent infaisable, ce qui oblige d’utiliser des techniques comme Métropolis-Hastings. Approximer l’estimateur de vraisemblance maximale est ardu, et l’utilisation de techniques souvent peu connues est nécessaire. En statistique bayésienne, une approximation par à une loi normale de la loi à postériori est tout ce qu’on peut espérer. Dans cette monographie, on commence par montrer comment échantillonner selon ces modèles, puisque cette tâche revient tout au long du document. Il s’en suit une étude détaillée sur l’estimateur de vraisemblance maximale, et puis finalement, on montre comment obtenir une approximation de la loi à postériori dans le cadre bayésien. Un grand effort est apporté à l’approximation par Monte Carlo par chaînes de Markov de l’estimateur de vraisemblance maximale. On y voit les conditions nécessaires et suffisantes à son existence et à son unicité, mais aussi à l’existence et l’unicité de son approximation. On apporte des améliorations aux algorithmes déjà existants pour mieux prendre en compte la théorie et assurer leur robustesse. On termine en démontrant le comportement asymptotique de l’approximation. Les précédentes études ont simplement appliqué la méthode pour ce type de modèle sans s’assurer de la validité de l’application, ce qu’on rectifie.

L’algorithme EM (Dempster et al., 1977) permet de construire une séquence d’estimateurs qui converge vers l’estimateur de vraisemblance maximale pour des modèles à données manquantes pour lesquels l’estimateur du maximum de vraisemblance n’est pas calculable. Cet algorithme est remarquable compte tenu de ses nombreuses applications en apprentissage statistique. Toutefois, il peut avoir un lourd coût computationnel. Les auteurs Cappé et Moulines (2009) ont proposé une version en ligne de cet algorithme pour les modèles appartenant à la famille exponentielle qui permet de faire des gains d’efficacité computationnelle importants en présence de grands jeux de données. Cependant, le calcul de l’espérance a posteriori de la statistique exhaustive, qui est nécessaire dans la version de Cappé et Moulines (2009), est rarement possible pour des modèles complexes et/ou lorsque la dimension des données manquantes est grande. On doit alors la remplacer par un estimateur. Plusieurs questions se présentent naturellement : les résultats de convergence de l’algorithme initial restent-ils valides lorsqu’on remplace l’espérance par un estimateur ? En particulier, que dire de la normalité asymptotique de la séquence des estimateurs ainsi créés, de la variance asymptotique et de la vitesse de convergence ? Comment la variance de l’estimateur de l’espérance se reflète-t-elle sur la variance asymptotique de l’estimateur EM? Peut-on travailler avec des estimateurs de type Monte-Carlo ou MCMC? Peut-on emprunter des outils populaires de réduction de variance comme les variables de contrôle ? Ces questions seront étudiées à l’aide d’exemples de modèles à variables latentes. Les contributions principales de ce mémoire sont une présentation unifiée des algorithmes EM d’approximation stochastique, une illustration de l’impact au niveau de la variance lorsque l’espérance a posteriori est estimée dans les algorithmes EM en ligne et l’introduction d’algorithmes EM en ligne permettant de réduire la variance supplémentaire occasionnée par l’estimation de l’espérance a posteriori.

Les méthodes de Monte Carlo par chaînes de Markov (MCMC) utilisent généralement des chaînes de Markov réversibles. Jusqu’à récemment, une grande partie de la recherche théorique sur les chaînes de Markov concernait ce type de chaînes, notamment les théorèmes de Peskun (1973) et de Tierney (1998) qui permettent d’ordonner les variances asymptotiques de deux estimateurs issus de chaînes réversibles différentes. Dans ce mémoire nous analysons des algorithmes simulants des chaînes qui ne respectent pas cette condition. Nous parlons alors de chaînes non réversibles. Expérimentalement, ces chaînes produisent souvent des estimateurs avec une variance asymptotique plus faible et/ou une convergence plus rapide. Nous présentons deux algorithmes, soit l’algorithme de marche aléatoire guidée (GRW) par Gustafson (1998) et l’algorithme de discrete bouncy particle sampler (DBPS) par Sherlock et Thiery (2017). Pour ces deux algorithmes, nous comparons expérimentalement la variance asymptotique d’un estimateur avec la variance asymptotique en utilisant l’algorithme de Metropolis-Hastings. Récemment, un cadre théorique a été introduit par Andrieu et Livingstone (2019) pour ordonner les variances asymptotiques d’une certaine classe de chaînes non réversibles. Nous présentons leur analyse de GRW. De plus, nous montrons que le DBPS est inclus dans ce cadre théorique. Nous démontrons que la variance asymptotique d’un estimateur peut théoriquement diminuer en ajoutant des propositions à cet algorithme. Finalement, nous proposons deux modifications au DBPS. Tout au long du mémoire, nous serons intéressés par des chaînes issues de propositions déterministes. Nous montrons comment construire l’algorithme du delayed rejection avec des fonctions déterministes et son équivalent dans le cadre de Andrieu et Livingstone (2019).