Dans ce mémoire, nous nous intéressons à une façon géométrique de voir la méthode du Lasso en régression linéaire. Le Lasso est une méthode qui, de façon simultanée, estime les coefficients associés aux prédicteurs et sélectionne les prédicteurs importants pour expliquer la variable réponse. Les coefficients sont calculés à l’aide d’algorithmes computationnels. Malgré ses vertus, la méthode du Lasso est forcée de sélectionner au maximum n variables lorsque nous nous situons en grande dimension (p > n). De plus, dans un groupe de variables corrélées, le Lasso sélectionne une variable “au hasard”, sans se soucier du choix de la variable. Pour adresser ces deux problèmes, nous allons nous tourner vers le Lasso Linéaire. Le vecteur réponse est alors vu comme le point focal de l’espace et tous les autres vecteurs de variables explicatives gravitent autour du vecteur réponse. Les angles formés entre le vecteur réponse et les variables explicatives sont supposés fixes et nous serviront de base pour construire la méthode. L’information contenue dans les variables explicatives est projetée sur le vecteur réponse. La théorie sur les modèles linéaires normaux nous permet d’utiliser les moindres carrés ordinaires (MCO) pour les coefficients du Lasso Linéaire. Le Lasso Linéaire (LL) s’effectue en deux étapes. Dans un premier temps, des variables sont écartées du modèle basé sur leur corrélation avec la variable réponse; le nombre de variables écartées (ou ordonnées) lors de cette étape dépend d’un paramètre d’ajustement γ. Par la suite, un critère d’exclusion basé sur la variance de la distribution de la variable réponse est introduit pour retirer (ou ordonner) les variables restantes. Une validation croisée répétée nous guide dans le choix du modèle final. Des simulations sont présentées pour étudier l’algorithme en fonction de différentes valeurs du paramètre d’ajustement γ. Des comparaisons sont effectuées entre le Lasso Linéaire et des méthodes compétitrices en petites dimensions (Ridge, Lasso, SCAD, etc.). Des améliorations dans l’implémentation de la méthode sont suggérées, par exemple l’utilisation de la règle du 1se nous permettant d’obtenir des modèles plus parcimonieux. Une implémentation de l’algorithme LL est fournie dans la fonction R intitulée linlasso, disponible au https://github.com/yanwatts/linlasso.

La classe des modèles à chaîne de Markov cachée (HMM, Hidden Markov Models) permet, entre autres, de modéliser des données financières. Par exemple, dans ce type de modèle, la distribution du rendement sur un actif financier est exprimée en fonction d'une variable non-observée, une chaîne de Markov, qui représente la volatilité de l'actif. Notons que les dynamiques de cette volatilité sont difficiles à reproduire, car la volatilité est très persistante dans le temps. Les HMM ont la particularité de permettre une variation de la volatilité selon les états de la chaîne de Markov. Historiquement, ces modèles ont été estimés avec un nombre faible de régimes (états), car le nombre de paramètres à estimer explose rapidement avec le nombre de régimes et l'optimisation devient vite difficile. Pour résoudre ce problème une nouvelle sous-classe de modèles à chaîne de Markov cachée, dite à haute dimension, a vu le jour grâce aux modèles dits factoriels et à de nouvelles méthodes de paramétrisation de la matrice de transition. L'objectif de cette thèse est d'étendre cette classe de modèles avec de nouvelles approches plus générales et de montrer leurs applications dans le domaine financier. Dans sa première partie, cette thèse formalise la classe des modèles factoriels à chaîne de Markov cachée et étudie les propriétés théoriques de cette classe de modèles. Dans ces modèles, la dynamique de la volatilité dépend d'une chaîne de Markov latente de haute dimension qui est construite en multipliant des chaînes de Markov de dimension plus faible, appelées composantes. Cette classe englobe les modèles factoriels à chaîne de Markov cachée précédemment proposés dont les composantes sont de dimension deux. Le modèle MDSV (Multifractal Discrete Stochastic Volatility) est introduit afin de pouvoir considérer des composantes de dimension supérieure à deux, généralisant ainsi les modèles factoriels existants. La paramétrisation particulière de ce modèle lui offre suffisamment de flexibilité pour reproduire différentes allures de décroissance de la fonction d'autocorrélation, comme celles qui sont observées sur les données financières. Un cadre est également proposé pour modéliser séparément ou simultanément les données de rendements financiers et de variances réalisées. Une analyse empirique sur 31 séries d'indices financiers montre que le modèle MDSV présente de meilleures performances en termes d'estimation et de prévision par rapport au modèle realized EGARCH. La modélisation par l'entremise des modèles factoriels à chaîne de Markov cachée nécessite qu'on définisse le nombre N de composantes à multiplier et cela suppose qu'il n'existe pas d'incertitude lié à ce nombre. La seconde partie de cette thèse propose, à travers une approche bayésienne, le modèle iFHMV (infinite Factorial Hidden Markov Volatility) qui autorise les données à déterminer le nombre de composantes nécessaires à leur modélisation. En s'inspirant du processus du buffet indien (IBP, Indian Buffet Process), un algorithme est proposé pour estimer ce modèle, sur les données de rendements financiers. Une analyse empirique sur les données de deux indices financiers et de deux actions permet de remarquer que le modèle iFHMV intègre l'incertitude liée au nombre de composantes pour les estimations et les prévisions. Cela lui permet de produire de meilleures prévisions par rapport à des modèles de référence.

Ce mémoire a pour but d'intégrer une composante adaptative au sein des algorithmes Metropolis à essais multiples (MTM) qui sont un cas particulier des méthodes de Monte Carlo par chaîne de Markov (MCMC). Les méthodes MCMC ainsi que leurs extensions adaptatives et à essais multiples sont explorées en profondeur (tant au niveau des variations possibles que de leurs propriétés théoriques) afin de bien ancrer l'étude de l'algorithme Metropolis à essais multiples adaptatif (aMTM) proposé. De plus, certains résultats dans la littérature sur les méthodes à essais multiples sont généralisés permettant alors l'obtention de résultats plus généraux à propos de l'algorithme aMTM. L'ergodicité de l'algorithme est ensuite démontrée en utilisant des résultats bien connus tirés de Roberts et Rosenthal (2007), d'Andrieu et Moulines (2006) et de Craiu et collab. (2015) et sa performance empirique est étudiée à travers une série d'expériences de simulation. L'algorithme aMTM arrive notamment à surpasser substantiellement des échantillonneurs plus simples (sans adaptation ou à un seul essai) pour des distributions cibles multimodales ou à géométrie complexe. Enfin, différentes variantes de l'algorithme sont proposées et comparées afin d'identifier des réglages particulièrement plus efficaces. Une implémentation de l'algorithme aMTM est fournie dans un progiciel R appelé aMTM disponible au https://github.com/fontaine618/aMTM.

Dans ce mémoire, nous nous intéressons à une nouvelle classe de distributions instrumentales informatives dans le cadre de l'algorithme Metropolis-Hastings. Ces distributions instrumentales, dites en équilibre, sont obtenues en ajoutant de l'information à propos de la distribution cible à une distribution instrumentale non informative. Une chaîne de Markov générée par une distribution instrumentale en équilibre est réversible par rapport à la densité cible sans devoir utiliser une probabilité d'acceptation dans deux cas extrêmes: le cas local lorsque la variance instrumentale tend vers 0 et le cas global lorsqu'elle tend vers l'infini. Il est nécessaire d'approximer les distributions instrumentales en équilibre afin de pouvoir les utiliser en pratique. Nous montrons que le cas local mène au Metropolis-adjusted Langevin algorithm (MALA), tandis que le cas global mène à une légère modification du MALA. Ces résultats permettent de concevoir un nouvel algorithme généralisant le MALA grâce à l'ajout d'un nouveau paramètre. En fonction de celui-ci, l'algorithme peut utiliser l'équilibre local ou global ou encore une interpolation entre ces deux cas. Nous étudions ensuite la paramétrisation optimale de cet algorithme en fonction de la dimension de la distribution cible sous deux régimes: le régime asymptotique puis le régime en dimensions finies. Diverses simulations permettent d'illustrer les résultats théoriques obtenus. De plus, une application du nouvel algorithme à un problème de régression logistique bayésienne permet de comparer son efficacité à des algorithmes existants. Les résultats obtenus sont satisfaisants autant d'un point de vue théorique que computationnel.

La simulation de variables aléatoires provenant de lois multimodales par des méthodes MCMC présente des défis particuliers. Les algorithmes adaptatifs utilisés pour faire face à ces distributions cherchent à faire le bon compromis entre efficacité asymptotique et vitesse d'exécution. Nous proposons dans ce mémoire une amélioration d'un algorithme MCMC avec adaptation régionale (RAPT) de Craiu et al. (2009), qui consiste à ajouter à ce dernier une partition adaptative régularisée de l'espace échantillonnal. Précisément, la partition est déterminée en construisant un hyperplan perpendiculaire à la droite joignant les moyennes échantillonnales cumulées dans chaque région, et passant par le point équidistant des deux moyennes selon la distance de Mahalanobis. Le but de cet ajout est de conférer plus de robustesse par rapport à la partition initiale des régions, tout en ajoutant un coût computationnel minimal à la procédure. Nous détaillons le fonctionnement de l'algorithme et de ses variantes, et situons celui-ci dans le cadre général des méthodes MCMC adaptatives, incluant une revue des principaux algorithmes avec adaptation régionale compétiteurs. L'ergodicité du processus généré par ce nouvel algorithme est démontrée à l'aide des conditions suffisantes d'ergodicité de Roberts et Rosenthal (2007). Nous présentons des illustrations graphiques du processus d'adaptation de la partition. Puis, nous comparons les performances de notre algorithme à celles des algorithmes RAPT et RAPTOR à l'aide de nombreuses simulations inspirées de la littérature et dégageons les forces et faiblesses de ces trois options. En général, notre algorithme a offert des résultats comparables à ceux de ses compétiteurs et s'est avéré dans certains cas le meilleur choix, surtout lorsque l'on tient compte de l'effort computationnel requis.

Dans cette thèse, deux aspects incontournables de l’analyse statistique sont traités, soient la sélection de modèles et l’estimation des paramètres. Ceci est effectué dans un contexte bayésien par l’intermédiaire de trois articles. Dans le premier, ces aspects sont traités d’un point de vue computationnel. L’algorithme à sauts réversibles, une méthode Monte Carlo par chaînes de Markov permettant simultanément la sélection de modèles et l’estimation des paramètres, est analysé dans l’objectif d’indiquer à l’utilisateur la façon optimale de l’implémenter. Un algorithme implémenté optimalement correspond à un algorithme engendrant des chaînes de Markov qui explorent leur espace d’états de façon optimale. L’objectif est atteint par l’intermédiaire de l’optimisation d’un processus stochastique correspondant à la limite (en distribution) de la suite des processus stochastiques engendrés par cet algorithme. Dans le deuxième article, une stratégie menant à l’estimation robuste des paramètres d’un modèle de régression linéaire en présence de valeurs aberrantes est présentée. La stratégie consiste à poser des hypothèses plus adaptées à cette éventualité de présence de valeurs aberrantes, comparativement au modèle traditionnel basé sur l’hypothèse de normalité des erreurs. Il s’agit de remplacer cette hypothèse de normalité par une hypothèse de distribution à ailes extrêmement relevées. La robustesse, se traduisant par la convergence de la distribution a posteriori des paramètres (basée sur l’échantillon entier) vers celle excluant les valeurs aberrantes, est garantie lorsque le nombre de valeurs aberrantes ne dépasse pas un certain seuil. Finalement, les résultats présentés dans les deux premiers articles sont combinés afin d’introduire une approche bayésienne de régression robuste sur composantes principales faisant intervenir la sélection de modèles dans le processus de prédiction. Ces caractéristiques de robustesse et d’incorporation de la sélection de modèles dans l’analyse contribuent à l’amélioration de la précision des prédictions produites.

Nous présentons dans ce mémoire un nouvel algorithme de type Metropolis-Hastings dans lequel la distribution instrumentale a été conçue pour l'estimation de distributions cibles bimodales. En fait, cet algorithme peut être vu comme une modification de l'algorithme Metropolis de type marche aléatoire habituel auquel on ajoute quelques incréments de grande envergure à des moments aléatoires à travers la simulation. Le but de ces grands incréments est de quitter le mode de la distribution cible où l'on se trouve et de trouver l'autre mode. Par la suite, nous présentons puis démontrons un résultat de convergence faible qui nous assure que, lorsque la dimension de la distribution cible croît vers l'infini, la chaîne de Markov engendrée par l'algorithme converge vers un certain processus stochastique qui est continu presque partout. L'idée est similaire à ce qui a été fait par Roberts et al. (1997), mais la technique utilisée pour la démonstration des résultats est basée sur ce qui a été fait par Bédard (2006). Nous proposons enfin une stratégie pour trouver la paramétrisation optimale de notre nouvel algorithme afin de maximiser la vitesse d'exploration locale des modes d'une distribution cible donnée tout en estimant bien la pondération relative de chaque mode. Tel que dans l'approche traditionnellement utilisée pour ce genre d'analyse, notre stratégie passe par l'optimisation de la vitesse d'exploration du processus limite. Finalement, nous présentons des exemples numériques d'implémentation de l'algorithme sur certaines distributions cibles, dont une ne respecte pas les conditions du résultat théorique présenté.

Les méthodes de Monte Carlo par chaînes de Markov (MCCM) sont des méthodes servant à échantillonner à partir de distributions de probabilité. Ces techniques se basent sur le parcours de chaînes de Markov ayant pour lois stationnaires les distributions à échantillonner. Étant donné leur facilité d’application, elles constituent une des approches les plus utilisées dans la communauté statistique, et tout particulièrement en analyse bayésienne. Ce sont des outils très populaires pour l’échantillonnage de lois de probabilité complexes et/ou en grandes dimensions. Depuis l’apparition de la première méthode MCCM en 1953 (la méthode de Metropolis, voir [10]), l’intérêt pour ces méthodes, ainsi que l’éventail d’algorithmes disponibles ne cessent de s’accroître d’une année à l’autre. Bien que l’algorithme Metropolis-Hastings (voir [8]) puisse être considéré comme l’un des algorithmes de Monte Carlo par chaînes de Markov les plus généraux, il est aussi l’un des plus simples à comprendre et à expliquer, ce qui en fait un algorithme idéal pour débuter. Il a été sujet de développement par plusieurs chercheurs. L’algorithme Metropolis à essais multiples (MTM), introduit dans la littérature statistique par [9], est considéré comme un développement intéressant dans ce domaine, mais malheureusement son implémentation est très coûteuse (en termes de temps). Récemment, un nouvel algorithme a été développé par [1]. Il s’agit de l’algorithme Metropolis à essais multiples revisité (MTM revisité), qui définit la méthode MTM standard mentionnée précédemment dans le cadre de l’algorithme Metropolis-Hastings sur un espace étendu. L’objectif de ce travail est, en premier lieu, de présenter les méthodes MCCM, et par la suite d’étudier et d’analyser les algorithmes Metropolis-Hastings ainsi que le MTM standard afin de permettre aux lecteurs une meilleure compréhension de l’implémentation de ces méthodes. Un deuxième objectif est d’étudier les perspectives ainsi que les inconvénients de l’algorithme MTM revisité afin de voir s’il répond aux attentes de la communauté statistique. Enfin, nous tentons de combattre le problème de sédentarité de l’algorithme MTM revisité, ce qui donne lieu à un tout nouvel algorithme. Ce nouvel algorithme performe bien lorsque le nombre de candidats générés à chaque itérations est petit, mais sa performance se dégrade à mesure que ce nombre de candidats croît.

Les titres financiers sont souvent modélisés par des équations différentielles stochastiques (ÉDS). Ces équations peuvent décrire le comportement de l'actif, et aussi parfois certains paramètres du modèle. Par exemple, le modèle de Heston (1993), qui s'inscrit dans la catégorie des modèles à volatilité stochastique, décrit le comportement de l'actif et de la variance de ce dernier. Le modèle de Heston est très intéressant puisqu'il admet des formules semi-analytiques pour certains produits dérivés, ainsi qu'un certain réalisme. Cependant, la plupart des algorithmes de simulation pour ce modèle font face à quelques problèmes lorsque la condition de Feller (1951) n'est pas respectée. Dans ce mémoire, nous introduisons trois nouveaux algorithmes de simulation pour le modèle de Heston. Ces nouveaux algorithmes visent à accélérer le célèbre algorithme de Broadie et Kaya (2006); pour ce faire, nous utiliserons, entre autres, des méthodes de Monte Carlo par chaînes de Markov (MCMC) et des approximations. Dans le premier algorithme, nous modifions la seconde étape de la méthode de Broadie et Kaya afin de l'accélérer. Alors, au lieu d'utiliser la méthode de Newton du second ordre et l'approche d'inversion, nous utilisons l'algorithme de Metropolis-Hastings (voir Hastings (1970)). Le second algorithme est une amélioration du premier. Au lieu d'utiliser la vraie densité de la variance intégrée, nous utilisons l'approximation de Smith (2007). Cette amélioration diminue la dimension de l'équation caractéristique et accélère l'algorithme. Notre dernier algorithme n'est pas basé sur une méthode MCMC. Cependant, nous essayons toujours d'accélérer la seconde étape de la méthode de Broadie et Kaya (2006). Afin de réussir ceci, nous utilisons une variable aléatoire gamma dont les moments sont appariés à la vraie variable aléatoire de la variance intégrée par rapport au temps. Selon Stewart et al. (2007), il est possible d'approximer une convolution de variables aléatoires gamma (qui ressemble beaucoup à la représentation donnée par Glasserman et Kim (2008) si le pas de temps est petit) par une simple variable aléatoire gamma.

Les méthodes de Monte Carlo par chaîne de Markov (MCMC) sont des outils très populaires pour l’échantillonnage de lois de probabilité complexes et/ou en grandes dimensions. Étant donné leur facilité d’application, ces méthodes sont largement répandues dans plusieurs communautés scientifiques et bien certainement en statistique, particulièrement en analyse bayésienne. Depuis l’apparition de la première méthode MCMC en 1953, le nombre de ces algorithmes a considérablement augmenté et ce sujet continue d’être une aire de recherche active. Un nouvel algorithme MCMC avec ajustement directionnel a été récemment développé par Bédard et al. (IJSS, 9 :2008) et certaines de ses propriétés restent partiellement méconnues. L’objectif de ce mémoire est de tenter d’établir l’impact d’un paramètre clé de cette méthode sur la performance globale de l’approche. Un second objectif est de comparer cet algorithme à d’autres méthodes MCMC plus versatiles afin de juger de sa performance de façon relative.