Dans cette thèse, deux aspects incontournables de l’analyse statistique sont traités, soient la sélection de modèles et l’estimation des paramètres. Ceci est effectué dans un contexte bayésien par l’intermédiaire de trois articles. Dans le premier, ces aspects sont traités d’un point de vue computationnel. L’algorithme à sauts réversibles, une méthode Monte Carlo par chaînes de Markov permettant simultanément la sélection de modèles et l’estimation des paramètres, est analysé dans l’objectif d’indiquer à l’utilisateur la façon optimale de l’implémenter. Un algorithme implémenté optimalement correspond à un algorithme engendrant des chaînes de Markov qui explorent leur espace d’états de façon optimale. L’objectif est atteint par l’intermédiaire de l’optimisation d’un processus stochastique correspondant à la limite (en distribution) de la suite des processus stochastiques engendrés par cet algorithme. Dans le deuxième article, une stratégie menant à l’estimation robuste des paramètres d’un modèle de régression linéaire en présence de valeurs aberrantes est présentée. La stratégie consiste à poser des hypothèses plus adaptées à cette éventualité de présence de valeurs aberrantes, comparativement au modèle traditionnel basé sur l’hypothèse de normalité des erreurs. Il s’agit de remplacer cette hypothèse de normalité par une hypothèse de distribution à ailes extrêmement relevées. La robustesse, se traduisant par la convergence de la distribution a posteriori des paramètres (basée sur l’échantillon entier) vers celle excluant les valeurs aberrantes, est garantie lorsque le nombre de valeurs aberrantes ne dépasse pas un certain seuil. Finalement, les résultats présentés dans les deux premiers articles sont combinés afin d’introduire une approche bayésienne de régression robuste sur composantes principales faisant intervenir la sélection de modèles dans le processus de prédiction. Ces caractéristiques de robustesse et d’incorporation de la sélection de modèles dans l’analyse contribuent à l’amélioration de la précision des prédictions produites.