Dans cette thèse, nous utilisons et contribuons à la théorie des produits de matrices aléatoires afin d'étudier des propriétés génériques des éléments et des sous-groupes des groupes linéaires. Notre premier résultat donne une version probabiliste de l'alternative de Tits : nous montrons que si M_n et M'_n sont deux marches aléatoires indépendantes sur un groupe linéaire de type fini non virtuellement résoluble alors presque sûrement les deux marches finiront par engendrer un sous-groupe libre non abélien à deux générateurs. Cela répond par l'affirmative à une question de Guivarc'h et de Gilman, Miasnikov et Osin. Plus précisément, nous montrons que la probabilité que M_n et M'_n n'engendrent pas un sous-groupe libre décroit exponentiellement vite vers zéro. Notre outil principal est la théorie des produits de matrices aléatoires. Durant la preuve, nous établissons de nouveaux théorèmes limites dans cette théorie, d'une part en généralisant des résultats connus dans le cadre des produits de matrices à valeurs dans les corps archimédiens à tout corps local, d'autre part en donnant des résultats qui sont nouveaux même sur R. Par exemple, nous montrons que sous des hypothèses naturelles sur la marche aléatoire, les composantes suivant K de M_n dans la décomposition KAK deviennent asymptotiquement indépendantes avec vitesse exponentielle. Dans la deuxième partie de la thèse, nous utilisons ces résultats pour étudier la transience des sous-variétés des groupes algébriques. Un de nos résultats peut être formulé comme suit: soient H un sous-groupe non élémentaire de SL_2(R), une probabilité adaptée sur H ayant un moment exponentiel, alors pour toute sous-variété algébrique propre V de SL_2(R), la probabilité que la marche aléatoire appartienne à V décroit exponentiellement vite vers zéro. Par conséquent, la sous-variété algébrique V est transiente pour la marche aléatoire. Nous généralisons cet énoncé au cas ou la marche aléatoire est adaptée sur un groupe Zariski dense des points réels d'un groupe algébrique défini et déployé sur R. Ces résultats sont à comparer avec des travaux récents de Kowalski et de Rivin. / In this thesis, we use and contribute to the theory of random matrix products in order to study generic properties of elements and subgroups of linear groups. Our first result gives a probabilistic version of the Tits alternative : we show that two independent random walks M_n and M'_n on a non virtually solvable finitely generated linear group will eventually generate a non abelian free subgroup. This answers a question of Guivarc'h and Gilman, Miasnikov and Osin. We show in fact that the probability that M_n and M'_n do not generate a free subgroup decreases exponentially fast to zero. Our methods rely deeply on random matrix products theory. During the proof we give some new limit theorems concerning this theory, some of them will be the generalization of known results for matrices taking value in archimedean fields to arbitrary local fields, others will be new even over R. For example, we show that under natural assumptions on the random walk, the K-parts of M_n in the KAK decomposition become asymptotically independent with exponential speed. Next, we use these properties to study the transience of algebraic subvarieties in algebraic groups. One of our results can be formulated as follows: let H be a non elementary subgroup of SL_2(R), a probability measure with an exponential moment whose support generates H, then for every proper algebraic subvariety V of SL_2(R), the probability that the random walk lies in V decreases exponentially fast to zero. This shows that every proper algebraic subvariety is transient for the random walk. We generalize this result to the case where the support of the probability measure generates a Zariski dense subgroup of the real points of an algebraic group defined and split over R. These results share common flavor with recent works of Kowalski and Rivin

Soit G un groupe dénombrable, qui se scinde en un produit libre de la forme G=G_1*...*G_k*F, où F est un groupe libre de type fini, et les G_i sont librement indécomposables et non isomorphes à Z. Nous montrons que le groupe Out(G) des automorphismes extérieurs de G satisfait l'alternative de Tits, dès lors que chacun des groupes G_i et Out(G_i) la satisfait. Par des méthodes similaires, nous montrons aussi l'alternative suivante pour tout sous-groupe H de Out(F_N), due à Handel et Mosher lorsque H est de type fini : soit H fixe virtuellement la classe de conjugaison d'un facteur libre propre de F_N, soit H contient un automorphisme complètement irréductible. Nos méthodes, géométriques, utilisent l'étude de la dynamique de l'action de certains sous-groupes de Out(G) sur des espaces hyperboliques. Nous décrivons notamment l'adhérence de l'outre-espace de G relatif aux G_i, et le bord de Gromov du complexe (hyperbolique) des scindements cycliques relatifs associé. Nous étudions par ailleurs les marches aléatoires sur Out(F_N). Sous un certain nombre de conditions sur la mesure de probabilité mu, nous montrons que presque toute trajectoire de la marche aléatoire sur (Out(F_N),mu) converge vers un point du bord de Gromov du complexe des facteurs libres de F_N, que nous identifions au bord de Poisson de (Out(F_N),mu). Par ailleurs, nous décrivons l'horofrontière de l'outre-espace. Ceci a des applications à l'étude de la croissance des classes de conjugaison de F_N sous l'effet de produits aléatoires d'automorphismes extérieurs. / Let G be a countable group that splits as a free product of the form G=G_1*...*G_k*F, where F is a finitely generated free group, and the groups G_i are freely indecomposable and not isomorphic to Z. We show that Out(G) satisfies the Tits alternative, as soon as all the groups G_i and Out(G_i) do. Similar techniques also yield another alternative for subgroups H of Out(F_N), due to Handel and Mosher when H is finitely generated, namely: either H virtually fixes the conjugacy class of some proper free factor of F_N, or H contains a fully irreducible automorphism. Our methods are geometric, and require understanding the dynamics of the action of some subgroups of Out(G) on Gromov hyperbolic spaces. In particular, we determine the closure of the outer space of G relative to the G_i's, as well as the Gromov boundary of the (hyperbolic) complex of relative cyclic splittings of G. We also study random walks on Out(F_N). Given a probability measure mu on Out(F_N) (satisfying some conditions), we prove that almost every sample path of the random walk on (Out(F_N),mu) converges to a point of the Gromov boundary of the free factor complex of F_N, which we identify with the Poisson boundary of (Out(F_N),mu). We also describe the horoboundary of outer space, and give applications to growth of conjugacy classes of F_N under random products of outer automorphisms.