Cette thèse s'appuie sur deux branches des systèmes dynamiques : la théorie du nombre de rotation des endomorphismes du cercle de degré un et des applications de l'anneau déviant la verticale, ainsi que la théorie des systèmes non-uniformément hyperboliques. Nous nous intéressons tout d'abord à une classe d'applications bimodales du cercle, dilatantes et affines par morceaux. Chaque application de cette famille possède un nombre de rotation presque sûr : c'est le nombre de rotation de presque tout point du cercle. Nous étudions sa régularité et montrons que le nombre de rotation presque sûr est irrationnel pour un ensemble de paramètres de mesure totale. Nous considérons ensuite les applications de l'anneau qui dévient la verticale et plus particulièrement les applications bimodales de la famille d'Arnol'd épaissie. Un rôle essentiel est joué par les orbites de torsion nulle. Elles permettent de montrer que l'ensemble des applications qui possèdent un nombre de rotation fixé, forme dans l'espace des paramètres une langue d'Arnol'd bordée par deux surfaces. La frontière des langues rationnelles est associée à des bifurcations selle-noeud et homoclines. Nous obtenons enfin des estimations sur la taille de l'ensemble de rotation et de l'attracteur de Birkhoff. L'appendice est consacré aux bifurcations selles-noeud d'ensembles hyperboliques localement maximaux dont la direction instable est de dimension un. Cette bifurcation préserve la décomposition géométrique de l'espace tangent en espaces stables et instables. En revanche, l'expansion dans la direction instable dégénère près d'une orbite périodique. Nous obtenons alors une bifurcation de codimension un.

La dynamique d'un difféomorphisme d'une variété compacte est essentiellement concentrée sur l'ensemble récurrent par chaînes, qui est partitionné en classes de récurrence par chaînes, disjointes et indécomposables. Le travail de Bonatti et Crovisier [BC] montre que, pour les difféomorphismes C¹-génériques, une classe de récurrence par chaînes ou bien est une classe homocline, ou bien ne contient pas de point périodique. Une classe de récurrence par chaînes sans point périodique est appelée classe apériodique.Il est clair qu'une classe homocline hyperbolique ni contient d'orbite périodique faible ni supporte de mesure non hyperbolique.Cette thèse tente de donner une caractérisation des classes homoclines non hyperboliques en montrant qu'elles contiennent des orbites périodiques faibles ou des mesures ergodiques non hyperboliques. Cette thèse décrit également les décompositions dominées sur les classes apériodiques.Le premier résultat de cette thèse montre que, pour les difféomorphismes C¹-génériques, si les orbites périodiques contenues dans une classe homocline H(p) ont tous leurs exposants de Lyapunov bornés loin de zéro, alors H(p) doit être (uniformément) hyperbolique. Ceci est dans l'esprit des travaux sur la conjecture de stabilité, mais il y a une différence importante lorsque la classe homocline H(p) n'est pas isolée. Par conséquent, nous devons garantir que des orbites périodiques "faibles'', crées par perturbations au voisinage de la classe homocline, sont contenues dans la classe. En ce sens, le problème est de nature "intrinsèque'', et l'argument classique de la conjecture de stabilité est impraticable.Le deuxième résultat de cette thèse prouve une conjecture de Díaz et Gorodetski [DG]: pour les difféomorphismes C¹-génériques, si une classe homocline n'est pas hyperbolique, alors elle porte une mesure ergodique non hyperbolique. C'est un travail en collaboration avec C. Cheng, S. Crovisier, S. Gan et D. Yang. Dans la démonstration, nous devons appliquer une technique introduité dans [DG], et qui améliore la méthode de [GIKN], pour obtenir une mesure ergodique comme limite d'une suite de mesures périodiques.Le troisième résultat de cette thèse énonce que, génériquement, une décomposition dominée non-triviale sur une classe apériodique stable au sens de Lyapunov est en fait une décomposition partiellement hyperbolique. Plus précisément, pour les difféomorphismes C¹-génériques, si une classe apériodique stable au sens de Lyapunov a une décomposition dominée non-triviale Eoplus F, alors, l'un des deux fibrés est hyperbolique: soit E contracté, soit F dilaté.Dans les démonstrations des résultats principaux, nous construisons des perturbations qui ne sont pas obtenues directement à partir des lemmes de connexion classiques. En fait, il faut appliquer le lemme de connexion un grand nombre (et même un nombre infini) de fois. Nous expliquons les méthodes de connexions multiples dans le Chapitre 3. / The dynamics of a diffeomorphism of a compact manifold concentrates essentially on the chain recurrent set, which splits into disjoint indecomposable chain recurrence classes. By the work of Bonatti and Crovisier [BC], for C¹-generic diffeomorphisms, a chain recurrence class either is a homoclinic class or contains no periodic point. A chain recurrence class without a periodic point is called an aperiodic class.Obviously, a hyperbolic homoclinic class can neither contain weak periodic orbit or support non-hyperbolic ergodic measure.This thesis attempts to give a characterization of non-hyperbolic homoclinic classes via weak periodic orbits inside or non-hyperbolic ergodic measures supported on it. Also, this thesis gives a description of the dominated splitting on Lyapunov stable aperiodic classes.The first result of this thesis shows that for C¹-generic diffeomorphisms, if the periodic orbits contained in a homoclinic class H(p) have all their Lyapunov exponents bounded away from 0, then H(p) must be (uniformly) hyperbolic. This is in spirit of the works of the stability conjecture, but with a significant difference that the homoclinic class H(p) is not known isolated in advance. Hence the "weak'' periodic orbits created by perturbations near the homoclinic class have to be guaranteed strictly inside the homoclinic class. In this sense the problem is of an "intrinsic" nature, and the classical argument of the stability conjecture does not pass through.The second result of this thesis proves a conjecture by Díaz and Gorodetski [DG]: for C¹-generic diffeomorphisms, if a homoclinic class is not hyperbolic, then there is a non-hyperbolic ergodic measure supported on it. This is a joint work with C. Cheng, S. Crovisier, S. Gan and D. Yang. In the proof, we have to use a technic introduced in [DG], which developed the method of [GIKN], to get an ergodic measure by taking the limit of a sequence of periodic measures.The third result of this thesis states that, generically, a non-trivial dominated splitting over a Lyapunov stable aperiodic class is in fact a partially hyperbolic splitting. To be precise, for C¹-generic diffeomorphisms, if a Lyapunov stable aperiodic class admits a non-trivial dominated splitting Eoplus F, then one of the two bundles is hyperbolic: either E is contracted or F is expanded.In the proofs of the main results, we construct several perturbations which are not simple applications of the connecting lemmas. In fact, one has to apply the connecting lemma several (even infinitely many) times. We will give the detailed explanations of the multi-connecting processes in Chapter 3.