Soit p un nombre premier et G un groupe classique de type B, C ou D defini sur la cloture algebrique K du corps a p elements (si G est de type B ou D, p est impair). A l'aide de paires duales de groupes et de modules basculants, on trouve le caractere de certaines representations rationnelles irreductibles de G sur K. On obtient tout d'abord des formules en termes de tableaux semi-standards, non couvertes par la conjecture de Lusztig. Puis on determine la dimension et/ou le caractere des representations irreductibles de plus haut poids un poids fondamental, ou une somme de deux poids fondamentaux, suivant G. On en deduit notamment le comportement asymptotique de leur dimension, a p fixe, quand le rang du groupe tend vers l'infini. On dresse enfin la liste des modules de Weyl simples de plus haut poids un poids fondamental quand G est un groupe symplectique, ou de plus haut poids la somme d'un poids fondamental et du plus haut poids de la representation spin quand G est un groupe spin.

Motivé par la dualité de Howe dans la théorie des représentations de groupes de Lie, on cherche une construction analogue en géométrie symplectique, c'est-à-dire on souhaite que sa quantification géométrique décomposé de manière Howe-duale. On trouve que dans le contexte symplectique, le cadre correct est donné par deux groupes de Lie agissant sur la même variété symplectique si ces actions commutent et satisfont la condition de Howe symplectique, i. e., ces actions sont hamiltoniennes et leurs fonctions collectives sont leurs centralisateurs mutuelles dans l'algèbre de Poisson des fonctions lisses sur la variété symplectique. Une fois cette condition est remplie, nous pouvons décrire la structure d'orbites en détail. En particulier, il y a une bijection entre les orbites coadjointes dans une image d'application moment et celles dans l'image de l'autre application moment – or, il est cette bijection que nous appelerons la correspondance d’orbites coadjointes. On poursuit l'étude de la correspondance d’orbites coadjointes et on montre que, si les groupes de Lie qui agissent sont compacts et la variété symplectique est préquantifiable, l'intégralité est préservée par la correspondance. Ainsi, il est possible d'associer en même temps des représentations irréductibles aux deux orbites de la correspondance. Donc, nous avons une bijection entre certaines parties des duaux unitaires des deux groupes de Lie qui agissent sur la variété symplectique. En appliquant des résultats connus qui assurent que la quantification et la réduction commutent, nous constatons que la quantification d’une variété kählerienne (vue comme une représentation du produit des deux groupes qui agissent sur la variété) admet une décomposition en somme direct sans multiplicités de produits tensoriels des représentations irréductibles des deux groupes, les paires étant données par la bijection obtenue précédemment –parfaitement en accord avec la dualité de Howe. Ce résultat principal est accompagné par l’étude de la structure locale d’une variété avec deux actions hamiltoniennes qui commutent, ce qui donne une version locale de la correspondance d'orbites, ainsi que par des réflexions sur la relation entre la correspondance d'orbites coadjointes et la correspondance de feuilles symplectiques généralisées dans des paires duales singulières / Motivated by the representation-theoretic notion of Howe duality, we seek an analogous construction in symplectic geometry in the sense that its geometric quantization decomposes in a Howe dual fashion. We find that in the symplectic context, the correct setting is given by two Lie groups acting on a symplectic manifold when these two actions commute and satisfy the symplectic Howe ondition, i. e., these actions are Hamiltonian and their collective functions are their mutual centralizers in the Poisson algebra of smooth functions on the symplectic manifold. Once this condition is satisfied, we can describe the orbit structure in detail. In particular, there is a bijection between the coadjoint orbits in one moment image and those in the other moment image – this bijection is what we call the coadjoint orbit correspondence. We study the coadjoint orbit correspondence further and show, if the acting Lie groups are compact and the symplectic manifold is prequantizable, that it preserves integrality of the coadjoint orbits, so to both coadjoint orbits in the correspondence an irreducible representation can be associated. We thus have a bijection between certain parts of the unitary duals of both Lie groups acting on the symplectic manifold. Applying known results about the interchangeability of quantization and reduction, we see that for a Kähler manifold, its quantization (as a representation of the product of both groups acting on the manifold) decomposes into a multiplicity-free direct sum of tensor products of irreducibles of the individual groups, the pairs being given by the bijection obtained before – as one would expect according to Howe duality. This main result is accompanied by a study of the local structure of a manifold carrying two commuting Hamiltonian action which proves a local version of the orbit correspondence and by a discussion about the relation of the coadjoint orbit correspondence to the generalized symplectic leaf correspondence in singular dual pairs

Un problème majeur en théorie de Lie est de comprendre la catégorie de tous les modules d'une algèbre de Lie donnée. La catégorie O de Bernstein-Gelfand-Gelfand puis la notion de module de poids exploitée à partir des années 80 ont permis une avancée considérable dans ce domaine. Les modules cuspidaux introduits pour décrire tous les modules de poids sont aujourd'hui au coeur de cette théorie. Nous introduisons dans cette thèse une famille de catégories extrapolant la catégorie O et celle de tous les modules cuspidaux. Dans certains cas, nous décrivons entièrement la catégorie obtenue. Nous utilisons ensuite ces catégories pour décrire des correspondances pour certaines paires duales.

On étudie la correspondance de Howe entre la catégorie de représentations complexes de G et celle de G’, pour des paires duales irréductibles (G,G’) définis sur des corps finis de caractéristique impaire. On établit la compatibilité entre la correspondance de Howe et les séries arbitraires de Harish-Chandra. On démontre comment obtenir des sous-représentations extrémales (i.e. minimales et maximales) de l’image d’une représentation irréductible unipotente de G. Finalement, on démontre comment l’étude de la correspondance de Howe entre séries d’Harish-Chandra arbitraires peut être ramenée à l’étude des séries unipotentes, et on utilise ceci pour étendre nos résultats sur les représentations extrémales aux représentations irréductibles arbitraires (i.e. pas forcément unipotentes) de G. / We study the Howe correspondence between the category of complex representations of G and that of G’, for irreducible dual pairs (G,G’) over finite fields of odd characteristic. We establish the compatibility between the Howe correspondence and arbitrary Harish-Chandra series. We define and prove the existence of extremal (i.e. minimal and maximal) irreducible sub-representations from the image of irreducible unipotent representations of G. Finally, we prove how the study of the Howe correspondence between arbitrary Harish-Chandra series can be brought to the study of unipotent series, and use this to extend our results on extremal representations to arbitrary (i.e. not necessarily unipotent) irreducible representations of G.