L'étude des fonctions de deux variables et des opérateurs intégraux associés, ou l'étude directe des noyaux au sens de L. Schwartz (définis comme opérateurs faiblement continus du dual topologique d'un espace vectoriel localement convexe dans lui même), est depuis plus d'un demi-siècle une branche des mathématiques en pleine expansion notamment dans le domaine des distributions, des équations différentielles ou dans le domaine des probabilités avec l'étude des mesures gaussiennes et<br />des processus gaussiens.<br /><br />Les travaux de Moore, Bergman et Aronszajn ont notamment abouti au résultat fondamental suivant qui concerne les noyaux positifs : il est toujours possible de construire un sous-espace préhilbertien à partir d'un noyau positif et, moyennant quelques hypothèses (faibles) supplémentaires, de compléter fonctionnellement cet espace afin d'obtenir alors un espace de Hilbert. Cet espace possède alors la propriété d'être continûment inclus dans l'espace vectoriel localement convexe de départ.<br />Il existe donc une relation forte entre noyaux positifs et espaces hilbertiens. Dans cette thèse, nous nous sommes posés le problème suivant : que se passe t'il si l'on lève l'hypothèse<br />de positivité ? D'hermicité ?<br /><br />Dans cette perspective nous considérons une seconde approche qui consiste à travailler directement sur des espaces vectoriels plutôt que sur les noyaux.<br />Précisément, adoptant une démarche classique en mathématiques, nous étudions les propriétés d'une classe d'espaces vérifiant des hypothèses additionnelles. Partant des espaces de Hilbert continûment inclus dans un espace localement convexe donné, cette approche a conduit aux espaces de Hilbert à noyau reproduisant de N. Aronszajn puis aux sous-espaces hilbertiens de L. Schwartz. Cette théorie est présentée dans la première partie de la thèse, le résultat majeur de cette théorie étant sans doute l'équivalence entre sous-espaces hilbertiens<br />et noyaux positifs, résumé par la phrase suivante :<br /><br />``Il existe une bijection entre sous-espaces hibertiens et noyaux positifs.''<br /><br />Le principal apport à la théorie existante est l'utilisation intensive de systèmes en dualité et de formes bilinéaires (et pas uniquement sesquilinéaires). De manière surprenante,<br />cela conduit à une certaine perte de symétrie qui porte les germes de la théorie des sous-dualités.<br /><br />Dans une seconde partie nous suivons encore les travaux de L. Schwartz et étudions la théorie moins connue des sous-espaces de Krein (ou sous-espaces hermitiens).<br />Les espaces de Krein ressemblent aux espaces de Hilbert mais sont munis d'un produit scalaire qui n'est plus nécessairement positif. Les sous-espaces de Krein constituent donc une première généralisation des sous-espaces hilbertiens. Un des principaux intérêt de l'étude de tels espaces réside en la disparition de l'équivalence fondamentale entre les notions de sous-espaces et de noyaux, même si une relation étroite subsiste. Nous étudions plus particulièrement les similitudes et les différences entre ces deux différentes théories, que nous retrouverons dans la théorie des sous-dualités.<br /><br />La troisième partie généralise la perte de symétrie évoquée dans le chapitre 1. Nous développons les bases d'une théorie non plus basée sur une structure hilbertienne, mais sur une certaine dualité.<br />Nous développons ainsi le concept de sous-dualité d'un espace vectoriel localement convexe (ou d'un système dual) et de son noyau associé.<br />Une sous-dualité est définie par un système de deux espaces en dualité vérifiant des conditions d'inclusion algébrique ou<br />topologique. Plus précisément :<br />un système dual $(E,F)$ est une sous-dualité d'un espace localement convexe $\cE$ (ou plus généralement d'un système dual $(\cE,\cF)$) si $E$ et $F$ sont faiblement continûment inclus dans $\cE$.<br />Dans ce cas, il est possible d'associer à cette sous-dualité un unique noyau d'image dense dans la sous-dualité. Nous étudions également l'effet d'une application linéaire faiblement continue. Il devient alors possible (moyennant une relation d'équivalence) de munir l'ensemble des sous-dualités d'une structure d'espace vectoriel qui le rend isomorphe algébriquement à l'espace vectoriels des noyaux. Nous exhibons ensuite un représentant canonique de ces classes d'équivalences, ce qui permet d'établir une bijection entre sous-dualités canoniques et noyaux.<br /><br />Une quatrième et dernière partie propose quelques applications. Le premier champ d'application possible est une généralisation du lien entre sous-espaces hilbertiens et mesures gaussiennes. Le second est l'étude d'opérateurs particuliers, les opérateurs dans les sous-dualités d'évaluation (sous-dualités de $\KK^(\Omega)$) et les opérateurs différentiels.