Dans le contexte actuel d'expansion rapide de l'Internet, la compréhension profonde des propriétés statistiques du trafic réseau est essentielle pour que les fournisseurs d'accès puisse offrir la meilleure "Qualité de Service" possible aux utilisateurs. Une avancée majeure dans cette direction a été la découverte en 1993 de l'auto-similarité du trafic, suivie en 1997 par le modèle ON/OFF qui interprète cette propriété par les tailles de fichiers à queue lourde. Bien qu'ils soient d'un grand intérêt, de tels modèles mathématiques s'appuient nécessairement sur des hypothèses simplificatrices qui peuvent en limiter l'applicabilité en situation réelle, en particulier du fait de la complexité du protocole TCP. Dans cette thèse, nous utilisons une approche hybride, basée sur la combinaison de traces de trafic réelles, d'expériences contrôlées et de modèles théoriques, pour aborder certaines questions ouvertes sur le trafic réseau et la Qualité de Service. Nos expériences utilisent une plate-forme contrôlable à grande échelle et un système performant de capture du trafic. Nous abordons dans un premier temps des questions liées au trafic agrégé : nous étendons les modèles existants de longue mémoire et nous proposons un estimateur du paramètre de queue lourde sous échantillonnage. Nous étudions ensuite empiriquement l'impact de la longue mémoire et des queues lourdes sur la Qualité de Service. Nous nous tournons enfin vers le trafic d'une seule source TCP et montrons, à l'aide d'un principe de grandes déviations, qu'il peut être finement caractérisé par une structure multifractale reliée au mécanisme de contrôle AIMD, et naturellement reproduite par des modèles markoviens.

Nous abordons le problème de l'optimisation des mesures dans les grands réseaux Internet par la théorie des plans d'expériences optimaux. Cette approche donne lieu d'étudier des problèmes de grande taille en conception optimale d'expériences, pour lesquels nous développons une méthode de résolution fondée sur l' Optimisation Conique du Second Ordre. Le cœur de notre méthode est un théorème de réduction du rang en optimisation semi-définie. Certains aspects combinatoires sont également étudiés. L'application à l'inférence des matrices de trafic dans les réseaux IP fait l'objet de la seconde partie de ce manuscrit. Nous développons une méthode où l'on optimise l'estimation de plusieurs combinaisons linéaires (tirées de façon aléatoire) des demandes de trafic. Nous comparons notre approche aux précédentes au travers de simulations sur des données réelles. En particulier, nous traitons des instances pour lesquelles les approches précédentes étaient incapables de fournir une solution.