La dernière décennie a vu l'émergence d'Internet et l'apparition des applications multimédia qui requièrent de plus en plus de bande passante, ainsi que des utilisateurs qui exigent une meilleure qualité de service. Dans cette perspective, beaucoup de travaux ont été effectués pour améliorer l'utilisation du spectre sans fil.Le sujet de ma thèse de doctorat porte sur l'application de la théorie des jeux, la théorie des files d'attente et l'apprentissage dans les réseaux sans fil,en particulier dans des environnements partiellement observables. Nous considérons différentes couches du modèle OSI. En effet, nous étudions l'accès opportuniste au spectre sans fil à la couche MAC en utilisant la technologie des radios cognitifs (CR). Par la suite, nous nous concentrons sur le contrôle de congestion à la couche transport, et nous développons des mécanismes de contrôle de congestion pour le protocole TCP. / Since delay-sensitive and bandwidth-intense multimedia applications have emerged in the Internet, the demand for network resources has seen a steady increase during the last decade. Specifically, wireless networks have become pervasive and highly populated.These motivations are behind the problems considered in this dissertation.The topic of my PhD is about the application of game theory, queueing theory and learning techniques in wireless networks under some QoS constraints, especially in partially observable environments.We consider different layers of the protocol stack. In fact, we study the Opportunistic Spectrum Access (OSA) at the Medium Access Control (MAC) layer through Cognitive Radio (CR) approaches.Thereafter, we focus on the congestion control at the transport layer, and we develop some congestion control mechanisms under the TCP protocol.The roadmap of the research is as follows. Firstly, we focus on the MAC layer, and we seek for optimal OSA strategies in CR networks. We consider that Secondary Users (SUs) take advantage of opportunities in licensed channels while ensuring a minimum level of QoS. In fact, SUs have the possibility to sense and access licensed channels, or to transmit their packets using a dedicated access (like 3G). Therefore, a SU has two conflicting goals: seeking for opportunities in licensed channels, but spending energy for sensing those channels, or transmitting over the dedicated channel without sensing, but with higher transmission delay. We model the slotted and the non-slotted systems using a queueing framework. Thereafter, we analyze the non-cooperative behavior of SUs, and we prove the existence of a Nash equilibrium (NE) strategy. Moreover, we measure the gap of performance between the centralized and the decentralized systems using the Price of Anarchy (PoA).Even if the OSA at the MAC layer was deeply investigated in the last decade, the performance of SUs, such as energy consumption or Quality of Service (QoS) guarantee, was somehow ignored. Therefore, we study the OSA taking into account energy consumption and delay. We consider, first, one SU that access opportunistically licensed channels, or transmit its packets through a dedicated channel. Due to the partial spectrum sensing, the state of the spectrum is partially observable. Therefore, we use the Partially Observable Markov Decision Process (POMDP) framework to design an optimal OSA policy for SUs. Specifically, we derive some structural properties of the value function, and we prove that the optimal OSA policy has a threshold structure.Thereafter, we extend the model to the context of multiple SUs. We study the non-cooperative behavior of SUs and we prove the existence of a NE. Moreover, we highlight a paradox in this situation: more opportunities in the licensed spectrum may lead to worst performances for SUs. Thereafter, we focus on the study of spectrum management issues. In fact, we introduce a spectrum manager to the model, and we analyze the hierarchical game between the network manager and SUs.Finally, we focus on the transport layer and we study the congestion control for wireless networks under some QoS and Quality of Experience (QoE) constraints. Firstly, we propose a congestion control algorithm that takes into account applications' parameters and multimedia quality. In fact, we consider that network users maximize their expected multimedia quality by choosing the congestion control strategy. Since users ignore the congestion status at bottleneck links, we use a POMDP framework to determine the optimal congestion control strategy.Thereafter, we consider a subjective measure of the multimedia quality, and we propose a QoE-based congestion control algorithm. This algorithm bases on QoE feedbacks from receivers in order to adapt the congestion window size. Note that the proposed algorithms are designed based on some learning methods in order to face the complexity of solving POMDP problems.

Le présent travail porte sur l’estimation d’un système en temps discret dont l’évolution est décrite par une chaîne semi-markovienne (CSM) d’espace d’état fini. Nous présentons le principe d’invariance sous forme multidimensionnelle pour le noyau semi-markovien (NSM), ainsi que diverses mesures du processus. Ensuite, nous étudions l’estimation non-paramétrique de la loi stationnaire de la CSM, en considérant deux estimateurs différents, et nous montrons qu’ils ont le même comportement asymptotique. La probabilité de la première entrée est également introduite. Nous proposons un estimateur et nous étudions ses propriétés asymptotiques : la convergence forte et la normalité asymptotique.D’autre part, nous nous concentrons sur l’étude de la fiabilité des systèmes semi-markoviens. Nous définissons la fiabilité sur intervalle d’un système dont la fiabilité et la disponibilité sont des cas particuliers et nous étudions les propriétés asymptotiques d’un estimateur proposé. De plus, nous présentons une comparaison de l’estimation des différentes mesures de fiabilité fondées sur deux estimateurs du NSM, en réalisant une trajectoire unique et des observations multiples indépendantes. Ce travail fournit aussi des résultats dans le cas semi-markovien à temps discret avec espace d’état général. Nous évaluons l’approximation de moyenne et de diffusion des chaînes de renouvellement markovien. Enfin, nous nous sommes aussi intéressés à une autre classe des processus pour laquelle nous obtenons des résultats dans le cadre des files d’attente. Nous étudions l’approximation de moyenne pour le modèle d’Engset en temps continu et nous appliquons ce résultat aux files d’attente avec ré-essais. / The present work concerns the estimation of a discrete-time system whose evolution is governed by a semi-Markov chain (SMC) with finitely many states. We present the invariance principle in a multidimensional form for the semi-Markov kernel (SMK) and some associated measures of the process. Afterwards, we study the nonparametric estimation of the stationary distribution of the SMC, considering two different estimators, and we prove that they hold the same asymptotic behavior. We introduce also the first hitting probability. We propose an estimator and study its asymptotic properties : the strong consistency and the asymptotic normality. On the other hand, we focus on the study of the dependability of semi-Markovsystems. We introduce the interval reliability whose special cases are the reliability and the availability measures and we study the asymptotic properties of a proposed estimator. Moreover, we present a comparison of nonparametric estimation for various reliability measures based on two estimators of the SMK, realizing a unique trajectory and multiple independent observations.Furthermore, this work provides results on the discrete-time semi-Markov case with general state space. We evaluate the average and diffusion approximation of Markov renewal chains. Finally, we are also interested in another class of processes for which we obtain results in the framework of queueing systems. We establish the average approximationfor the Engset model in continuous time and we apply this result to retrial queues.

La Dominance Temporelle des Sensations (DTS) est une méthode d’analyse sensorielle qui mesure la perception temporelle d’un produit au cours de sa dégustation. Pour un panéliste, la DTS consiste à choisir parmi une liste de descripteurs lequel est dominant à chaque instant. Ce travail a pour but la modélisation des données DTS à l’aide de processus stochastiques et propose d’utiliser les processus semi-markoviens (PSM), une généralisation des chaînes de Markov qui permet de modéliser librement les durées de dominance. Le modèle obtenu peut être utilisé pour comparer des échantillons DTS en réalisant un rapport de vraisemblance. Étant donné que les probabilités de transition entre les descripteurs peuvent dépendre du temps, nous proposons d’utiliser des modèles différents par période et nous proposons un algorithme pour déterminer le nombre et les frontières de ces périodes de manière optimale. Le modèle est représenté sous forme d’un graphe montrant les transitions entre descripteurs les plus observées. Finalement, ce travail introduit les modèles de mélange de processus semi-markoviens afin de segmenter le panel en fonction des différences de perception interindividuelles.Les méthodes développées sont appliquées à des jeux de données DTS variés : chocolats, fromages frais et Goudas. Les résultats montrent que la modélisation par un PSM apporte de nouvelles informations sur la perception temporelle, en particulier sur la variabilité de perception au sein d’un panel, alors que les méthodes classiques se focalisent sur une vision moyenne de la perception du panel. De plus, à notre connaissance, ce travail est le premier à proposer l’identification d’un modèle de mélange de processus semi-markoviens. / Temporal Dominance of Sensations (TDS) is a technique to measure temporal perception of food product during tasting. For a panelist, it consists in choosing in a list of attributes which one is dominant at any time. This work aims to model TDS data with a stochastic process and proposes to use semi-Markov processes (SMP), a generalization of Markov chains which allows dominance durations to be modeled by any type of distribution. The model can then be used to compare TDS samples based on likelihood ratio. Because probabilities of transition from one attribute to another one can also depend on time, we propose to model TDS by period and we propose a method to select optimally the number of periods and the frontiers between periods. Graphs built upon the stochastic pattern can be plotted to represent main chronological transitions between attributes. Finally, this work introduces new statistical models based on finite mixtures of semi-Markov processes in order to derive consumer segmentation based on individual differences in temporal perception of a product.The methods are applied to various TDS datasets: chocolates, fresh cheeses and Gouda cheeses. Results show that SMP modeling gives new information about temporal perception compared to classical methods. It particularly emphasizes the existence of several perceptions for a same product in a panel, whereas classical methods only provide a mean panel overview. Furthermore, as far as we know, this work is the first one that considers mixtures of semi-Markov processes.

Cette thèse contient quelques applications des chaînes de Markov et des processus de décision markoviens pour la contrôle de congestion et de puissance. D´abord nous étudions le comportement de la taille de la fenêtre d´une source qui utilise l´algorithme MIMD. Nous montrons que le logarithme de la taille de la fenêtre suit une récurrence stochastique additive, et est une chaîne de Markov. Nous montrons aussi que le débit obtenu par une source est proportionnel à l´inverse de la probabilité de perte d´un paquet. Ensuite, nous analysons le processus de la taille de la fenêtre d´un algorithme de contrôle de congestion en temps continu. Nous pourvoyons des conditions sous lesquelles deux algorithmes ont le même comportement. Puis, nous étudions le processus de rapport de deux sources qui utilisent l´algorithme MIMD et qui partagent la capacité d´un goulot d´étranglement. Pour les sources hétérogènes, nous montrons que l´intensité du processus de perte de paquet doit être supérieure à une constante qui dépend des paramètres des algorithmes pour que l´indice d´équité s´améliore. Ensuite, nous présentons un modèle stochastique pour obtenir la distribution jointe du nombre instantané de paquets et sa moyenne mobile. Ensuite, nous étudions un problème de commande optimale en temps discret. Un appareil mobile veut transmettre des paquets et conserver son énergie en même temps. Nous montrons que la politique optimale est un contrôle à seuil. Enfin, par simulations, nous étudions le délai des flots TCP sur la voie descendante de l´UMTS lorsque deux politiques différentes de commutation de canaux sont utilisées.

L'objectif de cette thèse est de proposer une méthode permettant d'optimiser la stratégie de maintenance d'un système multi-composants. Cette nouvelle stratégie doit être adaptée aux conditions d'utilisation et aux contraintes budgétaires et sécuritaires. Le vieillissement des composants et la complexité des stratégies de maintenance étudiées nous obligent à avoir recours à de nouveaux modèles probabilistes afin de répondre à la problématique. Nous utilisons un processus stochastique issu de la Fiabilité Dynamique nommé processus markovien déterministe par morceaux (Piecewise Deterministic Markov Process ou PDMP). L'évaluation des quantités d'intérêt (fiabilité, nombre moyen de pannes...) est ici réalisée à l'aide d'un algorithme déterministe de type volumes finis. L'utilisation de ce type d'algorithme, dans ce cadre d'application, présente des difficultés informatiques dues à la place mémoire. Nous proposons plusieurs méthodes pour repousser ces difficultés. L'optimisation d'un plan de maintenance est ensuite effectuée à l'aide d'un algorithme de recuit simulé. Cette méthodologie a été adaptée à deux systèmes ferroviaires utilisés par la SNCF, l'un issu de l'infrastructure, l'autre du matériel roulant.

Cette thèse porte sur la modélisation et l'evaluation d'algorithmes de transfert de charge dans des systèmes parallèles et/ou distribués. Après une synthèse des différentes approches possibles du transfert de charge et des problèmes rencontres pour leurs mises en oeuvre et leurs évaluations quantitatives, nous développons plusieurs modèles basés sur une évolution markovienne de la configuration des charges de l'ensemble des processeurs. Les indices de performance étudiés afin de comparer les valeurs obtenues avec transfert et sans transfert sont la saturation mémoire, le débit du système, la charge de travail et le temps de réponse moyen. Dans les deux premiers modèles seuls deux sites se transfèrent des tâches, mais les temps de communication et de transfert sont modélisés. Des valeurs critiques concernant la pertinence ou non du transfert sont obtenues. Lorsque les temps de communication et de transfert sont négligés devant les temps de calculs, deux modèles sont étudies. Le premier permet d'évaluer un algorithme d'équilibrage de charge pour un nombre quelconque de sites homogènes totalement connectés, de capacité mémoire finie. Cette étude permet de prévoir le comportement de systèmes massivement parallèles et des bornes supérieures de bénéfices que l'on peut attendre d'un réel transfert sont explicitées. Le deuxième prend en compte l'architecture du réseau et l'algorithme induit un transfert dés que la différence de charge entre deux sites voisins excède un. Dans le cas de réseaux infinis dont la topologie est régulière, ce modèle est ergodique et converge à vitesse exponentielle vers son régime stationnaire. Des résultats de simulations sont présentés pour différentes architectures et comparés aux solutions des équations de champ moyen, qui donnent de très bonnes approximations dans la plupart des cas pour les quantités d'intérêt pratique. Enfin, l'incidence sur la valeur des indices de performance est étudiée et interprétée.

M.H.A. Davis a introduit les processus markoviens déterministes par morceaux (PDMP) comme une classe générale de modèles stochastiques non diffusifs, donnant lieu à des trajectoires déterministes ponctuées, à des instants aléatoires, par des sauts aléatoires. Dans cette thèse, nous présentons et analysons des estimateurs non paramétriques des lois conditionnelles des deux aléas intervenant dans la dynamique de tels processus. Plus précisément, dans le cadre d'une observation en temps long de la trajectoire d'un PDMP, nous présentons des estimateurs de la densité conditionnelle des temps inter-sauts et du noyau de Markov qui gouverne la loi des sauts. Nous établissons des résultats de convergence pour nos estimateurs. Des simulations numériques pour différentes applications illustrent nos résultats. Nous proposons également un estimateur du taux de saut pour des processus de renouvellement, ainsi qu'une méthode d'approximation numérique pour un modèle de régression semi-paramétrique.

Ce travail a pour objectif de détecter les obstacles sur la route à partir d'une caméra montée sur un véhicule. Étant donné les contraintes que nous nous sommes fixées, un état de l'art des différentes méthodes existantes sur ce sujet montre que seule une analyse du mouvement dans les sé- quences d'images peut résoudre ce problème. En effet, cette méthode doit permettre de détecter tout type d'obstacles sur tout type de routes avec une seule caméra. Pour ce faire, nous avons développé une nouvelle méthode d'estimation de mouvement paramétrique par analyse d'ondelettes de l'équation de contrainte du flot optique (E.C.M.A.). Cette méthode multi- résolution nous a permis de contourner le problème de l'aliasage temporel inhérent à l'E.C.M.A.. Nous avons ensuite proposé de résoudre le problème de la détection de mouvement dans une scène filmée à par- tir d'une caméra mobile à l'aide d'une modélisation markovienne hiérarchique déduite de façon naturelle de l'estimation multi-résolution du mouvement. Puis, nous avons introduit une méthode de segmenta- tion au sens du mouvement entre deux images sans connaissance a priori et sans hypothèse de présence de mouvement dominant grâce à un raffinement successif de la segmentation d'une échelle grossière de l'image à l'échelle la plus fine. Chaque méthode (estimation, détection et segmentation) a été validée expérimentalement sur des séquences synthétiques et réelles. Enfin, celles-ci ont été adaptées au problème concret visé par cette thèse : la détection d'obstacles dans un milieu routier. L'utilisation d'ondelettes et de champs de Markov hiérarchiques aboutit à des solutions peu coûteuses en temps de calcul.

Les progrès technologiques de l'instrumentation astronomique soulèvent des problématiques variées. L'imagerie monobande permet, grâce aux capteurs de résolution et de sensiblité croissante, de découvrir des objets autrefois inobservables. En particulier, le développement des capteurs multispectraux permet l'acquisition de masses de données porteuses d'une information très riche. Néanmoins, l'interprétation et le traitement de tels volumes de données restent délicats pour la communauté astronomique. Dans le cadre de cette thèse nous proposons un ensemble de méthodes facilitant le processus d'interprétation réalisé par l'astronome. Nous introduisons une nouvelle méthode de segmentation floue par champs de Markov permettant de prendre en compte les spécificités des observations astronomiques : frontières des objets non définies et objets diffus. Un pixel flou de la carte de segmentation appartient ainsi à une ou deux classes dures en fonction d'un certain degré d'appartenance. Nous proposons également une méthode de détection de galaxies à faible brillance de surface (galaxies LSB) basée sur l'utilisation d'une segmentation markovienne par quadarbre. Cette segmentation permet de dégager les galaxies LSB du fond de ciel grâce à une estimation fine de la statistique du bruit présent dans l'observation. Un ensemble d'étapes de sélection est ensuite mis en oeuvre afin de caractériser la galaxie. Nous proposons deux méthodes de visualisation d'images multispectrales permettant de synthétiser l'information portée par toutes les bandes dans une composition colorée réalisée dans l'espace TSL (Teinte Saturation Luminance). Enfin, nous étudions une nouvelle méthode de segmentation de cubes de données hyperspectraux basée sur une approche de discrimination spectrale puis sur une régularisation spatiale de la carte de segmentation par une approche markovienne par quadarbre. Ces méthodes sont validées sur des images astronomiques et ont fait l'objet d'une interaction particulièrement riche entre communauté STIC et communauté astronomique. De plus, deux méthodes sont validées sur des images issues du domaine de la télédétection pour lesquelles certaines problématiques restent communes.

Dans cette thèse, nous nous sommes intéressés aux contraintes résultants de l'intégration d'un module de diagnostic de pannes et d'un module de reconfiguration de lois de commandes. Contraintes pouvant conduire à une perte de performances, voir une instabilité, du système. La formalisation mathématique de cette problématique nous a amené à nous intéresser à une classe de systèmes hybrides stochastiques à sauts markoviens. La première partie du travail de thèse a été consacrée à la synthèse de lois de commande, par retour de sortie, stabilisant stochastiquement cette classe de systèmes à des bruits multiplicatifs. Les approches développées sont basées sur la théorie de Lyapunov et de Supermartingale. Les différentes conditions de synthèse sont données en termes d'inégalités matricielles non linéaires. Des algorithmes d'optimisation non convexe nt alors été proposés pour la résolution de ces différentes conditions. En deuxième partie de thèse, nous nous sommes intéressés au problème de commande multi-performances de cette classe de systèmes. Plus particulièrement, nous avons considéré des critères H_{infinity} et des critères H_{2}. Là aussi, nous avons proposé des conditions sous forme LMI, BMI et NLMI pour la résolution de ce problème. En dernière partie de thèse, nous nous sommes intéressés au cas des systèmes à temps discret. Nous avons là aussi considéré des problèmes de stabilisation stochastique et de commande multi-objectifs, pour lesquels des conditions sous forme LMI et NLMI ont été établies. Nous avons ensuite appliqué ces résultats à la problématique de commande de systèmes en réseaux sujets à des retards, des pertes de paquets et d'éventuels pannes.