Le complexe Burkholderia cepacia (Bcc) englobe 17 espèces retrouvées dans les infections pulmonaires d'individus atteints de mucoviscidose. Les bactéries de ce complexe sont présentes dans les sols, la rhizosphère de grandes cultures, les eaux usées et peuvent également être rencontrées dans le cadre d'infections nosocomiales. En France, les espèces B. multivorans et B. cenocepacia (Bcen) sont les espèces majoritaires au niveau des infections de patients atteints de mucoviscidose. Divers clones épidémiques ont été décrits au sein de l’espèce Bcen dont le clone ET12 associé au "syndrome cepacia". En 2004, une épidémie nosocomiale impliquant un clone du Bcc est survenue dans un hôpital de l’Ain. Durant ce travail, l’origine de ce clone (B&B), sa classification au sein du Bcc et certains phénomènes génétiques liés à son émergence ont été étudiés. Cela a permis d’identifier ce clone comme appartenant à l’espèce Bcen et une forte proximité de celui-ci avec la lignée ET12. L’étude des facteurs transcriptionnels de la famille σ70 au sein du Bcc a mis en évidence une structure génétique similaire entre la lignée ET12 et ce clone, mais différente de celle observée chez les autres espèces du Bcc. L’analyse d’éléments génétiques répétés de la famille des séquences d’insertion (IS) a cependant permis d’observer une organisation génomique distincte de la lignée ET12. Celle-ci a été reliée à des phénomènes d’instabilité génétique notamment à des phénomènes d’acquisition d’éléments génétiques mobiles de type îlot génomique. L’ensemble de ce travail a permis de caractériser un ensemble de phénomènes génétiques pouvant expliquer l’émergence de clones épidémiques tels que le clone B&B. / The Burkholderia cepacia complex (Bcc) comprises 17 species found in lung infections of individuals with cystic fibrosis. The bacteria of this complex are present in the soil, the rhizosphere of field crops, wastewater and may also be encountered in nosocomial infections. In France, the B. multivorans and B. cenocepacia species are the major species in infections of cystic fibrosis patients. Various epidemic clones have been described within the B. cenocepacia species whose ET12 clone associated with "cepacia syndrome". In 2004, a nosocomial outbreak involving a clone of Bcc occurred in a French hospital. During this outbreak, origin of this clone (B&B clone), its classification within the Bcc and several genetic events associated with its emergence have been studied. These investigations have identified this clone as belonging to the species B. cenocepacia with a strong proximity with the ET12 lineage. The study of transcriptional factors of σ70 family within the Bcc has revealed a similar genetic structure between the ET12 lineage and this clone, but different from that observed in other species of Bcc. Analysis of genetic elements repeated family of insertion sequences (IS), however, allowed to observe a distinct genomic organization of the ET12 lineage. It has been linked to phenomen of genetic instability including acquisition of mobile genetic elements like genomic island (GI). All of this work has helped to characterize a set of genetic events may explain the emergence of epidemic clones such as clone B&B.

L’allocation des ressources spectrales à des services de communications sans fil, sans cesse plus nombreux et plus gourmands, a récemment mené la communauté radio à vouloir remettre en question la stratégie de répartition des bandes de fréquences imposée depuis plus d’un siècle. En effet une étude rendue publique en 2002 par la commission fédérale des communications aux Etats-Unis (Federal Communications Commission - FCC) mit en évidence une pénurie des ressources spectrales dans une large bande de fréquences comprise entre quelques mégahertz à plusieurs gigahertz. Cependant, cette même étude expliqua cette pénurie par une allocation statique des ressources aux différents services demandeurs plutôt que par une saturation des bandes de fréquences. Cette explication fut par la suite corroborée par de nombreuses mesures d’occupation spectrale, réalisées dans plusieurs pays, qui montrèrent une forte sous-utilisation des bandes de fréquences en fonction du temps et de l’espace, représentant par conséquent autant d’opportunité spectrale inexploitée. Ces constations donnèrent naissance à un domaine en plein effervescence connu sous le nom d’Accès Opportuniste au Spectre (Opportunistic Spectrum Access). Nos travaux suggèrent l’étude de mécanismes d’apprentissage pour la radio intelligente (Cognitive Radio) dans le cadre de l’Accès Opportuniste au Spectre (AOS) afin de permettre à des équipements radio d’exploiter ces opportunités de manière autonome. Pour cela, nous montrons que les problématiques d’AOS peuvent être fidèlement représentées par des modèles d’apprentissage par renforcement. Ainsi, l’équipement radio est modélisé par un agent intelligent capable d’interagir avec son environnement afin d’en collecter des informations. Ces dernières servent à reconnaître, au fur et à mesure des expériences, les meilleurs choix (bandes de fréquences, configurations, etc.) qui s’offrent au système de communication. Nous nous intéressons au modèle particulier des bandits manchots (Multi-Armed Bandit appliqué à l’AOS). Nous discutons, lors d’une phase préliminaire, différentes solutions empruntées au domaine de l’apprentissage machine (Machine Learning). Ensuite, nous élargissons ces résultats à des cadres adaptés à la radio intelligente. Notamment, nous évaluons les performances de ces algorithmes dans le cas de réseaux d’équipements qui collaborent en prenant en compte, dans le modèle suggéré, les erreurs d’observations. On montre de plus que ces algorithmes n’ont pas besoin de connaître la fréquence des erreurs d’observation afin de converger. La vitesse de convergence dépend néanmoins de ces fréquences. Dans un second temps nous concevons un nouvel algorithme d’apprentissage destiné à répondre à des problèmes d’exploitation des ressources spectrales dans des conditions dites de fading. Tous ces travaux présupposent néanmoins la capacité de l’équipement intelligent à détecter efficacement l’activité d’autres utilisateurs sur la bande (utilisateurs prioritaires dits utilisateurs primaires). La principale difficulté réside dans le fait que l’équipement intelligent ne suppose aucune connaissance a priori sur son environnement (niveau du bruit notamment) ou sur les utilisateurs primaires. Afin de lever le doute sur l’efficacité de l’approche suggérée, nous analysons l’impact de ces incertitudes sur le détecteur d’énergie. Ce dernier prend donc le rôle d’observateur et envoie ses observations aux algorithmes d’apprentissage. Nous montrons ainsi qu’il est possible de quantifier les performances de ce détecteur dans des conditions d’incertitude sur le niveau du bruit ce qui le rend utilisable dans le contexte de la radio intelligente. Par conséquent, les algorithmes d’apprentissage utilisés pourront exploiter les résultats du détecteur malgré l’incertitude inhérente liée à l’environnement considéré et aux hypothèses (sévères) d’incertitude liées au problème analysé. / During the last century, most of the meaningful frequency bands were licensed to emerging wireless applications. Because of the static model of frequency allocation, the growing number of spectrum demanding services led to a spectrum scarcity. However, recently, series of measurements on the spectrum utilization showed that the different frequency bands were underutilized (sometimes even unoccupied) and thus that the scarcity of the spectrum resource is virtual and only due to the static allocation of the different bands to specific wireless services. Moreover, the underutilization of the spectrum resource varies on different scales in time and space offering many opportunities to an unlicensed user or network to access the spectrum. Cognitive Radio (CR) and Opportunistic Spectrum Access (OSA) were introduced as possible solutions to alleviate the spectrum scarcity issue.In this dissertation, we aim at enabling CR equipments to exploit autonomously communication opportunities found in their vicinity. For that purpose, we suggest decision making mechanisms designed and/or adapted to answer CR related problems in general, and more specifically, OSA related scenarios. Thus, we argue that OSA scenarios can be modeled as Multi-Armed Bandit (MAB) problems. As a matter of fact, within OSA contexts, CR equipments are assumed to have no prior knowledge on their environment. Acquiring the necessary information relies on a sequential interaction between the CR equipment and its environment. Finally, the CR equipment is modeled as a cognitive agent whose purpose is to learn while providing an improving service to its user. Thus, firstly we analyze the performance of UCB1 algorithm when dealing with OSA problems with imperfect sensing. More specifically, we show that UCB1 can efficiently cope with sensing errors. We prove its convergence to the optimal channel and quantify its loss of performance compared to the case with perfect sensing. Secondly, we combine UCB1 algorithm with collaborative and coordination mechanism to model a secondary network (i.e. several SUs). We show that within this complex scenario, a coordinated learning mechanism can lead to efficient secondary networks. These scenarios assume that a SU can efficiently detect incumbent users’ activity while having no prior knowledge on their characteristics. Usually, energy detection is suggested as a possible approach to handle such task. Unfortunately, energy detection in known to perform poorly when dealing with uncertainty. Consequently, we ventured in this Ph.D. to revisit the problem of energy detection limits under uncertainty. We present new results on its performances as well as its limits when the noise level is uncertain and the uncertainty is modeled by a log-normal distribution (as suggested by Alexander Sonnenschein and Philip M. Fishman in 1992). Within OSA contexts, we address a final problem where a sensor aims at quantifying the quality of a channel in fading environments. In such contexts, UCB1 algorithms seem to fail. Consequently, we designed a new algorithm called Multiplicative UCB (UCB) and prove its convergence. Moreover, we prove that MUCB algorithms are order optimal (i.e., the order of their learning rate is optimal). This last work provides a contribution that goes beyond CR and OSA. As a matter of fact, MUCB algorithms are introduced and solved within a general MAB framework.

Les années récentes ont vu l’explosion du trafic sur les réseaux mobiles depuis l’apparition de nouveaux terminaux (smartphones, tablettes) et des usages qu’ils permettent, en particulier les données multimédia, le trafic voix restant sensiblement constant. Une conséquence est le besoin de plus de spectre, ou la nécessité de mieux utiliser le spectre déjà alloué. Comme il n’y a pas de coordination entre les utilisateurs secondaire(s) et primaire, avant toute transmission les premiers doivent mettre en œuvre des traitements pour détecter les périodes dans lesquelles l’utilisateur primaire transmet, ce qui est le scénario considéré dans cette thèse. Nous considérons donc une autre approche, reposant sur l’utilisation de codes correcteurs d’effacements en mode paquet. La dernière partie de la thèse aborde un scénario dans lequel il n’y a plus d’utilisateur primaire, tous les utilisateurs ayant le même droit à transmettre dans le canal. Nous décrivons une modification de la couche MAC du 802.11 consistant à réduire les différents temps consacrés à attendre (SIFS, DIFS, backoff, . . .) afin d’accéder plus souvent au canal, au prix de quelques collisions supplémentaires qu’il est possible de récupérer en mettant en œuvre des codes correcteurs d’effacements. / The emergence of new devices especially the smartphones and tablets having a lot of new applications have rocketed the wireless traffic in recent years and this is the cause of main surge in the demand of radio spectrum. There is a need of either more spectrum or to use existing spectrum more efficiently due to dramatic increase in the demand of limited spectrum. Among the new dynamic access schemes designed to use the spectrum more efficiently opportunistic spectrum access (OSA) is currently addressed when one or more secondary users (SU) are allowed to access the channel when the PU is not transmitting. The erasure correcting codes are therefore envisioned to recover the lost data due to sensing impairments. We define the parameter efficiency of SU and optimize it in-terms of spectrum utilization keeping into account sensing impairments, code parameters and the activity of PU. Finally, the spectrum access for multiple secondary users is addressed when there is no primary and each user has equal right to access the channel. The interesting scenarios are Cognitive radio networks and WiFi where 802.11 protocol gives the specification for MAC layer. The throughput curvesachieved by retransmission and using various erasure correcting codes are compared. This modification in MAC layer will reduce the long waiting time to access the channel, as the number of users are increased.

Même si les réseaux de données ont beaucoup évolué au cours des dernières décennies, les paquets sont presque toujours transmis d’un nœud à l’autre comme des blocs de données inaltérables. Cependant, ce paradigme fondamental est aujourd’hui remis en question par des techniques novatrices comme le codage réseau, qui promet des améliorations de performance et de fiabilité si les nœuds sont autorisés à mixer des paquets entre eux. Les réseaux sans fil manquent de fiabilité en raison des obstacles ou interférences que subissent les liens sans fil, et ces problèmes peuvent empirer dans des topologies maillées avec de multiples relais potentiels. Dans ce travail, nous nous concentrons sur l’application du codage réseau intra-flux aux flux unicast dans les réseaux sans fil, avec pour objectif d’améliorer la fiabilité des transferts de données et de discuter des opportunités de déploiement et des performances. Tout d’abord, nous proposons une borne inférieure pour la redondance, puis un algorithme opportuniste distribué, pour adapter le codage aux conditions du réseau et permettre la livraison fiable des données dans un réseau sans fil maillé, tout en prenant en compte les besoins de l’application. En outre, puisque les opérations requises pour le codage réseau sont coûteuses en termes de calcul et de mémoire, nous étendons cet algorithme pour s’adapter aux contraintes physiques de chaque nœud. Ensuite, nous étudions les interactions du codage intra-flux avec TCP et son extension MPTCP. Le codage réseau peut en effet améliorer les performances de TCP, qui ont tendance à être plus faibles sur les liens sans fil, moins fiables. Nous observons l’impact des problèmes d’équité qui se posent quand des flux codés fonctionnent en parallèle avec des flux traditionnels non codés. Pour finir, nous explorons deux manières différentes d’améliorer les performances de MPTCP dans les environnements sans fil : le faire fonctionner sur du codage réseau, et implémenter directement le codage directement dans le protocole MPTCP tout en préservant sa compatibilité avec TCP / Even if packet networks have significantly evolved in the last decades, packets are still transmitted from one hop to the next as unalterable pieces of data. Yet this fundamental paradigm has recently been challenged by new techniques like network coding, which promises network performance and reliability enhancements provided nodes can mix packets together. Wireless networks rely on various network technologies such as WiFi and LTE. They can however be unreliable due to obstacles, interferences, and these issues are worsened in wireless mesh network topologies with potential network relays. In this work, we focus on the application of intra-flow network coding to unicast flows in wireless networks. The main objective is to enhance reliability of data transfers over wireless links, and discuss deployment opportunities and performance. First, we propose a redundancy lower bound and a distributed opportunistic algorithm, to adapt coding to network conditions and allow reliable data delivery in a wireless mesh. We believe that application requirements have also to be taken into account. Since network coding operations introduce a non negligible cost in terms of processing and memory resources, we extend the algorithm to consider the physical constraints of each node. Then, we study the interactions of intra-flow coding with TCP and its extension MPTCP. Network coding can indeed enhance the performances of TCP, which tends to perform poorly over lossy wireless links. We investigate the pratical impact of fairness issues created when running coded TCP flows besides legacy non-coded TCP flows. Finally, we explore two different ways to enhance the performance of MPCTP in wireless environments : running it over network coding, and implementing the coding process directly in MPTCP while keeping it fully TCP-compatible.

L'utilisation intensive des services de données mobiles a de plus en plus augmenté la consommation de ressources sur les réseaux sans fil. La ressource principale utilisée pour la communication sans fil est le spectre de fréquence. À mesure que le trafic de données augmente brusquement, de nouvelles bandes du spectre de fréquences ne sont pas disponibles dans la même proportion, ce qui rend le spectre de fréquence de plus en plus rare et saturé. Plusieurs propositions ont été présentées pour optimiser l'allocation des canaux de fréquences afin d'atténuer les interférences entre les liaisons proches qui transmettent des données. Beaucoup d'entre eux utilisent un critère unique et ne considèrent pas le comportement de l'utilisateur pour guider le processus d'allocation de canaux. Les utilisateurs ont des cycles de routine et un comportement social. Ils passent au travail, à l'école, utilisent leurs appareils mobiles générant du trafic de données, et rencontrent des amis formant des groupes. Ces caractéristiques peuvent être explorées pour optimiser le processus d'allocation des canaux.Cette thèse présente une stratégie d'allocation de canaux pour les réseaux sans fil basée sur le comportement de l'utilisateur. Notre contribution principale consiste à considérer certaines caractéristiques du comportement de l'utilisateur, telles que la mobilité, le trafic et la popularité dans le processus d'allocation des canaux. De cette façon, nous priorisons l'allocation de canaux pour les nœuds qui resteront dans le réseau dans une fenêtre de temps future, avec un trafic plus élevé dans le réseau, et avec plus de popularité. Nous adoptons une approche distribuée qui permet de limiter le nombre de messages échangés dans le réseau tout en répondant rapidement aux changements de la topologie du réseau. Dans notre évaluation des performances, nous considérons des scénarios dans des réseaux ad hoc et véhiculaires, et nous utilisons des modèles de mobilité synthétique, tels que SLAW et Manhattan grid, et l'ensemble de données de traces de ville de Cologne. Dans les scénarios, nous comparons notre mécanisme avec différents types de techniques : une centralisée (nommée TABU), une autre aléatoire (nommée RANDOM), une avec la plus grande distance spectrale (appelée LD) et une avec un seul canal (appelée SC). Nous évaluons les métriques telles que le débit agrégé, le débit de livraison des paquets et le délai de bout en bout.Les simulations envisageant un scénario ad hoc avec un routage monodiffusion montrent que notre stratégie présente des améliorations en termes de débit de l'ordre de 14,81% par rapport à RANDOM et de 16,28% par rapport à l'allocation de canal LD. Dans le scénario véhiculaire, notre stratégie montre des gains de taux de livraison de paquets de l'ordre de 11,65% et de 17,18% par rapport aux méthodes RANDOM et SC, respectivement. Dans ces deux scénarios, la performance de notre stratégie est proche de la limite supérieure donnée par l'approche centralisée de TABU, mais avec l’envoie de moins des messages. / The intensive use of mobile data services has increasingly increased resource consumption over wireless networks. The main resource used for wireless communication is the frequency spectrum. As data traffic rises sharply, new bands of the frequency spectrum are not available in the same proportion, making the frequency spectrum increasingly scarce and saturated. Several proposals have been presented to optimize frequency channel allocation in order to mitigate interference between nearby links that are transmitting data. Many of them use a single criterion and does not consider the user behavior to guide the channel allocation process. Users have routine cycles and social behavior. They routinary move to work, to school, use their mobile devices generating data traffic, and they meet with friends forming clusters. These characteristics can be explored to optimize the channel allocation process.This thesis presents a channel allocation strategy for wireless networks based on user behavior. Our main contribution is to consider some characteristics of the user behavior, such as mobility, traffic, and popularity in the channel allocation process. In this way, we prioritize the channel allocation for the nodes that will remain in the network in a future time window, with higher traffic in the network, and with more popularity. We adopt a distributed approach that allows limiting the number of messages exchanged in the network while quickly responding to changes in the network topology. In our performance evaluation, we consider scenarios in ad hoc and vehicular networks, and we use some synthetic mobility models, such as SLAW and Manhattan grid, and the traces dataset of Cologne city. In the scenarios, we compare our mechanism with different types of approaches: i.e., a centralized (named TABU), a random (named RANDOM), a with largest spectral distance (named LD), and a with single channel (named SC). We evaluate metrics such as aggregated throughput, packet delivery rate, and end-to-end delay. Simulations considering ad hoc scenario with unicast routing show that our strategy presents improvements in terms of throughput at the order of 14.81% than RANDOM and 16.28% than LD channel allocation. In vehicular scenario, our strategy shows gains of packet delivery rate at the order of 11.65% and 17.18% when compared to RANDOM and SC methods, respectively. In both scenarios, the performance of our strategy is close to the upper bound search of the TABU centralized approach, but with lower overhead.

Les réseaux radio actuelles utilisent le spectre inefficacement, car une bande de fréquence est allouée de façon permanente à une technologie spécifique. Vu que le spectre est une ressource limitée, cette attribution statique ne pourra bientôt plus combler les besoins des systèmes de transmission qui ne cessent de croître. On peut toutefois optimiser l'utilisation du spectre en permettant des transmissions secondaires (SU) dans les espaces libres du primaire (PU). Cette vision constitue l'objectif principal de la radio cognitive. Nous proposons d'évaluer les stratégies de transmission pour la coexistence des systèmes primaires (PU) et SU dans les mêmes réseaux. Plus concrètement, nous nous focalisons sur un scénario spatial interweave en émettant les signaux SU dans les espaces vides du PU à l'aide d'un précodeur linéaire. Néanmoins, ce précodage nécessite une connaissance a priori des canaux interférents. L'échange d'informations entre le PU et le SU étant proscrit, nous exploitons l'hypothèse de la réciprocité du canal. Cette hypothèse compense l'absence de coopération, mais elle n'est pas si évidente à exploiter en pratique à cause des perturbations des circuits radio fréquence. Nous suggérons de compenser ces perturbations par des méthodes de calibration relative. Nous proposons ensuite une implémentation temps-réel des solutions sur une plateforme LTE. Pour finir, nous généralisons l'approche RC à un système de transmission multi-utilisateurs, à travers une combinaison des techniques RC et massive MIMO, cette approche constitue s'établit comme une solution à la progression exponentielle du trafic.

Les réseaux radio actuelles utilisent le spectre inefficacement, car une bande de fréquence est allouée de façon permanente à une technologie spécifique. Vu que le spectre est une ressource limitée, cette attribution statique ne pourra bientôt plus combler les besoins des systèmes de transmission qui ne cessent de croître. On peut toutefois optimiser l'utilisation du spectre en permettant des transmissions secondaires (SU) dans les espaces libres du primaire (PU). Cette vision constitue l'objectif principal de la radio cognitive. Nous proposons d'évaluer les stratégies de transmission pour la coexistence des systèmes primaires (PU) et SU dans les mêmes réseaux. Plus concrètement, nous nous focalisons sur un scénario spatial interweave en émettant les signaux SU dans les espaces vides du PU à l'aide d'un précodeur linéaire. Néanmoins, ce précodage nécessite une connaissance a priori des canaux interférents. L'échange d'informations entre le PU et le SU étant proscrit, nous exploitons l'hypothèse de la réciprocité du canal. Cette hypothèse compense l'absence de coopération, mais elle n'est pas si évidente à exploiter en pratique à cause des perturbations des circuits radio fréquence. Nous suggérons de compenser ces perturbations par des méthodes de calibration relative. Nous proposons ensuite une implémentation temps-réel des solutions sur une plateforme LTE. Pour finir, nous généralisons l'approche RC à un système de transmission multi-utilisateurs, à travers une combinaison des techniques RC et massive MIMO, cette approche constitue s’établit comme une solution à la progression exponentielle du trafic. / The accelerated evolution of wireless transmission in recent years has dramatically increased the spectrum overcrowding. Indeed, the spectrum is inefficiently used in the conventional networks, since a frequency band is statically allocated to a specific technology called primary (PU). Whereas the radio spectrum is limited, this static frequency allocation will no longer be able to meet the increasing needs of bandwidth. However, the spectrum can be optimally used in enabling secondary (SU) transmissions, provided the latters do not harm the PU. This opportunistic vision of wireless transmissions is the main aim of Cognitive Radio (CR). CR enables smart use of wireless resources and is a key ingredient to perform high spectral efficiency. We focus on a spatial interweave (SIW) CR scenario which exploits the spatial white spaces to enable SU transmissions. The latter forms spatial beams using precoders, so that there is no interference towards the primary. Nevertheless, this precoding requires acquisition of the crosslink channel. However, due to the lack of cooperation between PU and SU, we acquire the channel thanks to channel reciprocity. Furthermore, the practical use of the reciprocity is not as straightforward as in theory, because it is is jeopardized by the nonreciprocal radio frequency front-ends. These perturbations are compensated in our study by relative calibration algorithms. Subsequently, we propose an implementation of our solutions in a real-time LTE platform. Eventually, we extend the CR model to a MU system in suggesting a combination of SIW and massive MIMO techniques. This scheme is an interesting candidate to overcome the exponential traffic growth.

Cette thèse étudie les techniques de gestion intelligente du spectre et de topologie des réseaux via une approche radio intelligente dans le but d’améliorer leur capacité, leur qualité de service (QoS – Quality of Service) et leur consommation énergétique. Les techniques d’apprentissage par renforcement y sont utilisées dans le but d’améliorer les performances d’un système radio intelligent. Dans ce manuscrit, nous traitons du problème d’accès opportuniste au spectre dans le cas de réseaux intelligents sans infrastructure. Nous nous plaçons dans le cas où aucune information n’est échangée entre les utilisateurs secondaires (pour éviter les surcoûts en transmissions). Ce problème particulier est modélisé par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette thèse propose une stratégie d’apprentissage multi-joueurs qui prend en compte non seulement le critère de disponibilité des canaux (comme déjà étudié dans la littérature et une thèse précédente au laboratoire), mais aussi une métrique de qualité, comme par exemple le niveau d’interférence mesuré (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre stratégie, RQoS-UCB distribuée (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du système intelligent proposé sont améliorées significativement par l’utilisation de la solution d’apprentissage proposée permettant à l’utilisateur secondaire d’identifier plus efficacement les ressources fréquentielles les plus disponibles et de meilleure qualité. Cette thèse propose également un nouveau modèle d’apprentissage par renforcement combiné à un transfert de connaissance afin d’améliorer l’efficacité énergétique (EE) des réseaux cellulaires hétérogènes. Nous formulons et résolvons un problème de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement éteintes et allumées (ON-OFF). Ce problème d’optimisation combinatoire peut aussi être modélisé par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des réseaux hétérogènes, utilisant l’algorithme RQoS-UCB, est proposée pour contrôler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’étude de capacité multi-cellulaires. Enfin une méthode incluant le transfert de connaissance « transfer RQoS-UCB » est proposée et validée par des simulations, pour pallier les pertes de récompense initiales et accélérer le processus d’apprentissage, grâce à la connaissance acquise à d’autres périodes temporelles correspondantes à la période courante (même heure de la journée la veille, ou même jour de la semaine par exemple). La solution proposée de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adéquate en atténuant les fluctuations de la QoS lors des variations du trafic et en améliorant les conditions au démarrage de l’apprentissage. Ainsi, l’efficacité énergétique est grandement améliorée. Enfin des démonstrateurs en conditions radio réelles ont été développés pour valider les solutions d’apprentissage étudiées. Les algorithmes ont également été confrontés à des bases de données de mesures effectuées par un partenaire dans la gamme de fréquence HF, pour des liaisons transhorizon. Les résultats confirment la pertinence des solutions d’apprentissage proposées, aussi bien en termes d’optimisation de l’utilisation du spectre fréquentiel, qu’en termes d’efficacité énergétique. / Future cellular network technologies are targeted at delivering self-organizable and ultra-high capacity networks, while reducing their energy consumption. This thesis studies intelligent spectrum and topology management through cognitive radio techniques to improve the capacity density and Quality of Service (QoS) as well as to reduce the cooperation overhead and energy consumption. This thesis investigates how reinforcement learning can be used to improve the performance of a cognitive radio system. In this dissertation, we deal with the problem of opportunistic spectrum access in infrastructureless cognitive networks. We assume that there is no information exchange between users, and they have no knowledge of channel statistics and other user's actions. This particular problem is designed as multi-user restless Markov multi-armed bandit framework, in which multiple users collect a priori unknown reward by selecting a channel. The main contribution of the dissertation is to propose a learning policy for distributed users, that takes into account not only the availability criterion of a band but also a quality metric linked to the interference power from the neighboring cells experienced on the sensed band. We also prove that the policy, named distributed restless QoS-UCB (RQoS-UCB), achieves at most logarithmic order regret. Moreover, numerical studies show that the performance of the cognitive radio system can be significantly enhanced by utilizing proposed learning policies since the cognitive devices are able to identify the appropriate resources more efficiently. This dissertation also introduces a reinforcement learning and transfer learning frameworks to improve the energy efficiency (EE) of the heterogeneous cellular network. Specifically, we formulate and solve an energy efficiency maximization problem pertaining to dynamic base stations (BS) switching operation, which is identified as a combinatorial learning problem, with restless Markov multi-armed bandit framework. Furthermore, a dynamic topology management using the previously defined algorithm, RQoS-UCB, is introduced to intelligently control the working modes of BSs, based on traffic load and capacity in multiple cells. Moreover, to cope with initial reward loss and to speed up the learning process, a transfer RQoS-UCB policy, which benefits from the transferred knowledge observed in historical periods, is proposed and provably converges. Then, proposed dynamic BS switching operation is demonstrated to reduce the number of activated BSs while maintaining an adequate QoS. Extensive numerical simulations demonstrate that the transfer learning significantly reduces the QoS fluctuation during traffic variation, and it also contributes to a performance jump-start and presents significant EE improvement under various practical traffic load profiles. Finally, a proof-of-concept is developed to verify the performance of proposed learning policies on a real radio environment and real measurement database of HF band. Results show that proposed multi-armed bandit learning policies using dual criterion (e.g. availability and quality) optimization for opportunistic spectrum access is not only superior in terms of spectrum utilization but also energy efficient.

Cette thèse étudie les techniques de gestion intelligente du spectre et de topologie des réseaux via une approche radio intelligente dans le but d’améliorer leur capacité, leur qualité de service (QoS – Quality of Service) et leur consommation énergétique. Les techniques d’apprentissage par renforcement y sont utilisées dans le but d’améliorer les performances d’un système radio intelligent. Dans ce manuscrit, nous traitons du problème d’accès opportuniste au spectre dans le cas de réseaux intelligents sans infrastructure. Nous nous plaçons dans le cas où aucune information n’est échangée entre les utilisateurs secondaires (pour éviter les surcoûts en transmissions). Ce problème particulier est modélisé par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette thèse propose une stratégie d’apprentissage multi-joueurs qui prend en compte non seulement le critère de disponibilité des canaux (comme déjà étudié dans la littérature et une thèse précédente au laboratoire), mais aussi une métrique de qualité, comme par exemple le niveau d’interférence mesuré (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre stratégie, RQoS-UCB distribuée (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du système intelligent proposé sont améliorées significativement par l’utilisation de la solution d’apprentissage proposée permettant à l’utilisateur secondaire d’identifier plus efficacement les ressources fréquentielles les plus disponibles et de meilleure qualité. Cette thèse propose également un nouveau modèle d’apprentissage par renforcement combiné à un transfert de connaissance afin d’améliorer l’efficacité énergétique (EE) des réseaux cellulaires hétérogènes. Nous formulons et résolvons un problème de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement éteintes et allumées (ON-OFF). Ce problème d’optimisation combinatoire peut aussi être modélisé par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des réseaux hétérogènes, utilisant l’algorithme RQoS-UCB, est proposée pour contrôler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’étude de capacité multi-cellulaires. Enfin une méthode incluant le transfert de connaissance « transfer RQoS-UCB » est proposée et validée par des simulations, pour pallier les pertes de récompense initiales et accélérer le processus d’apprentissage, grâce à la connaissance acquise à d’autres périodes temporelles correspondantes à la période courante (même heure de la journée la veille, ou même jour de la semaine par exemple). La solution proposée de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adéquate en atténuant les fluctuations de la QoS lors des variations du trafic et en améliorant les conditions au démarrage de l’apprentissage. Ainsi, l’efficacité énergétique est grandement améliorée. Enfin des démonstrateurs en conditions radio réelles ont été développés pour valider les solutions d’apprentissage étudiées. Les algorithmes ont également été confrontés à des bases de données de mesures effectuées par un partenaire dans la gamme de fréquence HF, pour des liaisons transhorizon. Les résultats confirment la pertinence des solutions d’apprentissage proposées, aussi bien en termes d’optimisation de l’utilisation du spectre fréquentiel, qu’en termes d’efficacité énergétique. / Future cellular network technologies are targeted at delivering self-organizable and ultra-high capacity networks, while reducing their energy consumption. This thesis studies intelligent spectrum and topology management through cognitive radio techniques to improve the capacity density and Quality of Service (QoS) as well as to reduce the cooperation overhead and energy consumption. This thesis investigates how reinforcement learning can be used to improve the performance of a cognitive radio system. In this dissertation, we deal with the problem of opportunistic spectrum access in infrastructureless cognitive networks. We assume that there is no information exchange between users, and they have no knowledge of channel statistics and other user's actions. This particular problem is designed as multi-user restless Markov multi-armed bandit framework, in which multiple users collect a priori unknown reward by selecting a channel. The main contribution of the dissertation is to propose a learning policy for distributed users, that takes into account not only the availability criterion of a band but also a quality metric linked to the interference power from the neighboring cells experienced on the sensed band. We also prove that the policy, named distributed restless QoS-UCB (RQoS-UCB), achieves at most logarithmic order regret. Moreover, numerical studies show that the performance of the cognitive radio system can be significantly enhanced by utilizing proposed learning policies since the cognitive devices are able to identify the appropriate resources more efficiently. This dissertation also introduces a reinforcement learning and transfer learning frameworks to improve the energy efficiency (EE) of the heterogeneous cellular network. Specifically, we formulate and solve an energy efficiency maximization problem pertaining to dynamic base stations (BS) switching operation, which is identified as a combinatorial learning problem, with restless Markov multi-armed bandit framework. Furthermore, a dynamic topology management using the previously defined algorithm, RQoS-UCB, is introduced to intelligently control the working modes of BSs, based on traffic load and capacity in multiple cells. Moreover, to cope with initial reward loss and to speed up the learning process, a transfer RQoS-UCB policy, which benefits from the transferred knowledge observed in historical periods, is proposed and provably converges. Then, proposed dynamic BS switching operation is demonstrated to reduce the number of activated BSs while maintaining an adequate QoS. Extensive numerical simulations demonstrate that the transfer learning significantly reduces the QoS fluctuation during traffic variation, and it also contributes to a performance jump-start and presents significant EE improvement under various practical traffic load profiles. Finally, a proof-of-concept is developed to verify the performance of proposed learning policies on a real radio environment and real measurement database of HF band. Results show that proposed multi-armed bandit learning policies using dual criterion (e.g. availability and quality) optimization for opportunistic spectrum access is not only superior in terms of spectrum utilization but also energy efficient.

L'interférence entre stations de base est considérée comme le principal facteur limitant les performances des réseaux cellulaires. Nous nous intéressons aux différents schémas de coordination multi-point (CoMP) proposés dans la norme LTE-A pour y faire face, en tenant compte de l'aspect dynamique du trafic et de la mobilité des utilisateurs. Les résultats sont obtenus par l'analyse mathématique de modèles markoviens et par des simulations du système. Nous montrons l'importance de l'algorithme d'ordonnancement sur les performances en présence d'utilisateurs mobiles, pour des services de téléchargement de fichier et de streaming vidéo. Nous proposons un nouvel algorithme d'ordonnancement basé sur la dé-priorisation des utilisateurs mobiles se trouvant en bord de cellule, afin d'améliorer l'efficacité globale du système. Nous montrons ensuite qu'il est intéressant d'activer la technique dite Joint Processing uniquement dans un réseau à forte interférence, son activation dans un réseau à faible interférence pouvant conduire à une dégradation des performances. Nous proposons un nouveau mécanisme de coordination où une cellule ne coopère que lorsque sa coopération apporte un gain moyen de débit suffisant pour compenser les pertes de ressources engendrées. Nous considérons enfin la technique de formation de faisceaux coordonnée. Nous montrons notamment que la coordination n'est pas nécessaire lorsque l'on dispose d'un grand nombre d'antennes par station de base, un simple mécanisme d'ordonnancement opportuniste permettant d'obtenir des performances optimales. Pour un nombre limité d’antennes parstation de base, la coordination est nécessaire afin d’éviter l’interférence entre les faisceaux activés, et permet des gains de performance substantiels. / Interference is still the main limiting factor in cellular networks. We focus on the different coordinated multi-point schemes (CoMP) proposed in the LTE-A standard to cope with interference, taking into account the dynamic aspect of traffic and users’ mobility. The results are obtained by the analysis of Markov models and system-level simulations. We show the important impact of the scheduling strategy on the network performance in the presence of mobile users considering elastic traffic and video streaming. We propose a new scheduler that deprioritizes mobile users at the cell edge, in order to improve the overall system efficiency. We show that it is interesting to activate Joint Processing technique only in a high-interference network, its activation in a low-interference network may lead to performance degradation. We propose a new coordination mechanism, where a cell cooperates only when its cooperation brings a sufficient mean throughput gain, which compensates the extra resource consumption. Finally, we show that the coordination of beams is not necessary when a large number of antennas is deployed at each base station; a simple opportunistic scheduling strategy provides optimal performance. For a limited number of antennas per base station,coordination is necessary to avoid interference between the activated beams, allowing substantial performance gains.