L’allocation des ressources spectrales à des services de communications sans fil, sans cesse plus nombreux et plus gourmands, a récemment mené la communauté radio à vouloir remettre en question la stratégie de répartition des bandes de fréquences imposée depuis plus d’un siècle. En effet une étude rendue publique en 2002 par la commission fédérale des communications aux Etats-Unis (Federal Communications Commission - FCC) mit en évidence une pénurie des ressources spectrales dans une large bande de fréquences comprise entre quelques mégahertz à plusieurs gigahertz. Cependant, cette même étude expliqua cette pénurie par une allocation statique des ressources aux différents services demandeurs plutôt que par une saturation des bandes de fréquences. Cette explication fut par la suite corroborée par de nombreuses mesures d’occupation spectrale, réalisées dans plusieurs pays, qui montrèrent une forte sous-utilisation des bandes de fréquences en fonction du temps et de l’espace, représentant par conséquent autant d’opportunité spectrale inexploitée. Ces constations donnèrent naissance à un domaine en plein effervescence connu sous le nom d’Accès Opportuniste au Spectre (Opportunistic Spectrum Access). Nos travaux suggèrent l’étude de mécanismes d’apprentissage pour la radio intelligente (Cognitive Radio) dans le cadre de l’Accès Opportuniste au Spectre (AOS) afin de permettre à des équipements radio d’exploiter ces opportunités de manière autonome. Pour cela, nous montrons que les problématiques d’AOS peuvent être fidèlement représentées par des modèles d’apprentissage par renforcement. Ainsi, l’équipement radio est modélisé par un agent intelligent capable d’interagir avec son environnement afin d’en collecter des informations. Ces dernières servent à reconnaître, au fur et à mesure des expériences, les meilleurs choix (bandes de fréquences, configurations, etc.) qui s’offrent au système de communication. Nous nous intéressons au modèle particulier des bandits manchots (Multi-Armed Bandit appliqué à l’AOS). Nous discutons, lors d’une phase préliminaire, différentes solutions empruntées au domaine de l’apprentissage machine (Machine Learning). Ensuite, nous élargissons ces résultats à des cadres adaptés à la radio intelligente. Notamment, nous évaluons les performances de ces algorithmes dans le cas de réseaux d’équipements qui collaborent en prenant en compte, dans le modèle suggéré, les erreurs d’observations. On montre de plus que ces algorithmes n’ont pas besoin de connaître la fréquence des erreurs d’observation afin de converger. La vitesse de convergence dépend néanmoins de ces fréquences. Dans un second temps nous concevons un nouvel algorithme d’apprentissage destiné à répondre à des problèmes d’exploitation des ressources spectrales dans des conditions dites de fading. Tous ces travaux présupposent néanmoins la capacité de l’équipement intelligent à détecter efficacement l’activité d’autres utilisateurs sur la bande (utilisateurs prioritaires dits utilisateurs primaires). La principale difficulté réside dans le fait que l’équipement intelligent ne suppose aucune connaissance a priori sur son environnement (niveau du bruit notamment) ou sur les utilisateurs primaires. Afin de lever le doute sur l’efficacité de l’approche suggérée, nous analysons l’impact de ces incertitudes sur le détecteur d’énergie. Ce dernier prend donc le rôle d’observateur et envoie ses observations aux algorithmes d’apprentissage. Nous montrons ainsi qu’il est possible de quantifier les performances de ce détecteur dans des conditions d’incertitude sur le niveau du bruit ce qui le rend utilisable dans le contexte de la radio intelligente. Par conséquent, les algorithmes d’apprentissage utilisés pourront exploiter les résultats du détecteur malgré l’incertitude inhérente liée à l’environnement considéré et aux hypothèses (sévères) d’incertitude liées au problème analysé. / During the last century, most of the meaningful frequency bands were licensed to emerging wireless applications. Because of the static model of frequency allocation, the growing number of spectrum demanding services led to a spectrum scarcity. However, recently, series of measurements on the spectrum utilization showed that the different frequency bands were underutilized (sometimes even unoccupied) and thus that the scarcity of the spectrum resource is virtual and only due to the static allocation of the different bands to specific wireless services. Moreover, the underutilization of the spectrum resource varies on different scales in time and space offering many opportunities to an unlicensed user or network to access the spectrum. Cognitive Radio (CR) and Opportunistic Spectrum Access (OSA) were introduced as possible solutions to alleviate the spectrum scarcity issue.In this dissertation, we aim at enabling CR equipments to exploit autonomously communication opportunities found in their vicinity. For that purpose, we suggest decision making mechanisms designed and/or adapted to answer CR related problems in general, and more specifically, OSA related scenarios. Thus, we argue that OSA scenarios can be modeled as Multi-Armed Bandit (MAB) problems. As a matter of fact, within OSA contexts, CR equipments are assumed to have no prior knowledge on their environment. Acquiring the necessary information relies on a sequential interaction between the CR equipment and its environment. Finally, the CR equipment is modeled as a cognitive agent whose purpose is to learn while providing an improving service to its user. Thus, firstly we analyze the performance of UCB1 algorithm when dealing with OSA problems with imperfect sensing. More specifically, we show that UCB1 can efficiently cope with sensing errors. We prove its convergence to the optimal channel and quantify its loss of performance compared to the case with perfect sensing. Secondly, we combine UCB1 algorithm with collaborative and coordination mechanism to model a secondary network (i.e. several SUs). We show that within this complex scenario, a coordinated learning mechanism can lead to efficient secondary networks. These scenarios assume that a SU can efficiently detect incumbent users’ activity while having no prior knowledge on their characteristics. Usually, energy detection is suggested as a possible approach to handle such task. Unfortunately, energy detection in known to perform poorly when dealing with uncertainty. Consequently, we ventured in this Ph.D. to revisit the problem of energy detection limits under uncertainty. We present new results on its performances as well as its limits when the noise level is uncertain and the uncertainty is modeled by a log-normal distribution (as suggested by Alexander Sonnenschein and Philip M. Fishman in 1992). Within OSA contexts, we address a final problem where a sensor aims at quantifying the quality of a channel in fading environments. In such contexts, UCB1 algorithms seem to fail. Consequently, we designed a new algorithm called Multiplicative UCB (UCB) and prove its convergence. Moreover, we prove that MUCB algorithms are order optimal (i.e., the order of their learning rate is optimal). This last work provides a contribution that goes beyond CR and OSA. As a matter of fact, MUCB algorithms are introduced and solved within a general MAB framework.

Avec le développement des technologies de communication sans fil, les réseaux de capteur à radio cognitive (CRSNs) représentent une solution efficace pour le déploiement des réseaux électriques intelligents, connus aussi sous le nom de smart grids. La technologie de radio cognitive permet aux nœuds capteurs d’utiliser les bandes de fréquences non utilisées par des utilisateurs avec licence afin de contourner les limitations des bandes de fréquences sans licence. Dans ce contexte, plusieurs problèmes de communication freinent le déploiement des CRSNs pour les smart grids tel que la coexistence de différentes applications électriques ainsi que l’hétérogénéité des disponibilités des bandes de fréquence avec licence entre les nœuds capteurs. Les travaux de recherche menés dans cette thèse se focalisent essentiellement sur l’allocation des ressources spectrales pour les CRSNs déployés pour contrôler des smart grids. Nous proposons des nouvelles techniques d’allocation de ressources spectrales qui prennent en considération des topologies de déploiement possibles des CRSNs dans les smart grids tout en assurant d’une manière distribuée l’équité entre les nœuds capteurs déployés. Tout au long de notre travail, l’allocation des canaux est effectuée sans faire appel à un canal de contrôle en commun pour le partage des messages de contrôle avant chaque accès au spectre. L'évaluation de performances des différentes solutions développées montre qu'elles réalisent effectivement une allocation opportuniste des ressources spectrales d’une manière distribuée et équitable tout en considérant différentes caractéristiques du système sous-jacent aux réseaux électriques intelligents. / With the advances in wireless communication technologies, cognitive radio sensor networks (CRSNs) stand as an efficient spectrum solution in the development of intelligent electrical power networks, the smart grids. The cognitive radio (CR) technology provides the sensors with the ability to use the temporally available licensed spectrum in order to escape the unlicensed spectrum resource scarcity problem. In this context, several challenging communication issues face the CRSN deployment for smart grids such as the coexistence of different electrical applications and the heterogeneous opportunities to access available licensed channels between smart grid sensors. The work conducted in this thesis focuses on spectrum resource allocations for CRSNs in smart grids. We concentrate our efforts on the development of new spectrum resource sharing paradigms for CRSNs in smart grids. The developed solutions focus on distributed and balanced spectrum sharing among smart grid sensors and on eventual CRSN deployment scenarios in smart grid areas. All along the thesis, channels are assigned without relying on a predefined common control channel (CCC) to exchange control messages before each spectrum access trial. All along the thesis, channels are assigned without relying on a predefined common control channel (CCC) to exchange control messages before each spectrum access trial. Performance evaluation of the different proposed channel assignment solutions shows their ability to achieve a distributed and fair opportunistic spectrum assignment in a way to consider different smart grid system characteristics.

Il est attendu que les radios flexibles constituent un tournant technologique majeur dans le domaine des communications sans fil. Le point de vue adopté en radios flexibles est de considérer les canaux de communication comme un ensemble de ressources qui peuvent être accédées sur demande par un réseau primaire sous licence ou de manière opportuniste par un réseau secondaire à plus faible priorité. Du point de vue de la couche physique, le réseau primaire n’a aucune information sur l’existence de réseaux secondaires, de sorte que ces derniers doivent explorer l’environnement aérien de manière autonome à la recherche d’opportunités spectrales et exploiter ces ressources de manière optimale. Les phases d’exploration et d’exploitation, qui impliquent la gestion de nombreux agents, doivent être très fiables, rapides et efficaces. L’objectif de cette thèse est de modéliser, d’analyser et de proposer des solutions efficaces et quasi optimales pour ces dernières opérations.En ce qui concerne la phase d’exploration, nous calculons le test optimal de Neyman-Pearson de détection de plusieurs sources primaires via un réseau de capteurs. Cette procédure permet à un réseau secondaire d’établir la présence de ressources spectrales disponibles. La complexité calculatoire de l’approche optimale appelle cependant la mise en place de méthodes moins onéreuses, que nous rappelons et discutons. Nous étendons alors le test de détection en l’estimation aveugle de la position de sources multiples, qui permet l’acquisition d’informations détaillées sur les ressources spectrales disponibles.Le second volet de cette thèse est consacré à la phase d’exploitation optimale des ressources au niveau du réseau secondaire. Pour ce faire, nous obtenons une approximation fine du débit ergodique d’un canal multi-antennes à accès multiples et proposons des solutions peu coûteuses en termes de feedback afin que les réseaux secondaires s’adaptent rapidement aux évolutions rapides du réseau primaire. / Future cognitive radio networks are expected to come as a disruptive technological advance in the currently saturated field of wireless communications. The idea behind cognitive radios is to think of the wireless channels as a pool of communication resources, which can be accessed on-demand by a primary licensed network or opportunistically preempted (or overlaid) by a secondary network with lower access priority. From a physical layer point of view, the primary network is ideally oblivious of the existence of a co-localized secondary networks. The latter are therefore required to autonomously explore the air in search for resource left-overs, and then to optimally exploit the available resource. The exploration and exploitation procedures, which involve multiple interacting agents, are requested to be highly reliable, fast and efficient. The objective of the thesis is to model, analyse and propose computationally efficient and close-to-optimal solutions to the above operations.Regarding the exploration phase, we first resort to the maximum entropy principle to derive communication models with many unknowns, from which we derive the optimal multi-source multi-sensor Neyman-Pearson signal sensing procedure. The latter allows for a secondary network to detect the presence of spectral left-overs. The computational complexity of the optimal approach however calls for simpler techniques, which are recollected and discussed. We then proceed to the extension of the signal sensing approach to the more advanced blind user localization, which provides further valuable information to overlay occupied spectral resources.The second part of the thesis is dedicaded to the exploitation phase, that is, the optimal sharing of available resources. To this end, we derive an (asymptotically accurate) approximated expression for the uplink ergodic sum rate of a multi-antenna multiple-access channel and propose solutions for cognitive radios to adapt rapidly to the evolution of the primary network at a minimum feedback cost for the secondary networks.

Le schéma de modulation OFDM est très répandu de nos jours (WiFi, WiMAX, \dots) et préconisé comme couche physique pour de nombreux réseaux futurs (3GPP/LTE, IEEE 802.22). Ainsi cette coexistence de réseaux OFDM fait que l'environnement radio est de nos jours hétérogène. Afin de tirer partie de cette hétérogénéité et de satisfaire le concept de ''\textit{Always Best connected}'', il a été imaginé des terminaux multistandards capables de basculer de manière transparente d'un réseau à un autre à la recherche du réseau offrant la qualité de service la plus satisfaisante. Ce processus de basculement entre standards est appelé ''\textit{vertical handover}''. Avant de déclencher un \textit{vertical handover} le terminal se doit d'identifier les réseaux actifs qui l'entourent et estimer la qualité de service disponible sur chaque réseau. Ainsi, dans le cadre de cette thèse nous proposons dans un premier temps des algorithmes d'identification de systèmes OFDM. Dans un second temps, nous nous intéressons à la qualité de service disponible sur les réseaux détectés, nous avons ainsi proposé des estimateurs de métriques de qualité de service dédiés à des réseaux basés sur les schémas d'accès multiples OFDMA et CSMA/CA. Certaines de ces métriques ont été validées expérimentalement sur la plate-forme RAMMUS de TELECOM Bretagne. Toutes les techniques proposées dans le cadre de cette thèse, sont des approches passives à faible coût de calcul qui ne nécessitent aucune connexion au point d'accès, permettant ainsi une économie en temps et en énergie.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-04-20T18:23:07Z No. of bitstreams: 1 laryssaramosamado.pdf: 2344885 bytes, checksum: 4328135ddbd0305fc11aa0bf0f8f8b61 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-04-24T16:50:29Z (GMT) No. of bitstreams: 1 laryssaramosamado.pdf: 2344885 bytes, checksum: 4328135ddbd0305fc11aa0bf0f8f8b61 (MD5) / Made available in DSpace on 2017-04-24T16:50:29Z (GMT). No. of bitstreams: 1 laryssaramosamado.pdf: 2344885 bytes, checksum: 4328135ddbd0305fc11aa0bf0f8f8b61 (MD5) Previous issue date: 2011-08-29 / CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico / A presente dissertação tem como objetivos principais a discussão e a análise do uso de técnicas de monitoramento de espectro aplicadas a sistemas PLC, para que a ocupação deste espectro seja explicitada. Neste contexto, diversas técnicas de processamento de sinais e inteligência computacional são utilizadas para extrair e selecionar o menor número de características que sejam mais representativas para detecção, a fim de projetar o melhor e menos complexo detector de sinais a ser utilizado inicialmente na faixa de frequência entre 1,705 e 100 MHz, mas que permita futuras modificações para aplicações na faixa entre 1,705 e 250 MHz. Além disso, o problema de monitoramento de espectro para sistemas PLC é formalizado, e questões de investigação são analisadas tanto para dados simulados em MATLAB quanto para dados medidos em campo. O processo de medição destes dados é descrito e suas características são explicitadas. Finalmente, a análise dos resultados obtidos indica a adequabilidade das técnicas aplicadas ao problema em questão, porém indicam necessidade do aprofundamento desta investigação. Desta maneira, este trabalho consiste em um estudo inicial sobre importantes questões pertinentes ao monitoramento de espectro de sistemas PLC. / This master thesis aims to discuss and analyze the use of spectrum sensing techniques applied to PLC systems, in order to explicit the spectrum occupation. These techniques extract and select the least quantity of the most representative signal features in order to project the best detector that presents the lowest computational complexity. In addition to that, the spectrum sensing problem is formalized, and a few investigation questions are analyzed for both synthetic and measured data. The measurement of PLC signals and their characterization is also exposed. Although the analysis of the attained results indicate that the techniques used are suitable for the examined problems, their further investigation is necessary, in order to better understand the PLC environment and the spectrum sensing issues related to it. This work is, therefore, an initial study about the mentioned matters.

Le nombre croissant d'applications des Réseaux de Capteurs Sans Fils (RCSFs) a conduit les industriels à concevoir ces réseaux avec une couche Physique (PHY) suivant le standard IEEE 802.15.4. Actuellement, cette couche est implémentée en matériel souffrant d'un manque de flexibilité du changement des paramètres radio, telles que bandes de fréquences et modulations. Ce problème est accentué par la rareté du spectre radio fréquences. La Radio Logiciel (RL) est une nouvelle solution pour reconfigurer plus facilement ces paramètres. A partir d'une RL, il est possible de développer une radio cognitive permettant une écoute de spectre et un Accès Dynamique au Spectre (ADS). Ces deux possibilités sont utiles pour surmonter le problème de la rareté du spectre. Cette thèse propose une nouvelle solution Radio logicielle pour un RCSF basé sur le standard IEEE 802.15.4. Notre objectif est de caractériser une plate-forme RL qui implémente à la fois deux couches PHY standardisées et une radio cognitive pour des RCSFs. Dans cette thèse, nous avons réalisé des implémentations RL en utilisant une plateforme composée de la solution Universal Software Peripheral Radio (USRP) d'Ettus Research et de GNU Radio. Nous avons choisi cette plateforme particulière puisqu'elle est parmi les outils les plus performants et les plus pratiques d'après notre état de l'art. Une étude minutieuse a été effectuée pour analyser l'architecture logicielle de la GNU Radio avant son utilisation. Des USRPs avec leurs cartes filles ont été aussi analysés à travers des mesures expérimentales radio fréquences. L'analyse de cette plate-forme a apporté une description détaillée de son architecture et de ses performances. Nous avons prouvé que les performances mesurées sont plus faibles que ceux attendus pour certaines cartes filles d'USRP. Malgré ces résultats, certaines cartes ont de nombreuses caractéristiques intéressantes, comme de grandes bandes de fréquences couvertes et une puissance de sortie linéaire. Un modèle empirique a été introduit pour caractériser avec précision la puissance de sortie moyenne d'une carte fille particulière. Nous avons ensuite implémenté une nouvelle couche PHY standardisée pour la bande de fréquence 868/915 MHz basée sur le standard 802.15.4. Un processus de rétro-ingénierie d'une autre implémentation développée pour la bande 2.4GHz a été effectué. Ces deux couches ont été décrites par des chaines de communications ou des graphes de flux. Nous avons finalement proposé une nouvelle radio cognitive par une reconfiguration de ces graphes de flux dans les deux bandes de fréquences correspondantes. La particularité de notre radio cognitive est de reconfigurer les graphes de flux en fonction de la fréquence sélectionnée. Cette sélection est effectuée par un ADS et une écoute de spectre basé sur une détection d'énergie, validés tous les deux au travers des réelles communications sans fil. Nous avons introduit un algorithme à base de messages afin de reconfigurer les graphes de flux et de synchroniser la sélection sur une fréquence porteuse. Les deux couches physiques en RL pour les bandes 2.4 GHz et 868/915 MHz ont été testées et sont fonctionnelles. La première a été testée en échangeant des paquets de données avec des nœuds capteurs réels. La deuxième a été expérimentée par l'échange de paquets, à travers une communication entre deux radios logicielles USRP/GNU Radio. Nous avons réussi à mesurer deux paramètres réels d'une communication sans fil : le taux d'erreur binaire et le taux de succès des paquets. Les couches PHY résultantes ont servi à la réalisation et à l'expérimentation d'un ADS de notre radio cognitive. Un ADS a amélioré significativement le taux de succès de paquets par rapport à celui obtenu avec un accès statique dans un environnement indoor. Les résultats de cette thèse conduisent à expérimenter une radio cognitive avec une RL non seulement pour un RCSF, mais pour d'autres réseaux sans fil et standards radio / The Increasing number of Wireless Sensor Networks (WSNs) applications has led industries to design the physical layer (PHY) of these networks following the IEEE 802.15.4 standard. The traditional design of that layer is on hardware suffering from a lack of flexibility of radio parameters, such as changing both frequency bands and modulations. This problem is emphasized by the scarcity of the radio-frequency spectrum. Software Defined Radio (SDR) is an attracting solution to easily reconfigure radio parameters. In addition to SDR, a cognitive radio concept can be proposed by spectrum sensing and Dynamic Spectrum Access (DSA) both to overcome the spectrum scarcity problem. This thesis proposes a new SDR solution for WSNs based on the IEEE 802.15.4 standard. Our aim is to characterize an SDR platform that implements two standardized PHY layers and cognitive radio for WSNs. In this thesis, we carried out SDR implementations using a GNU Radio and Universal Software Peripheral Radio (USRP) platform. We chose this particular platform because it is one of the most practical and well-performed ones. A thorough study was performed to analyze GNU Radio software architecture before its usage. USRPs and their daughter boards were also analyzed through experimental radio-frequency measurements. The analysis of the GNU Radio USRP platform brought a detailed description of its architecture and performances as well as the way to implement an SDR. This description particularly assists researchers to quickly develop efficient SDR receivers and transmitters. We show through our experiments that the measured performances of daughter boards mounted on a USRP are lower than expected ones. Despite these results, some daughter boards have many interesting features such as large covered frequency bands and with a linear output power. An empirical model was introduced to accurately characterize the average output power of a particular daughter board. Then, we implemented a new possible standardized PHY layer for the 868/915 MHz frequency band. A reverse engineering process of another implementation was performed for the 2450 MHz frequency band. These two PHY layers were described by communication chains or flow graphs. We suggested a new Cognitive Radio by a reconfiguration of these flow graphs within the corresponding frequency bands. The particularity of our cognitive radio is to reconfigure flow graphs in function to the selected frequency. This selection is performed by DSA and spectrum sensing based on energy detection both through real wireless communications. We introduced a message based algorithm in order to reconfigure the flow graphs and to synchronize the selection of a carrier frequency. Our two implemented PHY layers for the 2450 MHz and the 868/915 frequency bands were found functional. The first one was tested by exchanging data packets with real sensor nodes. The second was also experienced by a packet exchange, but via GNURadio/USRP communications. Both tests were carried out through real communications. We were also able to measure two wireless communication parameters: Bit Error Rate (BER) and the Packet Success Rate (PSR). The result of functional PHY layers was beneficial for realization and experiments of our cognitive radio. We found that our DSA significantly improves the packet success rate compared to that obtained with static spectrum access in an indoor environment. The results of this thesis lead to experiment a cognitive radio with an SDR not only for a WSN, but for other wireless networks and radio standards

La Radio Cognitive (CR) est une technique prometteuse pour assurer une utilisation efficace du spectre. Elle permet à un utilisateur non licencié appelé utilisateur secondaire (SU) de coexister avec un utilisateur agréé appelé utilisateur primaire (PU) sans dégrader les performances du dernier. Dans un système de CR, le SU a la capacité de s'adapter à son environnement afin de détecter des trous de fréquences possibles dans le spectre et transmettre dans ces trous sous certaines contraintes de manière à augmenter le débit total. Par ailleurs, l'allocation des ressources dans les systèmes CR forme l'un des scénarios étudiés les plus courantes en particulier pour des transmissions à porteuses multiples.Dans cette thèse, nous étudions le problème d'allocation des ressources pour un système CR à multi-utilisateur pour une transmission de liaison montante. On considère le scénario underlay où le SU est autorisé à coexister avec le PU à condition que l'interférence causé au PU soit inférieure à un seuil prédéfini. Nous appliquons deux techniques de décodage, l'annulation successive d'interférence (SIC) et le codage à superposition (SC), au SU afin de maximiser le débit secondaire.Dans une première étape, le scénario mono-utilisateur est étudié, en supposant que les informations d'état de canal sont connues parfaitement au SU. Nous évaluons la performance du système en proposant un algorithme de décodage adaptatif où le SU peut soit traiter l'interférence venant du primaire comme du bruit, ou bien appliquer le SIC ou SC. Nous étudions le problème d'allocation de puissance en tenant compte du budget de puissance et des contraintes de seuil d'interférence. Une solution générale pour le problème d'optimisation est proposé. L'analyse des simulations et les résultats théoriques montrent que l'algorithme proposé assure une augmentation sur le débit total du système.Ensuite, le scénario multi-utilisateurs secondaires est étudié, où plusieurs utilisateurs sont autorisés à exister dans la cellule secondaire. Les problème d'allocation de puissance et de sous-porteuses sont détaillés dans le but de maximiser le débit. Nous mettons en évidence les avantages de l'algorithme adaptatif dans le cas multi-utilisateur, qui comprend trois phases. La première étape comprend la sélection adaptative de la stratégie de décodage au niveau du récepteur secondaire. La deuxième étape décrit l'attribution de sous-porteuses parmi les différents utilisateurs. Enfin, la troisième étape détaille la répartition optimale du budget de puissance disponible sur les utilisateurs.Cependant, la connaissance parfaite du canal nécessite des mesures de canal parfait au niveau du récepteur et un lien de rétroaction parfaite pour envoyer ces informations à l'émetteur, ce qui peut être impossible à mettre en œuvre. Ainsi, nous étudions aussi le scénario mono-utilisateur en supposant que juste la connaissance statistique des gains de canaux primaires est disponible au SU. Nous détaillons les expressions analytiques pour les probabilités de panne et nous résolvons le problème d'optimisation non-convexe en utilisant un algorithme d'approximation séquentielle. Les simulations montrent que l'algorithme proposé est efficace et robuste.Enfin, nous proposons un nouveau modèle de système où le récepteur secondaire peut agir comme un nœud de relayage Full-Duplex (FD) afin de maximiser le débit primaire. Le scénario proposé est d'abord étudié pour un schéma de modulation à mono-porteuse dans les cas Amplify-and-Forward (AF) et Decode-and-Forward (DF). Les contraintes pour appliquer le SIC et pour le relayage sont déterminés et les nouveaux débits réalisables sont spécifiés de telle sorte que le nœud de relayage relaie si le nouveau débit atteignable est meilleur que celui obtenu sans relayage. En outre, le scénario FD avec DF est étudié avec la modulation multi-porteuse et les performances de ce modèle sont évaluées. Une amélioration importante sur le débit primaire est affiché. / Cognitive Radio (CR) is a promising technique for efficient spectrum utilization. The CR technology permits an unlicensed user called Secondary User (SU) to coexist with the licensed user called Primary User (PU) without degrading his performance. In a CR system, the SU has the ability to sense and adapt to his environment in order to detect possible frequency holes in the wireless spectrum and transmit in it under some constraints so as to increase the total data rate. Besides, resource allocation in CR systems is one of the most common studied scenarios especially for multi-carrier transmissions, with the aim to maximize the system throughput.In this thesis, we investigate the resource allocation problem for an uplink multi-user underlay CR system where the SU is allowed to coexist with the PU provided that the interference caused to the PU is below a predefined threshold. We apply two decoding techniques, Successive Interference Cancellation (SIC) and Superposition Coding (SC), at the SU in order to maximize the secondary rate. In a first step, the single-user scenario is studied, assuming perfect channel state information (CSI) at the SU. We evaluate the performance of the system by proposing an adaptive decoding algorithm where the SU can either treat the interference as noise or perform SIC or SC. We investigate the power allocation problem taking into account the power budget and the interference threshold constraints. A general solution for the power optimization problem in an uplink underlay CR system is proposed. Both theoretical analysis and simulation results show that the proposed algorithm achieves higher sum rate than classical algorithms, providing high-enough data rates for the secondary system at the expense of a very low degradation of the primary system's rate.Then, the secondary multi-user scenario is investigated, where multiple users are allowed to exist in the secondary cell. Power and subcarrier allocation problems are detailed in order to maximize the secondary rate. We highlight the benefits of the proposed multi-user adaptive algorithm which encompasses three phases. The first step includes the adaptive selection of the decoding strategy at the secondary receiver. The second step describes the subcarrier allocation among the different users. Finally, the third step details the optimal distribution of the available power budget on the users.However, perfect channel knowledge requires perfect channel measurements at the receiver and a perfect feedback link to send this channel information to the transmitter, which may be impractical to implement. Thus, we also study the single-user scenario assuming that only statistical CSI of channel gains between the primary transmitter and both primary and secondary receivers is available at the SU. We detail the analytical expressions for the outage probabilities and then we solve the non-convex optimization problem using a sequential approximation algorithm. simulations show that the proposed algorithm is efficient and robust with statistical CSI. This work can be easily extended to the multi-user case.Finally, we propose a new system model where the secondary receiver acts as a Full-Duplex (FD) relay node in order to maximize the primary rate and thus the total system rate. The proposed scenario is first studied for single-carrier modulation scheme for both Amplify-and-Forward (AF) and Decode-and-Forward (DF) relaying protocols. The constraints to apply SIC and to relay are determined and the new achievable rates are specified such that the relay node relays whenever the new achievable rate is better than the one achieved without relying. Furthermore, the performance of the DF relaying scheme in the FD mode is evaluated for multi-carrier modulation. The performance of the proposed system model is evaluated via simulations and an important improvement of the primary achievable rate and thus of the total system rate is shown.

Cette thèse étudie les techniques de gestion intelligente du spectre et de topologie des réseaux via une approche radio intelligente dans le but d’améliorer leur capacité, leur qualité de service (QoS – Quality of Service) et leur consommation énergétique. Les techniques d’apprentissage par renforcement y sont utilisées dans le but d’améliorer les performances d’un système radio intelligent. Dans ce manuscrit, nous traitons du problème d’accès opportuniste au spectre dans le cas de réseaux intelligents sans infrastructure. Nous nous plaçons dans le cas où aucune information n’est échangée entre les utilisateurs secondaires (pour éviter les surcoûts en transmissions). Ce problème particulier est modélisé par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette thèse propose une stratégie d’apprentissage multi-joueurs qui prend en compte non seulement le critère de disponibilité des canaux (comme déjà étudié dans la littérature et une thèse précédente au laboratoire), mais aussi une métrique de qualité, comme par exemple le niveau d’interférence mesuré (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre stratégie, RQoS-UCB distribuée (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du système intelligent proposé sont améliorées significativement par l’utilisation de la solution d’apprentissage proposée permettant à l’utilisateur secondaire d’identifier plus efficacement les ressources fréquentielles les plus disponibles et de meilleure qualité. Cette thèse propose également un nouveau modèle d’apprentissage par renforcement combiné à un transfert de connaissance afin d’améliorer l’efficacité énergétique (EE) des réseaux cellulaires hétérogènes. Nous formulons et résolvons un problème de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement éteintes et allumées (ON-OFF). Ce problème d’optimisation combinatoire peut aussi être modélisé par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des réseaux hétérogènes, utilisant l’algorithme RQoS-UCB, est proposée pour contrôler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’étude de capacité multi-cellulaires. Enfin une méthode incluant le transfert de connaissance « transfer RQoS-UCB » est proposée et validée par des simulations, pour pallier les pertes de récompense initiales et accélérer le processus d’apprentissage, grâce à la connaissance acquise à d’autres périodes temporelles correspondantes à la période courante (même heure de la journée la veille, ou même jour de la semaine par exemple). La solution proposée de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adéquate en atténuant les fluctuations de la QoS lors des variations du trafic et en améliorant les conditions au démarrage de l’apprentissage. Ainsi, l’efficacité énergétique est grandement améliorée. Enfin des démonstrateurs en conditions radio réelles ont été développés pour valider les solutions d’apprentissage étudiées. Les algorithmes ont également été confrontés à des bases de données de mesures effectuées par un partenaire dans la gamme de fréquence HF, pour des liaisons transhorizon. Les résultats confirment la pertinence des solutions d’apprentissage proposées, aussi bien en termes d’optimisation de l’utilisation du spectre fréquentiel, qu’en termes d’efficacité énergétique. / Future cellular network technologies are targeted at delivering self-organizable and ultra-high capacity networks, while reducing their energy consumption. This thesis studies intelligent spectrum and topology management through cognitive radio techniques to improve the capacity density and Quality of Service (QoS) as well as to reduce the cooperation overhead and energy consumption. This thesis investigates how reinforcement learning can be used to improve the performance of a cognitive radio system. In this dissertation, we deal with the problem of opportunistic spectrum access in infrastructureless cognitive networks. We assume that there is no information exchange between users, and they have no knowledge of channel statistics and other user's actions. This particular problem is designed as multi-user restless Markov multi-armed bandit framework, in which multiple users collect a priori unknown reward by selecting a channel. The main contribution of the dissertation is to propose a learning policy for distributed users, that takes into account not only the availability criterion of a band but also a quality metric linked to the interference power from the neighboring cells experienced on the sensed band. We also prove that the policy, named distributed restless QoS-UCB (RQoS-UCB), achieves at most logarithmic order regret. Moreover, numerical studies show that the performance of the cognitive radio system can be significantly enhanced by utilizing proposed learning policies since the cognitive devices are able to identify the appropriate resources more efficiently. This dissertation also introduces a reinforcement learning and transfer learning frameworks to improve the energy efficiency (EE) of the heterogeneous cellular network. Specifically, we formulate and solve an energy efficiency maximization problem pertaining to dynamic base stations (BS) switching operation, which is identified as a combinatorial learning problem, with restless Markov multi-armed bandit framework. Furthermore, a dynamic topology management using the previously defined algorithm, RQoS-UCB, is introduced to intelligently control the working modes of BSs, based on traffic load and capacity in multiple cells. Moreover, to cope with initial reward loss and to speed up the learning process, a transfer RQoS-UCB policy, which benefits from the transferred knowledge observed in historical periods, is proposed and provably converges. Then, proposed dynamic BS switching operation is demonstrated to reduce the number of activated BSs while maintaining an adequate QoS. Extensive numerical simulations demonstrate that the transfer learning significantly reduces the QoS fluctuation during traffic variation, and it also contributes to a performance jump-start and presents significant EE improvement under various practical traffic load profiles. Finally, a proof-of-concept is developed to verify the performance of proposed learning policies on a real radio environment and real measurement database of HF band. Results show that proposed multi-armed bandit learning policies using dual criterion (e.g. availability and quality) optimization for opportunistic spectrum access is not only superior in terms of spectrum utilization but also energy efficient.

Dans ces travaux de thèse, nous proposons un système de communication original permettant d’atteindre un haut débit et de répondre aux exigences de la qualité de service requise pour les communications courte portée dans le cadre du transport intelligent. Ce système se base sur la technologie Ultra Large Bande Impulsionnelle (IR-ULB) et sur un nouveau schéma de modulation nommé M-OAM (M-Orthogonal Amplitude Modulation). Les modulations M-OAM se basent sur le principe des modulations M-QAM en remplaçant les porteuses par des formes d’ondes ULB orthogonales de type MGF (Modified Gegenbauer Function). Ces modulations ont été évaluées sous les conditions d’un canal AWGN et des canaux IEEE 802.15.3a et IEEE 802.15.4a qui tiennent compte des paramètres réels de la route. En plus du haut débit exigé par les communications inter-véhiculaires, il faut assurer un échange d’informations simultané entre plusieurs utilisateurs de la route et garantir une bonne qualité de service. Dans cette optique, une nouvelle technique d’accès multiple adaptée est proposée. Chaque utilisateur a la possibilité d’utiliser la modulation OAM adéquate selon le débit désiré. Le récepteur de ce système se caractérise par un aspect intelligent grâce à l’intégration des principes de la Radio Cognitive (RC) qui permet de détecter l’arrivée du signal et d’identifier les paramètres de la modulation utilisée afin de s’y adapter d’une façon autonome. Une bonne qualité de service est assurée par la proposition d’une nouvelle technique de démodulation qui se base sur les Statistiques d’Ordres Supérieurs (SOS) permettant d’éliminer le bruit Gaussien. Les bonnes performances du système de communication M-OAM ainsi que l’ensemble des aspects proposés ont été validés expérimentalement au sein du laboratoire IEMN-DOAE. Dans la dernière partie de ce document nous avons présenté la réalisation d’un prototype de ce traitement en temps réel sur une plateforme FPGA, en exploitant des algorithmes parallélisables sur des architectures reconfigurables. / In this work of thesis, we propose an original communication system allowing to reach high data rate and to fulfill the requirements of quality of service necessary for the communications short range dedicated to intelligent transport. This system is based on the Ultra Wide Band Impulse (IR-ULB) technology and on new modulation scheme named M-OAM (M-states Orthogonal Amplitude Modulation). M-OAM modulations are based on the principle of modulations M-QAM by replacingthe carriers used for QAM modulation with orthogonal waveforms ULB type MGF (Modified Gegenbauer Function). These modulations were evaluated under the conditions of AWGN channel and IEEE 802.15 channels which take account of the real parameters of the road. Besides the high speed required by inter-vehicular communications, it is necessary to ensure simultaneous information exchange between several users of the road. Accordingly, new adaptive multiple access system is proposed. Each user has the possibility to use the adequate modulation OAM according to the desired speed. The receiver of this system is characterized by an intelligent aspect thanks to the integration of the principle of Cognitive Radio (RC) which makes it able to detect the signal arrival and to identify the parameters of the used modulation in order to adapt the demodulation in an autonomous way. A good quality of service is ensured by the proposed novel demodulation method based on the Higher Orders Statistics (HOS) to eliminate the Gaussian noise. The good performances of M-OAM communication system M-OAM as well as the whole of the suggested aspects are validated in experiments within IEMN-DOAE laboratory. In the last part of this document we presented the realization of prototype using real time processing developed on FPGA plateform and exploiting parallelisable algorithms on reconfigurable architectures.

Cette thèse traite de méthodes « model-based » pour résoudre des problèmes d'apprentissage par renforcement. On considère un agent confronté à une suite de décisions et un environnement dont l'état varie selon les décisions prises par l'agent. Ce dernier reçoit tout au long de l'interaction des récompenses qui dépendent à la fois de l'action prise et de l'état de l'environnement. L'agent ne connaît pas le modèle d'interaction et a pour but de maximiser la somme des récompenses reçues à long terme. Nous considérons différents modèles d'interactions : les processus de décisions markoviens, les processus de décisions markoviens partiellement observés et les modèles de bandits. Pour ces différents modèles, nous proposons des algorithmes qui consistent à construire à chaque instant un ensemble de modèles permettant d'expliquer au mieux l'interaction entre l'agent et l'environnement. Les méthodes dites « model-based » que nous élaborons se veulent performantes tant en pratique que d'un point de vue théorique. La performance théorique des algorithmes est calculée en terme de regret qui mesure la différence entre la somme des récompenses reçues par un agent qui connaîtrait à l'avance le modèle d'interaction et celle des récompenses cumulées par l'algorithme. En particulier, ces algorithmes garantissent un bon équilibre entre l'acquisition de nouvelles connaissances sur la réaction de l'environnement (exploration) et le choix d'actions qui semblent mener à de fortes récompenses (exploitation). Nous proposons deux types de méthodes différentes pour contrôler ce compromis entre exploration et exploitation. Le premier algorithme proposé dans cette thèse consiste à suivre successivement une stratégie d'exploration, durant laquelle le modèle d'interaction est estimé, puis une stratégie d'exploitation. La durée de la phase d'exploration est contrôlée de manière adaptative ce qui permet d'obtenir un regret logarithmique dans un processus de décision markovien paramétrique même si l'état de l'environnement n'est que partiellement observé. Ce type de modèle est motivé par une application d'intérêt en radio cognitive qu'est l'accès opportuniste à un réseau de communication par un utilisateur secondaire. Les deux autres algorithmes proposés suivent des stratégies optimistes : l'agent choisit les actions optimales pour le meilleur des modèles possibles parmi l'ensemble des modèles vraisemblables. Nous construisons et analysons un tel algorithme pour un modèle de bandit paramétrique dans un cas de modèles linéaires généralisés permettant ainsi de considérer des applications telles que la gestion de publicité sur internet. Nous proposons également d'utiliser la divergence de Kullback-Leibler pour la construction de l'ensemble des modèles vraisemblables dans des algorithmes optimistes pour des processus de décision markoviens à espaces d'états et d'actions finis. L'utilisation de cette métrique améliore significativement le comportement de des algorithmes optimistes en pratique. De plus, une analyse du regret de chacun des algorithmes permet de garantir des performances théoriques similaires aux meilleurs algorithmes de l'état de l'art.