«Machine Learning» est un champ d'étude de l'intelligence artificielle qui se concentre sur des algorithmes capables d'adapter leur paramètres en se basant sur les données observées par l'optimisation d'une fonction objective ou d'une fonction de cout. Cette discipline a soulevé l'intérêt de la communauté de la recherche biomédicale puisqu'elle permet d'améliorer la sensibilité et la spécificité de la détection et du diagnostic de nombreuses pathologies tout en augmentant l'objectivité dans le processus de prise de décision thérapeutique. L'imagerie biomédicale est devenue indispensable en médecine, puisque plusieurs modalités comme l'imagerie par résonance magnétique (IRM), la tomodensitométrie et la tomographie par émission de positron sont de plus en plus utilisées en recherche et en clinique. L'IRM est la technique d'imagerie non-invasive de référence pour l'étude du cerveau humain puisqu'elle permet dans un temps d'acquisition raisonnable d'obtenir à la fois des cartographies structurelles et fonctionnelles avec une résolution spatiale élevée. Cependant, avec l'augmentation du volume et de la complexité des données IRM, il devient de plus en plus long et difficile pour le clinicien d'intégrer toutes les données afin de prendre des décisions précises. Le but de cette thèse est de développer des méthodes de « machine learning » automatisées pour la détection de tissu cérébral anormal, en particulier dans le cas de suivi de glioblastome multiforme (GBM) et de sclérose en plaques (SEP). Les techniques d'IRM conventionnelles (IRMc) actuelles sont très utiles pour détecter les principales caractéristiques des tumeurs cérébrales et les lésions de SEP, telles que leur localisation et leur taille, mais ne sont pas suffisantes pour spécifier le grade ou prédire l'évolution de la maladie. Ainsi, les techniques d'IRM avancées, telles que l'imagerie de perfusion (PWI), de diffusion (DKI) et la spectroscopie par résonance magnétique (SRM), sont nécessaires pour apporter des informations complémentaires sur les variations du flux sanguin, de l'organisation tissulaire et du métabolisme induits par la maladie. Dans une première étude de suivi de patients GBM, seuls les paramètres d'IRM avancés ont été explorés dans un relativement petit sous-groupe de patients. Les paramètres de PWI moyens, mesurés dans les régions d'intérêts (ROI) délimités manuellement, se sont avérés être d'excellents marqueurs, puisqu'ils permettent de prédire l'évolution du GBM en moyenne un mois plus tôt que le clinicien. Dans une seconde étude, réalisée sur un échantillon plus important que la précédente, la SRM a été remplacée par l'IRMc et la quantification de la PWI et du kurtosis de diffusion (DKI) a été réalisée de manière automatique. L'extraction des paramètres d'imagerie a été effectuée sur des segmentations semi-automatiques des tumeurs, réduisant ainsi le temps nécessaire au clinicien pour la délimitation du ROI de la partie de la lésion rehaussée au produit de contraste (CE-ROI). L'application d'un algorithme modifié de «boosting» sur les paramètres extraits des ROIs a montré une grande précision pour le diagnostic du GBM. Dans une troisième, une version modifiée des cartes paramétriques de réponse (PRM) est proposée pour prendre en compte la région d'infiltration de la tumeur, réduisant toujours plus le temps nécessaire pour la délimitation de la tumeur par le clinicien, puisque toutes les images IRM sont recalées sur la première. Deux façons de générer les RPM ont été comparées, l'une basée sur l'IRMc et l'autre basée sur la PWI, ces deux paramètres étant les meilleurs pour la discrimination de l'évolution du GBM, comme le montrent les deux études précédentes. Les résultats de cette étude montrent que l'emploi de PRM basés sur l'IRMc permet d'obtenir des résultats supérieurs à ceux obtenus avec les PRM basés sur la PWI [etc…] / Machine learning is a subdiscipline in the field of artificial intelligence, which focuses on algorithms capable of adapting their parameters based on a set of observed data, by optimizing an objective or cost function. Machine learning has been the subject of large interest in the biomedical community because it can improve sensitivity and/or specificity of detection and diagnosis of any disease, while increasing the objectivity of the decision-making process. With the late increase in volume and complexity of medical data being collected, there is a clear need for applying machine learning algorithms in multi-parametric analysis for new detection and diagnostic modalities. Biomedical imaging is becoming indispensable for healthcare, as multiple modalities, such as Magnetic Resonance Imaging (MRI), Computed Tomography, and Positron Emission Tomography, are being increasingly used in both research and clinical settings. The non-invasive standard for brain imaging is MRI, as it can provide structural and functional brain maps with high resolution, all within acceptable scanning times. However, with the increase of MRI data volume and complexity, it is becoming more time consuming and difficult for clinicians to integrate all data and make accurate decisions. The aim of this thesis is to develop machine learning methods for automated preprocessing and diagnosis of abnormal brain tissues, in particular for the followup of glioblastoma multiforme (GBM) and multiple sclerosis (MS). Current conventional MRI (cMRI) techniques are very useful in detecting the main features of brain tumours and MS lesions, such as size and location, but are insufficient in specifying the grade or evolution of the disease. Therefore, the acquisition of advanced MRI, such as perfusion weighted imaging (PWI), diffusion kurtosis imaging (DKI), and magnetic resonance spectroscopic imaging (MRSI), is necessary to provide complementary information such as blood flow, tissue organisation, and metabolism, induced by pathological changes. In the GBM experiments our aim is to discriminate and predict the evolution of patients treated with standard radiochemotherapy and immunotherapy based on conventional and advanced MRI data. In the MS experiments our aim is to discriminate between healthy subjects and MS patients, as well as between different MS forms, based only on clinical and MRSI data. As a first experiment in GBM follow-up, only advanced MRI parameters were explored on a relatively small subset of patients. Average PWI parameters computed on manually delineated regions of interest (ROI) were found to be perfect biomarkers for predicting GBM evolution one month prior to the clinicians. In a second experiment in GBM follow-up of a larger subset of patients, MRSI was replaced by cMRI, while PWI and DKI parameter quantification was automated. Feature extraction was done on semi-manual tumour delineations, thereby reducing the time put by the clinician for manual delineating the contrast enhancing (CE) ROI. Learning a modified boosting algorithm on features extracted from semi-manual ROIs was shown to provide very high accuracy results for GBM diagnosis. In a third experiment in GBM follow-up of an extended subset of patients, a modified version of parametric response maps (PRM) was proposed to take into account the most likely infiltration area of the tumour, reducing even further the time a clinician would have to put for manual delineating the tumour, because all subsequent MRI scans were registered to the first one. Two types of computing PRM were compared, one based on cMRI and one based on PWI, as features extracted with these two modalities were the best in discriminating the GBM evolution, according to results from the previous two experiments. Results obtained within this last GBM analysis showed that using PRM based on cMRI is clearly superior to using PRM based on PWI [etc…]

Cette thèse étudie les techniques de gestion intelligente du spectre et de topologie des réseaux via une approche radio intelligente dans le but d’améliorer leur capacité, leur qualité de service (QoS – Quality of Service) et leur consommation énergétique. Les techniques d’apprentissage par renforcement y sont utilisées dans le but d’améliorer les performances d’un système radio intelligent. Dans ce manuscrit, nous traitons du problème d’accès opportuniste au spectre dans le cas de réseaux intelligents sans infrastructure. Nous nous plaçons dans le cas où aucune information n’est échangée entre les utilisateurs secondaires (pour éviter les surcoûts en transmissions). Ce problème particulier est modélisé par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette thèse propose une stratégie d’apprentissage multi-joueurs qui prend en compte non seulement le critère de disponibilité des canaux (comme déjà étudié dans la littérature et une thèse précédente au laboratoire), mais aussi une métrique de qualité, comme par exemple le niveau d’interférence mesuré (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre stratégie, RQoS-UCB distribuée (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du système intelligent proposé sont améliorées significativement par l’utilisation de la solution d’apprentissage proposée permettant à l’utilisateur secondaire d’identifier plus efficacement les ressources fréquentielles les plus disponibles et de meilleure qualité. Cette thèse propose également un nouveau modèle d’apprentissage par renforcement combiné à un transfert de connaissance afin d’améliorer l’efficacité énergétique (EE) des réseaux cellulaires hétérogènes. Nous formulons et résolvons un problème de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement éteintes et allumées (ON-OFF). Ce problème d’optimisation combinatoire peut aussi être modélisé par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des réseaux hétérogènes, utilisant l’algorithme RQoS-UCB, est proposée pour contrôler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’étude de capacité multi-cellulaires. Enfin une méthode incluant le transfert de connaissance « transfer RQoS-UCB » est proposée et validée par des simulations, pour pallier les pertes de récompense initiales et accélérer le processus d’apprentissage, grâce à la connaissance acquise à d’autres périodes temporelles correspondantes à la période courante (même heure de la journée la veille, ou même jour de la semaine par exemple). La solution proposée de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adéquate en atténuant les fluctuations de la QoS lors des variations du trafic et en améliorant les conditions au démarrage de l’apprentissage. Ainsi, l’efficacité énergétique est grandement améliorée. Enfin des démonstrateurs en conditions radio réelles ont été développés pour valider les solutions d’apprentissage étudiées. Les algorithmes ont également été confrontés à des bases de données de mesures effectuées par un partenaire dans la gamme de fréquence HF, pour des liaisons transhorizon. Les résultats confirment la pertinence des solutions d’apprentissage proposées, aussi bien en termes d’optimisation de l’utilisation du spectre fréquentiel, qu’en termes d’efficacité énergétique. / Future cellular network technologies are targeted at delivering self-organizable and ultra-high capacity networks, while reducing their energy consumption. This thesis studies intelligent spectrum and topology management through cognitive radio techniques to improve the capacity density and Quality of Service (QoS) as well as to reduce the cooperation overhead and energy consumption. This thesis investigates how reinforcement learning can be used to improve the performance of a cognitive radio system. In this dissertation, we deal with the problem of opportunistic spectrum access in infrastructureless cognitive networks. We assume that there is no information exchange between users, and they have no knowledge of channel statistics and other user's actions. This particular problem is designed as multi-user restless Markov multi-armed bandit framework, in which multiple users collect a priori unknown reward by selecting a channel. The main contribution of the dissertation is to propose a learning policy for distributed users, that takes into account not only the availability criterion of a band but also a quality metric linked to the interference power from the neighboring cells experienced on the sensed band. We also prove that the policy, named distributed restless QoS-UCB (RQoS-UCB), achieves at most logarithmic order regret. Moreover, numerical studies show that the performance of the cognitive radio system can be significantly enhanced by utilizing proposed learning policies since the cognitive devices are able to identify the appropriate resources more efficiently. This dissertation also introduces a reinforcement learning and transfer learning frameworks to improve the energy efficiency (EE) of the heterogeneous cellular network. Specifically, we formulate and solve an energy efficiency maximization problem pertaining to dynamic base stations (BS) switching operation, which is identified as a combinatorial learning problem, with restless Markov multi-armed bandit framework. Furthermore, a dynamic topology management using the previously defined algorithm, RQoS-UCB, is introduced to intelligently control the working modes of BSs, based on traffic load and capacity in multiple cells. Moreover, to cope with initial reward loss and to speed up the learning process, a transfer RQoS-UCB policy, which benefits from the transferred knowledge observed in historical periods, is proposed and provably converges. Then, proposed dynamic BS switching operation is demonstrated to reduce the number of activated BSs while maintaining an adequate QoS. Extensive numerical simulations demonstrate that the transfer learning significantly reduces the QoS fluctuation during traffic variation, and it also contributes to a performance jump-start and presents significant EE improvement under various practical traffic load profiles. Finally, a proof-of-concept is developed to verify the performance of proposed learning policies on a real radio environment and real measurement database of HF band. Results show that proposed multi-armed bandit learning policies using dual criterion (e.g. availability and quality) optimization for opportunistic spectrum access is not only superior in terms of spectrum utilization but also energy efficient.

Cette thèse étudie les techniques de gestion intelligente du spectre et de topologie des réseaux via une approche radio intelligente dans le but d’améliorer leur capacité, leur qualité de service (QoS – Quality of Service) et leur consommation énergétique. Les techniques d’apprentissage par renforcement y sont utilisées dans le but d’améliorer les performances d’un système radio intelligent. Dans ce manuscrit, nous traitons du problème d’accès opportuniste au spectre dans le cas de réseaux intelligents sans infrastructure. Nous nous plaçons dans le cas où aucune information n’est échangée entre les utilisateurs secondaires (pour éviter les surcoûts en transmissions). Ce problème particulier est modélisé par une approche dite de bandits manchots « restless » markoviens multi-utilisateurs (multi-user restless Markov MAB -multi¬armed bandit). La contribution principale de cette thèse propose une stratégie d’apprentissage multi-joueurs qui prend en compte non seulement le critère de disponibilité des canaux (comme déjà étudié dans la littérature et une thèse précédente au laboratoire), mais aussi une métrique de qualité, comme par exemple le niveau d’interférence mesuré (sensing) dans un canal (perturbations issues des canaux adjacents ou de signaux distants). Nous prouvons que notre stratégie, RQoS-UCB distribuée (distributed restless QoS-UCB – Upper Confidence Bound), est quasi optimale car on obtient des performances au moins d’ordre logarithmique sur son regret. En outre, nous montrons par des simulations que les performances du système intelligent proposé sont améliorées significativement par l’utilisation de la solution d’apprentissage proposée permettant à l’utilisateur secondaire d’identifier plus efficacement les ressources fréquentielles les plus disponibles et de meilleure qualité. Cette thèse propose également un nouveau modèle d’apprentissage par renforcement combiné à un transfert de connaissance afin d’améliorer l’efficacité énergétique (EE) des réseaux cellulaires hétérogènes. Nous formulons et résolvons un problème de maximisation de l’EE pour le cas de stations de base (BS – Base Stations) dynamiquement éteintes et allumées (ON-OFF). Ce problème d’optimisation combinatoire peut aussi être modélisé par des bandits manchots « restless » markoviens. Par ailleurs, une gestion dynamique de la topologie des réseaux hétérogènes, utilisant l’algorithme RQoS-UCB, est proposée pour contrôler intelligemment le mode de fonctionnement ON-OFF des BS, dans un contexte de trafic et d’étude de capacité multi-cellulaires. Enfin une méthode incluant le transfert de connaissance « transfer RQoS-UCB » est proposée et validée par des simulations, pour pallier les pertes de récompense initiales et accélérer le processus d’apprentissage, grâce à la connaissance acquise à d’autres périodes temporelles correspondantes à la période courante (même heure de la journée la veille, ou même jour de la semaine par exemple). La solution proposée de gestion dynamique du mode ON-OFF des BS permet de diminuer le nombre de BS actives tout en garantissant une QoS adéquate en atténuant les fluctuations de la QoS lors des variations du trafic et en améliorant les conditions au démarrage de l’apprentissage. Ainsi, l’efficacité énergétique est grandement améliorée. Enfin des démonstrateurs en conditions radio réelles ont été développés pour valider les solutions d’apprentissage étudiées. Les algorithmes ont également été confrontés à des bases de données de mesures effectuées par un partenaire dans la gamme de fréquence HF, pour des liaisons transhorizon. Les résultats confirment la pertinence des solutions d’apprentissage proposées, aussi bien en termes d’optimisation de l’utilisation du spectre fréquentiel, qu’en termes d’efficacité énergétique. / Future cellular network technologies are targeted at delivering self-organizable and ultra-high capacity networks, while reducing their energy consumption. This thesis studies intelligent spectrum and topology management through cognitive radio techniques to improve the capacity density and Quality of Service (QoS) as well as to reduce the cooperation overhead and energy consumption. This thesis investigates how reinforcement learning can be used to improve the performance of a cognitive radio system. In this dissertation, we deal with the problem of opportunistic spectrum access in infrastructureless cognitive networks. We assume that there is no information exchange between users, and they have no knowledge of channel statistics and other user's actions. This particular problem is designed as multi-user restless Markov multi-armed bandit framework, in which multiple users collect a priori unknown reward by selecting a channel. The main contribution of the dissertation is to propose a learning policy for distributed users, that takes into account not only the availability criterion of a band but also a quality metric linked to the interference power from the neighboring cells experienced on the sensed band. We also prove that the policy, named distributed restless QoS-UCB (RQoS-UCB), achieves at most logarithmic order regret. Moreover, numerical studies show that the performance of the cognitive radio system can be significantly enhanced by utilizing proposed learning policies since the cognitive devices are able to identify the appropriate resources more efficiently. This dissertation also introduces a reinforcement learning and transfer learning frameworks to improve the energy efficiency (EE) of the heterogeneous cellular network. Specifically, we formulate and solve an energy efficiency maximization problem pertaining to dynamic base stations (BS) switching operation, which is identified as a combinatorial learning problem, with restless Markov multi-armed bandit framework. Furthermore, a dynamic topology management using the previously defined algorithm, RQoS-UCB, is introduced to intelligently control the working modes of BSs, based on traffic load and capacity in multiple cells. Moreover, to cope with initial reward loss and to speed up the learning process, a transfer RQoS-UCB policy, which benefits from the transferred knowledge observed in historical periods, is proposed and provably converges. Then, proposed dynamic BS switching operation is demonstrated to reduce the number of activated BSs while maintaining an adequate QoS. Extensive numerical simulations demonstrate that the transfer learning significantly reduces the QoS fluctuation during traffic variation, and it also contributes to a performance jump-start and presents significant EE improvement under various practical traffic load profiles. Finally, a proof-of-concept is developed to verify the performance of proposed learning policies on a real radio environment and real measurement database of HF band. Results show that proposed multi-armed bandit learning policies using dual criterion (e.g. availability and quality) optimization for opportunistic spectrum access is not only superior in terms of spectrum utilization but also energy efficient.