Cette thèse se situe dans la planification et le suivi de mouvement d’un humanoïde mobile à deux bras. Premièrement, MDH est utilisé pour la modélisation cinématique. Afin de surmonter les insuffisances de la méthode d’Euler-Lagrange qui nécessitent des calculs d’énergie et ses dérivées partielles, la méthode de Kane est utilisée. En plus, la stabilité physique est analysée et un contrôleur est conçu. Deuxièmement, un algorithme avancée MaxiMin NSGA-II est proposée pour concevoir l’orientation et la position optimales de la plate-forme mobile (PB) et la configuration optimale du manipulateur supérieur (MS) étant donnée uniquement la pose initiale et les positions et orientations souhaitées des EEs. Un algorithme à connexion directe combinant BiRRT et la gradient-descente est conçu pour réaliser la transition de la pose initiale à la pose optimale, et une méthode d'optimisation géométrique est conçue pour optimiser et cohérer le chemin. En outre, les motions en avant sont obtenues en attribuant des orientations pour MB indiquant ainsi l'intention du robot. Afin de résoudre le problème d'échec de l’algorithme hors ligne, un algorithme en ligne est proposé en estimant les motions des obstacles dynamiques. De plus, afin d'optimiser les via-poses, un algorithme basé sur les via-points des EEs et MOGA est proposé en optimisant quatre fonctions objectives. Enfin, le problème de suivi de motion est étudié étant donné les motions des EEs dans l'espace de tâche. Au lieu de contrôler la motion absolue, deux motions relatives sont introduites pour réaliser la coordination et la coopération entre MB et MS. De plus, une technique mWLN est proposée pour éviter les limites des joints. / This thesis focuses on the motion planning and tracking of a dual-arm mobile humanoid. First, MDH is used for kinematic modeling. The co-simulation via Simulink-Adams on prototype is realized to validate the effectiveness of RBFNN controller. In order to overcome the shortcomings of Euler-Lagrange’s formulations that require calculating energy and energy derivatives, Kane’s method is used. In addition, physical stability is analyzed based on Kane’s method and a controller is designed using back-stepping technique. Secondly, an improved MaxiMin NSGA-II is proposed to design the mobile base’s (MB) optimal position-orientation and the upper manipulator’s (UM) optimal configuration given only the initial pose and end-effectors’ (EEs) desired positions-orientations. A direct connect algorithm combining BiRRT and gradient-descent is designed to plan the transition from initial pose to optimal pose, and a geometric optimization method is designed to optimize and cohere the path. In addition, forward motions are obtained by assigning orientations for MB thus indicating robot’s intention. In order to solve the failure problem of offline algorithm, an online algorithm is proposed while estimating dynamic obstacles’ motions. In addition, in order to optimize via-poses, an algorithm based on EEs’ via-points and MOGA is proposed by optimizing four via-pose-based objective functions. Finally, the motion tracking problem is studied given EEs’ motions in the task space. Instead of controlling the absolute motion, two relative motions are introduced to realize the coordination and cooperation between MB and UM. In addition, an modulated WLN technique is proposed to avoid joints’ limits.

Les Réseaux de capteurs sans fil (WSN) sont une technologie émergente avec des applications potentielles dans divers domaines de la vie quotidienne, tels que la surveillance structurelle et environnementale, la médecine, la surveillance militaire, les explorations robotisées, etc. Les nœuds de capteurs doivent fonctionner pendant une longue période avec des batteries capacité limitée, par conséquent le facteur plus important dans les WSN est la consommation d'énergie. Dans cette thèse, nous proposons des techniques d'optimisation algorithmiques dynamiques, et adaptative pour la réduction de l'énergie. Tout d'abord, un modèle énergétique précis est présenté. Ce modèle repose sur des mesures réelles de courant consommé pour différents scénarios qui peuvent se produire lors de la communication entre les nœud. Il en est conclu que la couche MAC joue un rôle essentiel dans la réduction de l'énergie consommée. Ensuite, un protocole MAC dynamique est présenté. Il adapte de manière dynamique l’intervalle de réveil des nœuds de capteurs à partir d’une estimation du trafic. L’algorithme adaptatif modélisé de façon heuristique pour comprendre le comportement de convergence des paramètres algorithmiques. Le protocole est appliqué sur des réseaux de capteurs corporels et il surclasse les autres protocoles MAC en termes de latence ainsi que de consommation d'énergie ce qui permet donc d'augmenter la durée de vie de trois à six fois. Enfin, une technique basée sur l’optimisation adaptative de la puissance d'émission radio est appliquée sur des canaux variant dans le temps. La puissance de sortie est réglée dynamiquement au meilleur niveau de puissance selon l’état du canal, ce qui diminue la consommation d’un facteur deux. / Wireless Sensor Networks (WSN) are a fast emerging technology with potential applications in various domains of daily-life, such as structural and environmental monitoring, medicine, military surveillance, robotic explorations etc. WSN devices are required to operate for a long time with limited battery capacity, therefore, the most important constraint in WSN is energy consumption. In this thesis, we propose algorithmic-level dynamic and adaptive optimization techniques for energy reduction in WSN. First, an accurate energy model is presented. This model relies on real-time power measurements of various scenarios that can occur during communication between sensor nodes. It is concluded that MAC layer plays a pivotal role for energy reduction. Then, a traffic-aware dynamic MAC protocol is presented which dynamically adapts the wake-up schedule of sensor nodes through traffic estimation. An adaptive algorithm is designed for this purpose that is heuristically modeled to understand the convergence behavior of algorithmic parameters. The proposed protocol is applied to body area networks and it outperforms other low-power MAC protocols in terms of latency as well as energy consumption and consequently increases the lifetime from three to six times. Finally, an SNR-based adaptive transmit power optimization technique is applied under time-varying channels. The output power is dynamically tuned to best power level under slow varying channel, which results in an average gain by two times.

Cette thèse est consacrée à étudier les applications potentielles de véhicules autonomes et communications V2X pour construire les systèmes de transport intelligents. Premièrement, le comportement de caravane dans un environnement de véhicule connecté est étudié. Un algorithme de commande de caravane est conçu pour obtenir l'espacement sécuritaire ainsi que la conformité de la vitesse et de l'accélération. Deuxièmement, à plus grande échelle, les caravanes autour d'une intersection sont considérées. Le débit pendant une période de signal de trafic peut être amélioré en tirant profit de la capacité redondante de la route. Dans diverses contraintes, les véhicules peuvent choisir d'accélérer et rejoindre la caravane précédente ou à décélérer de déroger à l'actuel. Troisièmement, une intersection sans signalisation en VANET est considérée. Dans des conditions de faible trafic, les véhicules peuvent réguler leur vitesse avant d'arriver à l'intersection en fonction du temps d'occupation de la zone de conflit (TOZC) stocké au niveau du gestionnaire, afin qu'ils puissent traverser l'intersection sans collision ni arrêt. Le délai peut être réduit en conséquence. Enfin, un algorithme de gestion d'intersection autonome universelle, qui peut fonctionner même avec le trafic lourd, est développé. Le véhicule cherche à sécuriser les fenêtres entrant dans le TOZC. Ensuite, sur la base des fenêtres trouvées et le mouvement du véhicule qui précède, les trajectoires des véhicules peuvent être planifiées en utilisant une méthode de programmation dynamique segmentée. Tous les algorithmes conçus sont testés et vérifiés avec succès par des simulations dans scénarios différents / This thesis is devoted to study the potential applications of autonomous vehicles and V2X communications to construct the intelligent transportation systems. Firstly, the behavior of platoon in connected vehicle environment is studied. A platoon control algorithm is designed to obtain safe spacing as well as accordance of velocity and acceleration for vehicles in the same lane. Secondly, in larger scale, the platoons around an intersection are considered. The throughput in a traffic signal period can be improved by taking advantage of the redundant road capacity. Within diverse constraints, vehicles can choose to accelerate to join in the preceding platoon or to decelerate to depart from the current one. Thirdly, an unsignalized intersection in VANET is considered. In light traffic conditions, vehicles can regulate their velocities before arriving at the intersection according to the conflict zone occupancy time (CZOT) stored at the manager, so that they could get through the intersection without collision or stop. The delay can be reduced accordingly. Finally, an universal autonomous intersection management algorithm, which can work even with heavy traffic, is developed. The vehicle searches for safe entering windows in the CZOT. Then based on the found windows and the motion of preceding vehicle, the trajectories of vehicles can be planned using a segmented dynamic programming method. All the designed algorithms are successfully tested and verified by simulations in various scenarios

Cette thèse est consacrée à l'analyse de performance de Régulateurs de Vitesse Adaptatifs Coopératifs(CACC) pour un train de véhicules intelligents afin de réduire la congestion du trafic et améliorer la sécurité routière.Premièrement, la politique d'espacement, à Intervalles Constants de Temps (CTH) est introduite. Basé sur cette politique d'espacement, un nouveau système décentralisé de Deux-Véhicules-Devant CACC (TVACACC) est proposé, dans lequel l'accélération souhaitée de deux véhicules précédents est prise en compte. Ensuite, la stabilité de la chaîne du système proposé est analysée théoriquement. Il est démontré que grâce à l'aide de la communication multiple entre véhicules, une meilleure stabilité de la chaîne est obtenue par rapport au système conventionnel. Un train de véhicules dans le scénario Stop-and-Go est simulé avec une communication parfaite puis dégradée. Le système proposé donne un comportement stable de la chaîne, correspondant à l'analyse théorique.Deuxièmement, une technique de dégradation pour CACC est présentée comme stratégie alternative lorsque la communication sans fil est partiellement ou complètement perdue. La stratégie proposée, appelée DTVACACC, utilise le filtre de Kalman pour estimer l'accélération actuelle du véhicule précédent qui remplace l'accélération souhaitée. Il est démontré que la performance pour le DTVACACC, peut être maintenue à un niveau beaucoup plus élevé.Enfin, une approche d’Apprentissage par Renforcement (RL) pour système CACC est proposée. L' algorithme politique- gradient est introduit pour réaliser le contrôle longitudinal . Ensuite, la simulation a montré que cette nouvelle approche de RL est efficace pour CACC / This PhD thesis is dedicated to the performance analysis of Cooperative Adaptive Cruise Control (CACC) system for intelligent vehicle platoon with the main aims of alleviating traffic congestion and improving traffic safety. At first, the Constant Time Headway (CTH) spacing policy for vehicle platoon is introduced. Based on this spacing policy, a novel decentralized Two-Vehicle-Ahead CACC (TVACACC) system is proposed, in which the desired acceleration of two front vehicles is taken into account. Then the string stability of the proposed system is theoretically analyzed. It is shown that by using the multiple wireless communication among vehicles, a better string stability is obtained compared to the conventional system. Vehicle platoon in Stop-and-Go scenario is simulated with both normal and degraded communication.Secondly, a graceful degradation technique for CACC was presented, as an alternative fallback strategy when wireless communication is lost or badly degraded. The proposed strategy, which is referred to DTVACACC, uses Kalman filter to estimate the preceding vehicle’s current acceleration as a replacement of the desired acceleration. It is shown that the performance is maintained at a much higher level.Finally, a Reinforcement Learning (RL) approach of CACC system is proposed. The policy-gradient algorithm is introduced to achieve the longitudinal control. Then simulation has shown that this new RL approach results in efficient performance for CACC.

Les ordinateurs peuvent-ils enseigner ? Pour répondre à cette question, la recherche dans les Systèmes Tuteurs Intelligents est en pleine expansion parmi la communauté travaillant sur les Technologies de l'Information et de la Communication pour l'Enseignement (TICE). C'est un domaine qui rassemble différentes problématiques et réunit des chercheurs venant de domaines variés, tels que la psychologie, la didactique, les neurosciences et, plus particulièrement, le machine learning. Les technologies numériques deviennent de plus en plus présentes dans la vie quotidienne avec le développement des tablettes et des smartphones. Il semble naturel d'utiliser ces technologies dans un but éducatif. Cela amène de nombreuses problématiques, telles que comment faire des interfaces accessibles à tous, comment rendre des contenus pédagogiques motivants ou encore comment personnaliser les activités afin d'adapter le contenu à chacun. Au cours de cette thèse, nous avons développé des méthodes, regroupées dans un framework nommé HMABITS, afin d'adapter des séquences d'activités pédagogiques en fonction des performances et des préférences des apprenants, dans le but de maximiser leur vitesse d'apprentissage et leur motivation. Ces méthodes utilisent des modèles computationnels de motivation intrinsèque pour identifier les activités offrant les plus grands progrès d'apprentissage, et utilisent des algorithmes de Bandits Multi-Bras pour gérer le compromis exploration/exploitation à l'intérieur de l'espace d'activité. Les activités présentant un intérêt optimal sont ainsi privilégiées afin de maintenir l'apprenant dans un état de Flow ou dans sa Zone de Développement Proximal. De plus, certaines de nos méthodes permettent à l'apprenant de faire des choix sur des caractéristiques contextuelles ou le contenu pédagogique de l'application, ce qui est un vecteur d'autodétermination et de motivation. Afin d'évaluer l'efficacité et la pertinence de nos algorithmes, nous avons mené plusieurs types d'expérimentation. Nos méthodes ont d'abord été testées en simulation afin d'évaluer leur fonctionnement avant de les utiliser dans d'actuelles applications d'apprentissage. Pour ce faire, nous avons développé différents modèles d'apprenants, afin de pouvoir éprouver nos méthodes selon différentes approches, un modèle d'apprenant virtuel ne reflétant jamais le comportement d'un apprenant réel. Les résultats des simulations montrent que le framework HMABITS permet d'obtenir des résultats d'apprentissage comparables et, dans certains cas, meilleurs qu'une solution optimale ou qu'une séquence experte. Nous avons ensuite développé notre propre scénario pédagogique et notre propre serious game afin de tester nos algorithmes en situation réelle avec de vrais élèves. Nous avons donc développé un jeu sur la thématique de la décomposition des nombres, au travers de la manipulation de la monnaie, pour les enfants de 6 à 8 ans. Nous avons ensuite travaillé avec le rectorat et différentes écoles de l'académie de bordeaux. Sur l'ensemble des expérimentations, environ 1000 élèves ont travaillé sur l'application sur tablette. Les résultats des études en situation réelle montrent que le framework HMABITS permet aux élèves d'accéder à des activités plus diverses et plus difficiles, d'avoir un meilleure apprentissage et d'être plus motivés qu'avec une séquence experte. Les résultats montrent même que ces effets sont encore plus marqués lorsque les élèves ont la possibilité de faire des choix. / Can computers teach people? To answer this question, Intelligent Tutoring Systems are a rapidly expanding field of research among the Information and Communication Technologies for the Education community. This subject brings together different issues and researchers from various fields, such as psychology, didactics, neurosciences and, particularly, machine learning. Digital technologies are becoming more and more a part of everyday life with the development of tablets and smartphones. It seems natural to consider using these technologies for educational purposes. This raises several questions, such as how to make user interfaces accessible to everyone, how to make educational content motivating and how to customize it to individual learners. In this PhD, we developed methods, grouped in the aptly-named HMABITS framework, to adapt pedagogical activity sequences based on learners' performances and preferences to maximize their learning speed and motivation. These methods use computational models of intrinsic motivation and curiosity-driven learning to identify the activities providing the highest learning progress and use Multi-Armed Bandit algorithms to manage the exploration/exploitation trade-off inside the activity space. Activities of optimal interest are thus privileged with the target to keep the learner in a state of Flow or in his or her Zone of Proximal Development. Moreover, some of our methods allow the student to make choices about contextual features or pedagogical content, which is a vector of self-determination and motivation. To evaluate the effectiveness and relevance of our algorithms, we carried out several types of experiments. We first evaluated these methods with numerical simulations before applying them to real teaching conditions. To do this, we developed multiple models of learners, since a single model never exactly replicates the behavior of a real learner. The simulation results show the HMABITS framework achieves comparable, and in some cases better, learning results than an optimal solution or an expert sequence. We then developed our own pedagogical scenario and serious game to test our algorithms in classrooms with real students. We developed a game on the theme of number decomposition, through the manipulation of money, for children aged 6 to 8. We then worked with the educational institutions and several schools in the Bordeaux school district. Overall, about 1000 students participated in trial lessons using the tablet application. The results of the real-world studies show that the HMABITS framework allows the students to do more diverse and difficult activities, to achieve better learning and to be more motivated than with an Expert Sequence. The results show that this effect is even greater when the students have the possibility to make choices.

No description available.

Le travail présenté dans ce mémoire étudie et propose des modèles de calcul parallèles de type cellulaire pour traiter différents problèmes d’optimisation NP-durs définis dans l’espace euclidien, et leur implantation sur des processeurs graphiques multi-fonction (Graphics Processing Unit; GPU). Le but est de pouvoir traiter des problèmes de grande taille tout en permettant des facteurs d’accélération substantiels à l’aide du parallélisme massif. Les champs d’application visés concernent les systèmes embarqués pour la stéréovision de même que les problèmes de transports définis dans le plan, tels que les problèmes de tournées de véhicules. La principale caractéristique du modèle cellulaire est qu’il est fondé sur une décomposition du plan en un nombre approprié de cellules, chacune comportant une part constante de la donnée, et chacune correspondant à une unité de calcul (processus). Ainsi, le nombre de processus parallèles et la taille mémoire nécessaire sont en relation linéaire avec la taille du problème d’optimisation, ce qui permet de traiter des instances de très grandes tailles.L’efficacité des modèles cellulaires proposés a été testée sur plateforme parallèle GPU sur quatre applications. La première application est un problème d’appariement d’images stéréo. Elle concerne la stéréovision couleur. L’entrée du problème est une paire d’images stéréo, et la sortie une carte de disparités représentant les profondeurs dans la scène 3D. Le but est de comparer des méthodes d’appariement local selon l’approche winner-takes-all et appliquées à des paires d’images CFA (color filter array). La deuxième application concerne la recherche d’améliorations de l’implantation GPU permettant de réaliser un calcul quasi temps-réel de l’appariement. Les troisième et quatrième applications ont trait à l’implantation cellulaire GPU des réseaux neuronaux de type carte auto-organisatrice dans le plan. La troisième application concerne la génération de maillages structurés appliquée aux cartes de disparité afin de produire des représentations compressées des surfaces 3D. Enfin, la quatrième application concerne le traitement d’instances de grandes tailles du problème du voyageur de commerce euclidien comportant jusqu’à 33708 villes.Pour chacune des applications, les implantations GPU permettent une accélération substantielle du calcul par rapport aux versions CPU, pour des tailles croissantes des problèmes et pour une qualité de résultat obtenue similaire ou supérieure. Le facteur d’accélération GPU par rapport à la version CPU est d’environ 20 fois plus vite pour la version GPU sur le traitement des images CFA, cependant que le temps de traitement GPU est d’environ de 0,2s pour une paire d’images de petites tailles de la base Middlebury. L’algorithme amélioré quasi temps-réel nécessite environ 0,017s pour traiter une paire d’images de petites tailles, ce qui correspond aux temps d’exécution parmi les plus rapides de la base Middlebury pour une qualité de résultat modérée. La génération de maillages structurés est évaluée sur la base Middlebury afin de déterminer les facteurs d’accélération et qualité de résultats obtenus. Le facteur d’accélération obtenu pour l’implantation parallèle des cartes auto-organisatrices appliquée au problème du voyageur de commerce et pour l’instance avec 33708 villes est de 30 pour la version parallèle. / The work presented in this PhD studies and proposes cellular computation parallel models able to address different types of NP-hard optimization problems defined in the Euclidean space, and their implementation on the Graphics Processing Unit (GPU) platform. The goal is to allow both dealing with large size problems and provide substantial acceleration factors by massive parallelism. The field of applications concerns vehicle embedded systems for stereovision as well as transportation problems in the plane, as vehicle routing problems. The main characteristic of the cellular model is that it decomposes the plane into an appropriate number of cellular units, each responsible of a constant part of the input data, and such that each cell corresponds to a single processing unit. Hence, the number of processing units and required memory are with linear increasing relationship to the optimization problem size, which makes the model able to deal with very large size problems.The effectiveness of the proposed cellular models has been tested on the GPU parallel platform on four applications. The first application is a stereo-matching problem. It concerns color stereovision. The problem input is a stereo image pair, and the output a disparity map that represents depths in the 3D scene. The goal is to implement and compare GPU/CPU winner-takes-all local dense stereo-matching methods dealing with CFA (color filter array) image pairs. The second application focuses on the possible GPU improvements able to reach near real-time stereo-matching computation. The third and fourth applications deal with a cellular GPU implementation of the self-organizing map neural network in the plane. The third application concerns structured mesh generation according to the disparity map to allow 3D surface compressed representation. Then, the fourth application is to address large size Euclidean traveling salesman problems (TSP) with up to 33708 cities.In all applications, GPU implementations allow substantial acceleration factors over CPU versions, as the problem size increases and for similar or higher quality results. The GPU speedup factor over CPU was of 20 times faster for the CFA image pairs, but GPU computation time is about 0.2s for a small image pair from Middlebury database. The near real-time stereovision algorithm takes about 0.017s for a small image pair, which is one of the fastest records in the Middlebury benchmark with moderate quality. The structured mesh generation is evaluated on Middlebury data set to gauge the GPU acceleration factor and quality obtained. The acceleration factor for the GPU parallel self-organizing map over the CPU version, on the largest TSP problem with 33708 cities, is of 30 times faster.

Cette thèse porte sur le développement de nouvelles stratégies de commande et d’observation adaptatives par Modes Glissants (MG) et par Modes Glissants d’Ordres Supérieurs (MGOS). En effet, la mise en œuvre des commandes par MG et MGOS classiques nécessite la connaissance des limites supérieures des perturbations ou de leurs dérivées, souvent inconnues. Le premier apport de cette thèse est la synthèse d’une stratégie d’adaptation permettant d'assurer la convergence de la variable de glissement vers un voisinage prédéfini de zéro sans nécessiter d'informations sur les perturbations ou leurs dérivées et sans surestimation du gain. Cette stratégie est ensuite déclinée pour concevoir : deux commandes par MG d’ordre 1 et 2, une commande par mode glissant intégral, ainsi qu’une version du différenciateur de Levant. La deuxième contribution de la thèse est la mise au point de deux commandes adaptatives par MGOS discontinues. Ces deux algorithmes assurent un mode glissant d'ordre n en s’affranchissant de la connaissance de la limite supérieure de la perturbation et de sa dérivée. Enfin, afin de montrer l’efficacité des algorithmes proposés, ils sont appliqués avec succès à travers des simulations pour la commande d’un système de conversion de l’énergie éolienne et la commande d’un moteur à induction linéaire pour la cogénération. / This thesis deals with the development of novel strategies to adapt higher order sliding mode controllers and observers. The implementation of classics first order and higher order sliding mode controllers requires the knowledge of the upper bound of the disturbance or its derivative, which are often not known. The first contribution of this thesis is the design of an adaptive strategy that can ensure the convergence of the sliding variable to a predefined neighborhood of zero without requiring any information of the disturbance or its derivative and without overestimating the adaptive gain. This adaptive strategy is then declined for the design of the first order, second order and integral sliding mode controllers, and for the Levant's differentiator. The second contribution of the thesis is the development of two adaptive strategies for discontinuous higher order sliding mode control. The proposed two algorithms can provide the achievement of n-order sliding mode despite disturbances with unknown upper bounds or with unknown upper bounds of their derivatives. Finally, in order to show the effectiveness of the proposed algorithms, they are successfully applied through simulations to control the wind energy conversion system and the linear induction motor system for cogeneration.

Ce travail de recherche concerne une approche nouvelle d'identification et de commande de processus réels. Les travaux sont fondés sur une classe particulière de systèmes qui possèdent des propriétés hybrides et qui ont une dynamique caractérisée par un fonction-nement par morceaux. Ces systèmes permettent de développer des outils particulièrement adaptés à une architecture temps réel. Le mémoire consacre un chapitre au concept de système hybride et à l'origine et à la nature des systèmes à fonctionnement par morceaux (SFM). Les autres chapitres fournissent la mise en œuvre théorique et pratique de nouvel-les méthodes d'identification et de commande utilisant les SFM et donc adaptées au temps réel. L'identification en ligne, assurée par une méthode appelée « clonage », est régie par un algorithme adaptatif qui garantit une convergence rapide. La commande, quant à elle, vise à réaliser la poursuite échantillonnée d'une trajectoire consigne par l'état d'un système linéaire, même dans le cas où le seul retour possible correspond à l'information provenant d'un capteur numérique qui délivre la sortie du système sous forme retardée et échantillonnée. Chaque méthode est fournie avec une introduction permettant de la situer par rapport à l'existant, une formalisation mathématique et des exemples de simulation et d'implantation temps réel.

L'objectif de ce travail de thèse est de proposer des approches algorithmiques permettant de traiter la problématique du routage adaptatif (RA) dans un réseau de communication à trafic irrégulier. L'analyse des algorithmes existants nous a conduit à retenir comme base de travail l'algorithme Q-Routing (QR); celui-ci s'appuie sur la technique d'apprentissage par renforcement basée sur les modèles de Markov. L'efficacité de ce type de routage dépend fortement des informations sur la charge et la nature du trafic sur le réseau. Ces dernières doivent être à la fois, suffisantes, pertinentes et reflétant la charge réelle du réseau lors de la phase de prise de décision. Pour remédier aux inconvénients des techniques utilisant le QR, nous avons proposé deux algorithmes de RA. Le premier, appelé Q-Neural Routing, s'appuie sur un modèle neuronal stochastique pour estimer et mettre à jour les paramètres nécessaires au RA. Afin d'accélérer le temps de convergence, une deuxième approche est proposée : K-Shortest path Q-Routing. Elle est basée sur la technique de routage multi chemin combiné avec l'algorithme QR, l'espace d'exploration étant réduit aux k meilleurs chemins. Les deux algorithmes proposés sont validés et comparés aux approches traditionnelles en utilisant la plateforme de simulation OPNET, leur efficacité au niveau du RA est mise particulièrement en évidence. En effet, ceux-ci permettent une meilleure prise en compte de l'état du réseau contrairement aux approches classiques.