Les opérations de recherche et de sauvetage font partie des activités humanitaires que le gouvernement canadien offre. Ces opérations doivent être mises à la disposition de tous les vols aériens dans un espace de plus de vingt millions de kilomètres carrés et de tous les bateaux naviguant dans les eaux maritimes du gouvernement fédéral dont les océans, le fleuve Saint-Laurent et les Grands Lacs. L'ultime objectif que se fixe le gouvernement canadien en mettant à l'oeuvre ce genre d'opérations consiste à "prévenir les pertes de vie et les blessures en utilisant les ressources privées et publiques pour alerter, répondre et aider dans les situations de détresse". Leur travail, humanitaire, consiste à trouver un objet perdu dans les meilleurs délais afin de ne pas risquer de perdre des vies. Ce but pourrait être atteint si l'on arrive à trouver un moyen d'affecter d'une manière optimale les ressources dont on dispose à des secteurs sur lesquels les opérations de recherche vont être effectuées. L'objectif de nos travaux est d'examiner de plus près et d'essayer de résoudre le problème d'allocation de ressources multiples que vivent les centres de coordination des opérations de recherche et de sauvetage. Ce problème se résume à mettre en place un plan d'affectation des ressources à des zones de recherche permettant de maximiser l'efficience de leurs utilisations et d'augmenter les chances de trouver des survivants en peu de temps. Pour ce faire, nous définissons un algorithme génétique capable de trouver une solution au problème à résoudre. Ensuite, nous adapterons la solution proposée afin de prendre en charge et manipuler les contraintes imposées par le problème. Lors de nos expérimentations, nous avons cherché à améliorer la performance et l'efficacité de notre algorithme en y introduisant plusieurs méthodes basées sur le principe de la satisfaction des contraintes. Notre bilan nous indique que nos meilleurs résultats sont obtenus en mettant en place un algorithme génétique dont le fonctionnement des opérateurs de reproduction ne tolère aucune violation de contraintes. En les comparant à ceux obtenus en résolvant le problème par l'approche d'optimisation combinatoire, nous avons constaté qu'on n'a pas pu égaler le niveau de succès atteint. Ceci est dû à l'aspect aléatoire sur lequel les algorithmes génétiques se basent pour parcourir l'espace de recherche, sélectionner et améliorer une solution.

Dans le secteur de la défense, la majorité des processus de combat soulèvent des problèmes complexes, comme l'allocation de ressources. Le projet NEREUS cherche des méthodologies de planification et d'exécution de stratégies pour le centre de commandement et de contrôle (C2) d'une frégate canadienne. L'approche par apprentissage proposée dans ee mémoire permet de constater que de nouvelles stratégies découvertes par expérimentation peuvent se comparer à des doctrines préalablement conçues. Les processus de decision de Markov ont été utilisés pour construire un cadre de développement et modéliser des agents capables d'agir dans des environnements en temps réel. Un agent basé sur l'apprentissage par renforcement a donc été évalué dans un environnement de simulation de combat maritime et un formalisme issu du Weapon-Target Assignment a été utilisé pour définir le problème en temps réel.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2010-2011 / Comment utiliser la théorie de la recherche et la planification de chemins pour formuler et résoudre un problème de détection dans le contexte de la recherche et sauvetage en milieu terrestre considérant des aspects pratiques tels que les contraintes de visibilité découlant du terrain? Pour répondre à cette question, nous présentons une nouvelle formulation introduisant les contraintes de visibilité du chercheur (le problème de planification du chemin optimal du chercheur avec visibilité ou OSPV). De plus, nous présentons une extension multicritère du problème. Dans un premier temps, l'efficacité du plan de recherche est quantifiée par la probabilité de retrouver l'objet recherché; un programme en nombres entiers mixte est comparé à Ant Search, notre adaptation de l'optimisation par colonies de fourmis. Ensuite, l'extension multicritère intègre les aspects de sécurité du chercheur et de complexité du plan; Ant Search est alors étendu pour introduire Pareto Ant Search et Lexicographie Ant Search.

De manière générale, les problèmes séquentiels de décisions multiagents sont très difficiles à résoudre surtout lorsque les agents n'observent pas parfaitement ni complètement l'état de leur environnement. Les modèles actuels pour représenter ces problèmes restent à ce jour très généraux et difficilement applicables dans les multiples applications possibles. Nous proposons dans cette thèse plusieurs approches de réduction de la complexité computationnelle et en pire cas de ces modèles. Une première approche se base sur l'utilisation de contraintes sur l'espace des actions possibles que les différents agents du système peuvent entreprendre. Cette utilisation de connaissances a priori dans la modélisation au travers de modèles déjà connus, mais non appliqués à la prise de décision séquentielle permet une réduction significative d'un des facteurs de la complexité algorithmique. La seconde approche consiste à restreindre les possibilités d'observations de l'agent à un ensemble similaire à l'espace d'états utilisé pour représenter son environnement. De cette manière, nous montrons que les agents peuvent converger rapidement en probabilité vers des croyances communes sans nécessairement avoir à communiquer. Dans ce contexte, nous avons également développé un algorithme permettant alors aux agents de se coordonner au moment de l'exécution lorsqu'il n'existe pas de communication explicite. Enfin, nous avons entrepris la mise en application de telles réductions à deux problèmes. Un premier problème de patrouille multiagent est considéré et modélisé, et un second problème lié à l'apprentissage de POMDPS continus dans des cas précis de transition et d'observabilité est également abordé. Les résultats obtenus montrent que dans certains cas de problèmes de coordination, la communication ? lorsqu'elle est disponible ? est non négligeable, et que dans le cas de l'apprentissage de POMDPs, considérer le quasi-déterminisme du modèle permet l'apprentissage de converger.

L'apprentissage par renforcement est une approche d'apprentissage automatique permettant de développer des systèmes s'améliorant à partir d'interactions avec un environnement. Les processus décisionnels de Markov partiellement observables (PDMPO) font partie des modèles mathématiques fréquemment utiliser pour résoudre ce type de problème d'apprentissage. Cependant, la majorité des méthodes de résolution utilisées dans les processus décisionnels de Markov partiellement observables nécessitent la connaissance du modèle. De plus, les recherches actuelles sur le PDMPO se restreignent principalement aux espaces d'états discrets, ce qui complique son application à certains problèmes naturellement modélisés par un espace d'état continu. Ce mémoire présente une vision des PDMPO basée sur les processus Gaussiens, une méthode d'apprentissage supervisée ayant comme propriété particulière d'être une distribution de probabilité dans l'espace des fonctions. Cette propriété est notamment très intéressante du fait qu'elle ouvre la porte à un traitement Bayésien de l'incertitude sur les fonctions inconnues d'un PDMPO continu. Les résultats obtenus avec l'approche d'apprentissage par processus Gaussien montrent qu'il est possible d'opérer dans un environnement tout en identifiant le modèle de ce celui-ci. À partir des conclusions tirées à la suite de nos travaux sur le PDMPO, nous avons observé un certain manque pour ce qui est de l'identification du modèle sous l'incertain. Ainsi, ce mémoire expose aussi un premier pas vers une extension de l'apprentissage de PDMPO continu utilisant des séquences d'états de croyances lors de l'identification du modèle. Plus précisément, nous proposons une méthode de régression par processus Gaussiens utilisant des ensembles d'entraînement incertain pour réaliser l'inférence dans l'espace des fonctions. La méthode proposée est particulièrement intéressante, du fait qu'elle s'applique exactement comme pour le cas des processus Gaussiens classiques et qu'elle n'augmente p±as la complexité de l'apprentissage.

Le développement et la prolifération des réseaux sans fil a contribué à l’évolution de notre quotidien. Toute cette multitude de technologies sans fil existantes permet, malgré sa complexité, d’offrir aux utilisateurs des services diversifiés, voix et données, de la manière la plus convenable, tout en permettant l’ubiquité des services dans une optique ABC (Always Best Connected). Ces réseaux utilisent des technologies différentes, mais en même temps, offrent des caractéristiques complémentaires. Ainsi, ce point s’avère attrayant dans la mesure où nous pourrons bénéficier des avantages de chacune des technologies en les interconnectant toutes afin de former un large réseau hétérogène. La mobilité, ou plus particulièrement la relève, que nous nous proposons d’étudier dans ce mémoire s’impose comme axe de recherche intéressant, et encore plus complexe dans un environnement hétérogène. Dans ce mémoire, deux architectures interconnectant un réseau UMTS et un autre Wimax ont été présentées. Plus précisément, nous avons mis l’emphase sur la procédure de relève verticale lors du passage de l’utilisateur d’un réseau Wimax à un réseau UMTS. Chacune des deux architectures utilise un protocole pour la gestion de la mobilité, en l’occurrence le MIP (Mobile Internet Protocol) et le SIP (Session Initiation Protocol). Afin d’évaluer les deux procédures, nous nous sommes donnés deux indicateurs, notamment le coût de signalisation et la durée de la procédure de relève verticale. Pour ce faire, nous avons spécifié un diagramme d’échanges des messages de signalisation propre à chacun des scénarios, un basé sur le MIP et l’autre basé sur le SIP. Ensuite, nous avons établi des expressions pour chacun des deux indicateurs précédemment cités qui ont été implémentées sous MATLAB. Les résultats démontrent que, généralement, le scénario de relève verticale basé sur le MIP présente une durée et un coût de signalisation moins élevé que celui basé sur le protocole SIP. / The development and proliferation of wireless networks has contributed to the evolution of our daily lives. Mobile users can move between heterogeneous networks, using terminals with multiple access interfaces. Thus, the most important issue in such environment is the Always Best Connected (ABC) concept allowing the best connectivity to applications anywhere at anytime. To answer ABC requirement, various vertical handover decision strategies have been proposed using advanced tools and proven concepts. In this paper, two architectures interconnecting a UMTS network and another Wimax have been presented. Each architecture uses a protocol for mobility management, namely MIP and SIP. To evaluate the two procedures, we are given two indicators, the signaling cost and the vertical handover delay. To evaluate our scenarios, we have established a specified signaling messages flow diagram specific to each scenario, one based on the MIP and the other based on the SIP. Then, we have given expressions for each of the two indicators mentioned above that we have implemented in MATLAB. The results show that, generally, the scenario based on MIP has lower signaling cost and delay than the scenario based on SIP.