Le résumé en français n'a pas été communiqué par l'auteur. / Le résumé en anglais n'a pas été communiqué par l'auteur.

La prise de décision dans un environnement partiellement observable est un sujet d'actualité en intelligence artificielle. Une façon d'aborder ce type de problème est d'utiliser un modèle mathématique. Notamment, les POMDPs (Partially Observable Markov Decision Process) ont fait l'objet de plusieurs recherches au cours des dernières années. Par contre, résoudre un POMDP est un problème très complexe et pour cette raison, le modèle n'a pas été utilisé abondamment. Notre objectif était de continuer les progrès ayant été réalisé lors des dernières années, avec l'espoir que nos travaux de recherches seront un pas de plus vers l'application des POMDPs dans des applications d'envergures. Dans un premier temps, nous avons développé un nouvel algorithme hors-ligne qui, sur des problèmes tests, est plus performant que les meilleurs algorithmes existants. La principale innovation vient du fait qu'il s'agit d'un algorithme stochastique alors que les algorithmes traditionnels sont déterministes. Dans un deuxième temps, nous pouvons également appliquer cet algorithme dans des environnements en-lignes. Lorsque ceux-ci revêtent une certaine particularité, notre algorithme est beaucoup plus performant que la compétition. Finalement, nous avons appliqué une version simplifiée de notre algorithme dans le cadre du projet Combat Identification du RDDC-Valcartier. / Decision making under uncertainty is a popular topic in the field of artificial intelligence. One popular way to attack such problems is by using a sound mathematical model. Notably, Partially Observable Markov Processes (POMDPs) have been the subject of extended researches over the last ten years or so. However, solving a POMDP is a very time-consuming task and for this reason, the model has not been used extensively. Our objective was to continue the tremendous progress that has been made over the last couple of years, with the hope that our work will be a step toward applying POMDPs in large-scale problems. To do so, we combined different ideas in order to produce a new algorithm called SSVI (Stochastic Search Value Iteration). Three major accomplishments were achieved throughout this research work. Firstly, we developed a new offline POMDP algorithm which, on benchmark problems, proved to be more efficient than state of the arts algorithm. The originality of our method comes from the fact that it is a stochastic algorithm, in comparison with the usual determinist algorithms. Secondly, the algorithm we developed can also be applied in a particular type of online environments, in which this algorithm outperforms by a significant margin the competition. Finally, we also applied a basic version of our algorithm in a complex military simulation in the context of the Combat Identification project from DRDC-Valcartier.

Titre de l'écran-titre (visionné le 26 juin 2023) / L'industrie des produits du bois évolue dans un contexte de forte compétition qui incite les scieries à se tourner vers des procédés plus agiles, tel que le séchage du bois en continu par micro-ondes, une technologie récemment brevetée. Cette technologie permet de corriger le séchage des planches une à la fois, par opposition au séchage classique par lot. L'intégration de ce séchage de précision à une ligne de finition traditionnelle complexifie toutefois la logistique de l'entreprise. En effet, bien que la technologie permette d'améliorer la qualité du bois, la surcharge de planches trop humides occasionne des goulots d'étranglement et une réduction de la productivité. Il est donc nécessaire de développer des systèmes décisionnels qui déterminent en temps réel si une planche humide doit passer au séchoir micro-onde afin d'améliorer sa qualité ou continuer son chemin vers la fin de la ligne de finition. Ce projet consiste à concevoir et à évaluer des algorithmes de prises de décisions en temps réel sur une ligne de finition afin de maximiser la valeur générée par unité de temps. Compte tenu de l'aspect séquentiel des décisions (chaque décision affecte les taux actuels et futurs d'occupation des différents équipements, la qualité du bois et la productivité de l'usine), l'apprentissage par renforcement est utilisé. Dans ce sous-domaine de l'intelligence artificielle, les algorithmes apprennent des politiques décisionnelles optimales, pour une fonction objectif donnée, par interaction avec leur environnement à travers un processus « d'essais-erreurs ». Nous montrons le potentiel de l'apprentissage par renforcement à travers un modèle de simulation imitant le contexte fortement dynamique des scieries. Les politiques d'apprentissage par renforcement apprises ont permis d'augmenter la productivité d'au moins 19% par rapport à une heuristique semblable à celles utilisées actuellement en industrie. Ces politiques sont aussi relativement robustes aux perturbations soudaines qui peuvent survenir dans l'environnement. / The wood products industry is evolving in a context of strong competition encouraging sawmills towards more agile processes such as continuous wood drying using microwaves, a recently patented technology. This technology makes it possible to correct wood drying one plank at a time as opposed to traditional batch drying. However, the integration of this precision drying process into traditional finishing operations complicates sawmill's logistics. Although the technology improves wood quality, the overload of wet lumber causes bottlenecks and a reduction of productivity. It is therefore necessary to develop new decision-making systems to determine in real time whether wet lumber should be microwaved to improve its quality or continue on its way towards the end of the finishing line. This project consists of designing and evaluating real-time decision-making algorithms on a finishing line in order to maximize the value generated per unit of time, a constant challenge in the Canadian wood products industry. Considering the sequential aspect of decisions (each decision affects current and future occupancy rates of different equipment, wood quality and plant productivity), reinforcement learning (RL) is used. In this subfield of artificial intelligence, algorithms learn optimal decision sequences by interacting with their environment through a "trial and error" process. We show the potential of RL through a simulation model mimicking the real and highly dynamic factory context. RL policies learned increase productivity on wet lumber by at least 19% compared to the heuristic currently used in industry. These policies are also relatively robust to sudden disturbances that may occur in the system.

L’allocation de ressources est un problème omniprésent qui survient dès que des ressources limitées doivent être distribuées parmi de multiples agents autonomes (e.g., personnes, compagnies, robots, etc). Les approches standard pour déterminer l’allocation optimale souffrent généralement d’une très grande complexité de calcul. Le but de cette thèse est de proposer des algorithmes rapides et efficaces pour allouer des ressources consommables et non consommables à des agents autonomes dont les préférences sur ces ressources sont induites par un processus stochastique. Afin d’y parvenir, nous avons développé de nouveaux modèles pour des problèmes de planifications, basés sur le cadre des Processus Décisionnels de Markov (MDPs), où l’espace d’actions possibles est explicitement paramétrisés par les ressources disponibles. Muni de ce cadre, nous avons développé des algorithmes basés sur la programmation dynamique et la recherche heuristique en temps-réel afin de générer des allocations de ressources pour des agents qui agissent dans un environnement stochastique. En particulier, nous avons utilisé la propriété acyclique des créations de tâches pour décomposer le problème d’allocation de ressources. Nous avons aussi proposé une stratégie de décomposition approximative, où les agents considèrent des interactions positives et négatives ainsi que les actions simultanées entre les agents gérants les ressources. Cependant, la majeure contribution de cette thèse est l’adoption de la recherche heuristique en temps-réel pour l’allocation de ressources. À cet effet, nous avons développé une approche basée sur la Q-décomposition munie de bornes strictes afin de diminuer drastiquement le temps de planification pour formuler une politique optimale. Ces bornes strictes nous ont permis d’élaguer l’espace d’actions pour les agents. Nous montrons analytiquement et empiriquement que les approches proposées mènent à des diminutions de la complexité de calcul par rapport à des approches de planification standard. Finalement, nous avons testé la recherche heuristique en temps-réel dans le simulateur SADM, un simulateur d’allocation de ressource pour une frégate. / Resource allocation is an ubiquitous problem that arises whenever limited resources have to be distributed among multiple autonomous entities (e.g., people, companies, robots, etc). The standard approaches to determine the optimal resource allocation are computationally prohibitive. The goal of this thesis is to propose computationally efficient algorithms for allocating consumable and non-consumable resources among autonomous agents whose preferences for these resources are induced by a stochastic process. Towards this end, we have developed new models of planning problems, based on the framework of Markov Decision Processes (MDPs), where the action sets are explicitly parameterized by the available resources. Given these models, we have designed algorithms based on dynamic programming and real-time heuristic search to formulating thus allocations of resources for agents evolving in stochastic environments. In particular, we have used the acyclic property of task creation to decompose the problem of resource allocation. We have also proposed an approximative decomposition strategy, where the agents consider positive and negative interactions as well as simultaneous actions among the agents managing the resources. However, the main contribution of this thesis is the adoption of stochastic real-time heuristic search for a resource allocation. To this end, we have developed an approach based on distributed Q-values with tight bounds to diminish drastically the planning time to formulate the optimal policy. These tight bounds enable to prune the action space for the agents. We show analytically and empirically that our proposed approaches lead to drastic (in many cases, exponential) improvements in computational efficiency over standard planning methods. Finally, we have tested real-time heuristic search in the SADM simulator, a simulator for the resource allocation of a platform.

Cette thèse concerne les systèmes de surveillance des turboréacteurs. Le développement de tels systèmes nécessite une phase d’évaluation et d’optimisation des performances, préalablement à la mise en exploitation. Le travail a porté sur cette phase, et plus précisément sur les performances des fonctions de détection et de pronostic de deux systèmes. Des indicateurs de performances associés à chacune de ces fonctions ainsi que leur estimation ont été définis. Les systèmes surveillés sont d’une part la séquence de démarrage pour la fonction de détection et d’autre part la consommation d’huile pour la fonction de pronostic. Les données utilisées venant de vols en exploitation sans dégradations, des simulations ont été nécessaires pour l’évaluation des performances. L’optimisation des performances de détection a été obtenue par réglage du seuil sur la statistique de décision en tenant compte des exigences des compagnies aériennes exprimées en termes de taux de bonne détection et de taux d’alarme fausse. Deux approches ont été considérées et leurs performances ont été comparées pour leurs meilleures configurations. Les performances de pronostic de surconsommations d’huile, simulées à l’aide de processus Gamma, ont été évaluées en fonction de la pertinence de la décision de maintenance induite par le pronostic. Cette thèse a permis de quantifier et d’améliorer les performances des fonctions considérées pour répondre aux exigences. D’autres améliorations possibles sont proposées comme perspectives pour conclure ce mémoire / This thesis deals with monitoring systems of turbojet engines. The development of such systems requires a performance evaluation and optimization phase prior to their introduction in operation. The work has been focused on this phase, and more specifically on the performance of the detection and the prognostic functions of two systems. Performances metrics related to each of these functions as well as their estimate have been defined. The monitored systems are, on the one hand, the start sequence for the detection function and on the other hand, the oil consumption for the prognostic function. The used data come from flights in operation without degradation, simulations of degradation were necessary for the performance assessment. Optimization of detection performance was obtained by tuning a threshold on the decision statistics taking into account the airlines requirements in terms of good detection rate and false alarm rate. Two approaches have been considered and their performances have been compared for their best configurations. Prognostic performances of over oil consumption, simulated using Gamma processes, have been assessed on the basis of the relevance of maintenance decision induced by the prognostic. This thesis has allowed quantifying and improving the performance of the two considered functions to meet the airlines requirements. Other possible improvements are proposed as prospects to conclude this thesis

Cette thèse, structurée en trois essais, se propose tout d’abord d’étudier de façon expérimentale et empirique les règles de décision utilisées dans le processus de décision avec une emphase sur l’inattention à la corrélation et ses conséquences sur les décisions prises, d’autre part la discrimination à l’embauche liée à la parentalité. Un comportement prospectif rationnel fait nécessairement appel à une résolution de problèmes complexes impliquant le calcul des évaluations futures maximales attendues entre des options de choix (calculs Emax ). Dans le premier essai, nous avons mené une expérience pour mesurer la proportion de participants capables d’effectuer ces calculs complexes ainsi que celle utilisant deux règles de calcul alternatives (sous-optimales) qui ignorent la corrélation entre les évaluations futures. La première règle alternative capte les participants qui effectuent des calculs Emax en ignorant la corrélation entre les éléments non observables dans l’ensemble d’informations. La seconde règle alternative est celle utilisée par les sujets calculant le maximum des évaluations futures attendues (calculs maxE), similaires au modèle option-valeur de Stock and Wise (1990). Notre conception expérimentale exploite différentes structures de corrélation entre les évaluations futures pour séparer la part des sujets utilisant chaque règle. L’expérience a été menée sur un échantillon important et hétérogène de sujets, ce qui a permis de relier la propension à utiliser une règle donnée à un ensemble de caractéristiques socio-économiques. Nos résultats suggèrent que 28% des sujets sont capables d’effectuer des calculs Emax en exploitant la structure de corrélation, 20% des sujets effectuent des calculs Emax en ignorant la corrélation, tandis que 52% des sujets effectuent maxE calculs. De plus, nous constatons que la propension à utiliser une règle donnée varie, de manière significative, selon les niveaux d’éducation - les sujets les plus instruits sont beaucoup plus susceptibles d’effectuer des calculs maxE. Le deuxième essai constitue une extension du premier essai. L’arrivée d’un enfant dans une famille engendre plus d’incertitudes poussant ainsi stratégiquement certains agents à éviter ou retarder la venue d’un premier enfant. Cette incertitude supplémentaire apportée par l’arrivée d’un enfant crée des conflits entre la parentalité et l’emploi, en particulier chez les femmes, qui préfèrent souvent sécuriser leur emploi avant de se tourner vers la parentalité. Conséquemment, le report de la première naissance est plus que jamais perceptible dans les sociétés actuelles. Dans le deuxième essai de cette thèse, nous nous donnons comme objectif d’explorer la manière dont les incertitudes liées au travail et les risques accrus d’infertilité associés au retard de maternité interagissent dans la formulation des décisions en matière de parentalité (timing et nombre d’enfants). A cet effet, nous avons développé un modèle de cycle de vie des décisions en matière d’offre de travail et de choix de parentalité et nous avons cherché à quantifier les effets de l’incertitude sur le marché du travail ainsi que de l’inattention à la corrélation sur le report de la première maternité. Nos paramètres estimés (préférences, équations salariales, qualité des enfants) sont conformes à la littérature existante. De plus, nos résultats suggèrent que la réduction des incertitudes liées au marché du travail augmenterait le nombre d’enfants et diminuerait l’âge à la première naissance quel que soit le niveau d’instruction (primaire, secondaire, ou post-secondaire). Le biais comportemental de l’inattention à la corrélation contribuerait également voire plus au report de la parentalité. Le troisième et dernier essai présente des évidences empiriques de discrimination à l’embauche liée à la parentalité dans la province de Québec (Canada) par le biais d’envoi de CVs fictifs. Il examine également dans quelle mesure les congés parentaux et le dévouement au travail réduisent ou renforcent la discrimination à l’embauche. Environ 1300 candidatures ont été envoyées en réponse à des offres d’emploi en ligne pour cinq catégories d’emplois. Les résultats suggèrent que les hommes bénéficient d’un bonus lorsqu’ils sont parent tandis que les femmes subissent un malus (une pénalité). En effet, les pères ont un taux de rappels supérieur de 18 points de pourcentage à celui de leurs homologues masculins, tandis que le taux de rappels des mères est inférieur de 14 points à celui de leur correspondant femmes sans enfant. Nous avons noté que les mères subissent une discrimination même lorsqu’elles montrent leur dévouement au travail. De l’autre côté, le taux de rappels des hommes augmenterait lorsqu’ils signalent leur engagement au travail. La mobilité professionnelle ouvrirait, elle aussi, des perspectives d’emploi ou en d’autres termes les employeurs ont donc tendance à valoriser la mobilité des iv employés. / Via experimental and empirical methods, this thesis consisted of three essays studies, on the one hand, the decision rules used in life-cycle decision-making with an emphasis on the correlation neglect and its consequences, and on other hand, hiring discrimination in relation to parenthood. Rational forward looking behavior requires solving complex problems involving computation of the expected maximum future valuations across choice alternatives (Emax computations). In Chapter 1, we conduct an experiment to measure the share of subjects able to perform these computations as well as the share of subjects using two alternative (sub-optimal) rules of computation which ignore correlation between future valuations. The first alternative rule captures subjects who perform Emax computations ignoring correlation between unobservables in the information set. The second alternative rule captures subjects computing the maximum of the expected future valuations (maxE computations), akin to the option-value model of Stock and Wise (1990). Our experimental design exploits different correlation structures between future valuations to separate the share of subjects using each rule. The experiment was conducted with a large and heterogenous sample of subjects, allowing to relate the propensity to use a given rule to a rich set of socio-economic characteristics. Our results suggest that 28% of subjects are able to perform Emax computations exploiting the correlation structure, 20% of subjects perform Emax computations ignoring correlation, while 52% of subjects perform maxE computations. Moreover, we find that the propensity to use a given rule significantly varies across education levels – higher educated subjects are significantly more likely to perform maxE computations. Chapter 2 studies how the labour uncertainties and increased fertility risks associated with delayed motherhood interact in shaping fertility decisions (timing and number of children). Having a child comes with more uncertainties, and agents strategically avoid uncertainties and conflict between parenthood and employment, particularly among women, by securing their employment before turning to parenthood. Consequently parenthood is being experienced on average later in life than ever. We develop a life-cycle model of labor supply and fertility choices decisions and we quantify how labor market uncertainties as well as correlation neglect contribute to fertility delaying. Our parameters estimated (preferences, wage equations, quality of children) are in line with the existing literature. Moreover, our results suggest that a reduction in the labour uncertainties affect differently fertility decisions according to the education attainment. Indeed, the reduction in labour uncertainties increases number of children and decreases the age at first childbirth for lower educated couples, however, it decreases the number of children and increases age at first childbirth of highly educated couples. The behavioural bias of correlation neglect has a heightened effect on fertility decisions and contributes to parenthood postponement. Finally, Chapter 3 presents experimental evidence about hiring discrimination in relation to parenthood in the province of Québec (Canada) via a correspondence testing. It also investigates to what extent parental leave as well as signalling work commitment reduce or reinforce hiring discrimination. Around 1300 applications were sent in response to online job openings for five categories of jobs. The results suggest that men benefit from a bonus when they experience parenthood while women undergo a penalty. Indeed, fathers have a callback rate 18 percentage points larger than their analogue childless men candidates while mother’s callback is 14 percentage points lower than the corresponding childless women’s callback. However, mothers have a higher callback rate than childless women for the job category patient attendant. Signalling job commitment does not eliminate motherhood penalty whereas substantially increases father’s callback rate. Our results suggest that taking parental leave does not affect mother’s callback rate and surprisingly increases father’s callback rate. Job mobility opens up job opportunities meaning employers tend to value the employee’s mobility.

In this thesis, we study robust combinatorial problems with interval data. We introduce several new measures of robustness in response to the drawbacks of existing measures of robustness. The idea of these new measures is to ensure that the solutions are satisfactory for the decision maker in all scenarios, including the worst case scenario. Therefore, we have introduced a threshold over the worst case costs, in which above this threshold, solutions are no longer satisfactory for the decision maker. It is, however, important to consider other criteria than just the worst case.<p>Therefore, in each of these new measures, a second criteria is used to evaluate the performance of the solution in other scenarios such as the best case one. <p><p>We also study the robust deviation p-elements problem. In fact, we study when this solution is equal to the optimal solution in the scenario where the cost of each element is the midpoint of its corresponding interval. <p><p>Then, we finally formulate the robust combinatorial problem with interval data as a bicriteria problem. We also integrate the decision maker's preferences over certain types of solutions into the model. We propose a method that uses these preferences to find the set of solutions that are never preferred by any other solution. We call this set the final set. <p><p>We study the properties of the final sets from a coherence point of view and from a robust point of view. From a coherence point of view, we study necessary and sufficient conditions for the final set to be monotonic, for the corresponding preferences to be without cycles, and for the set to be stable.<p>Those that do not satisfy these properties are eliminated since we believe these properties to be essential. We also study other properties such as the transitivity of the preference and indifference relations and more. We note that many of our final sets are included in one another and some are even intersections of other final sets. From a robust point of view, we compare our final sets with different measures of robustness and with the first- and second-degree stochastic dominance. We show which sets contain all of these solutions and which only contain these types of solutions. Therefore, when the decision maker chooses his preferences to find the final set, he knows what types of solutions may or may not be in the set.<p><p>Lastly, we implement this method and apply it to the Robust Shortest Path Problem. We look at how this method performs using different types of randomly generated instances. <p> / Doctorat en sciences, Orientation recherche opérationnelle / info:eu-repo/semantics/nonPublished