Depuis plusieurs années, Recherche et Développement pour la Défense Canada (RDDC) et Lockheed Martin Canada (LMC) travaillent en collaboration afin de moderniser le système de Commande et Contrôle (C2) présent sur une frégate. Un tel système a pour but d'analyser et de gérer un flot d'informations considérable afin d'effectuer les bonnes actions face à une situation donnée. Notre rôle au sein de ce projet se situe au niveau de la prise de décision. Nous devons étudier les possibilités que peut offrir la technologie agent à un tel système. Dans ce mémoire, nous proposons un mod`ele formel d'interaction entre les différentes ressources disponibles sur la frégate et les menaces auxquelles elle doit faire face. Nous proposons aussi une technique de positionnement et une approche de planification afin de maximiser les chances de survie de la frégate. Enfin, nous présentons les résultats que nous avons obtenus au moyen de simulations.

« L’intelligence artificielle pourrait être le plus important événement de l’histoire de notre civilisation ». Cette phrase de Stephen Hawkins démontre l’importance que pourrait prendre l’intelligence artificielle dans notre société. L’évolution des algorithmes permet maintenant à l’intelligence artificielle de générer des créations artistiques de manière quasiment autonome puisque l’utilisateur de l’intelligence artificielle n’a qu’à lancer le processus. Cette nouvelle manière de créer engendre de nombreuses questions, notamment celle de savoir qui est l’auteur, au sens juridique, de ces créations et si elles peuvent bénéficier de la protection du droit d’auteur. Il apparaît que les critères permettant d’accorder la protection du droit d’auteur ne permettent pas, en l’état actuel des choses, d’intégrer les créations générées par ordinateur au droit d’auteur. En effet, ces critères ne permettent pas d’attribuer le statut d’auteur à l’intelligence artificielle, puisque cette dernière n’est pas une personne physique. En l’absence de protection par le droit d’auteur, on peut alors se demander ce qu’il advient des créations générées par l’intelligence artificielle. Une des conséquences pourrait être que les créations tombent d’emblée dans le domaine public. En effet, cela permettrait de servir l’intérêt général tout en gardant un droit d’auteur très protecteur pour la personne de l’auteur. / « Artificial intelligence could be the most important event in the history of our civilization.” This sentence from Stephen Hawking demonstrates the importance that artificial intelligence can have in our society. The evolution of algorithms now allows artificial intelligence to create artistic creations in a virtually autonomous way since the user of artificial intelligence has only to start the process. This new way of creating raises many questions, including who the author of these creations is, and whether they can benefit from copyright protection. It appears that the criteria for granting copyright protection do not, in the current state of affairs, make it possible to integrate computer-generated creations with copyright. Indeed, these criteria do not allow to attribute the status of author to the artificial intelligence because AI is not a physical person. In the absence of protection by Copyright, one can wonder what happens to computer-generated creations. One of the consequences could be that the creations fall immediately into the public domain. Indeed, it would serve the public interest while keeping a very protective copyright of the person of the author.

Titre de l'écran-titre (visionné le 26 juin 2023) / L'industrie des produits du bois évolue dans un contexte de forte compétition qui incite les scieries à se tourner vers des procédés plus agiles, tel que le séchage du bois en continu par micro-ondes, une technologie récemment brevetée. Cette technologie permet de corriger le séchage des planches une à la fois, par opposition au séchage classique par lot. L'intégration de ce séchage de précision à une ligne de finition traditionnelle complexifie toutefois la logistique de l'entreprise. En effet, bien que la technologie permette d'améliorer la qualité du bois, la surcharge de planches trop humides occasionne des goulots d'étranglement et une réduction de la productivité. Il est donc nécessaire de développer des systèmes décisionnels qui déterminent en temps réel si une planche humide doit passer au séchoir micro-onde afin d'améliorer sa qualité ou continuer son chemin vers la fin de la ligne de finition. Ce projet consiste à concevoir et à évaluer des algorithmes de prises de décisions en temps réel sur une ligne de finition afin de maximiser la valeur générée par unité de temps. Compte tenu de l'aspect séquentiel des décisions (chaque décision affecte les taux actuels et futurs d'occupation des différents équipements, la qualité du bois et la productivité de l'usine), l'apprentissage par renforcement est utilisé. Dans ce sous-domaine de l'intelligence artificielle, les algorithmes apprennent des politiques décisionnelles optimales, pour une fonction objectif donnée, par interaction avec leur environnement à travers un processus « d'essais-erreurs ». Nous montrons le potentiel de l'apprentissage par renforcement à travers un modèle de simulation imitant le contexte fortement dynamique des scieries. Les politiques d'apprentissage par renforcement apprises ont permis d'augmenter la productivité d'au moins 19% par rapport à une heuristique semblable à celles utilisées actuellement en industrie. Ces politiques sont aussi relativement robustes aux perturbations soudaines qui peuvent survenir dans l'environnement. / The wood products industry is evolving in a context of strong competition encouraging sawmills towards more agile processes such as continuous wood drying using microwaves, a recently patented technology. This technology makes it possible to correct wood drying one plank at a time as opposed to traditional batch drying. However, the integration of this precision drying process into traditional finishing operations complicates sawmill's logistics. Although the technology improves wood quality, the overload of wet lumber causes bottlenecks and a reduction of productivity. It is therefore necessary to develop new decision-making systems to determine in real time whether wet lumber should be microwaved to improve its quality or continue on its way towards the end of the finishing line. This project consists of designing and evaluating real-time decision-making algorithms on a finishing line in order to maximize the value generated per unit of time, a constant challenge in the Canadian wood products industry. Considering the sequential aspect of decisions (each decision affects current and future occupancy rates of different equipment, wood quality and plant productivity), reinforcement learning (RL) is used. In this subfield of artificial intelligence, algorithms learn optimal decision sequences by interacting with their environment through a "trial and error" process. We show the potential of RL through a simulation model mimicking the real and highly dynamic factory context. RL policies learned increase productivity on wet lumber by at least 19% compared to the heuristic currently used in industry. These policies are also relatively robust to sudden disturbances that may occur in the system.

Titre de l'écran-titre (visionné le 7 août 2023) / Le milieu de l'architecture actuel est influencé par les avancées technologiques qui l'entoure, notamment dans les dernières années où l'intelligence artificielle a occupé et occupe toujours un rôle de premier plan vis-à-vis de ces développements. En architecture, l'intelligence artificielle ouvre de nouvelles possibilités tant dans les tâches d'optimisation, autant typologique que matérielle, que dans les tâches de conception architecturale créative ou esthétique. Ces capacités inédites de la machine questionnent le rôle et les interactions que l'humain entretient dans une méthodologie de conception créative assistée par un agent artificiellement intelligent. La machine a désormais le potentiel d'élever son statut de simple outil répondant au désir de l'architecte à celui d'un agent collaborateur possédant ses propres mécanismes décisionnels. Ce projet de recherche vise à explorer ce nouveau type de production collaborative entre l'architecte et la machine dans le processus créatif inhérent à l'art. Ce système de co-création observe également le développement d'une intuition artistique qui s'appuie sur l'intelligence de la machine et sur des traditions esthétiques. Pour ce faire, le projet débute en abordant par un survol historico-descriptif la question du milieu architectural et de son évolution afin de bien comprendre les implications et les évolutions que l'arrivée d'une nouvelle technologie peut avoir sur l'humain et le milieu qu'ils partagent. Ensuite, une première série d'expérimentations se concentre sur la génération d'images. Ces explorations s'intéressent aux potentiels de l'intelligence artificielle en tant que nouveau médium influençant la production et l'esthétique de la représentation. En second lieu, une exploration plastique de la mise en forme d'un projet d'architecture vise à mettre en application les logiques du processus génératif iconographique établies précédemment. En dernier lieu, un retour théorique à la lumière des observations réalisées lors des expérimentations relève les caractéristiques du nouveau milieu que l'intelligence artificielle apporte. Ce retour permet de proposer une définition des nouvelles mentalités techniques et des mutations esthétiques qui émergent avec le milieu. Cette recherche-création exploratoire éveille à l'attention plusieurs questions, mais permet surtout de porter un regard nouveau sur les relations de travail émergentes entre l'architecte et la machine qui méritent d'être l'objet de futures études comme l'autrice le soulève en conclusion du mémoire. / In recent years, artificial intelligence in particular has taken a central role in this ever-evolving technological landscape. In architecture, artificial intelligence opens new possibilities for optimizing elements such as build types or materials, but also in creative or aesthetic architectural design tasks. These unprecedented machine capabilities question the role and interactions of humans in a creative design methodology assisted by an artificially intelligent agent. The machine now has the potential to elevate its status from a simple tool responding to the architect's desire to that of a collaborative agent with its own decision-making mechanisms. This research project aims to explore this new type of collaborative production between architect and machine in respect to the creative process inherent to art. This co-creation system is also interested in the development of an artistic intuition that relies on the intelligence of the machine and aesthetic traditions. To this end, the project begins by addressing the issue of the architectural environment in order to fully understand the implications new technologies can have on humans and the environment in which they thrive - with the help of a historical-descriptive overview. A first series of experimentations then focuses on the generation of images. These explorations focus on the potential of artificial intelligence as a new medium influencing the production and aesthetics of representation. Secondly, a plastic exploration for shaping architectural projects aims to apply this logic of the iconographic generation process established previously. Lastly, a theoretical return in light of the observations made during the experimentations brings a series of questions regarding the new environment that artificial intelligence puts in place. This return allows for the suggestion of a definition for the new technical mentalities and aesthetic mutations which emerge from the medium. This exploratory creative research raises several questions, but foremost allows to shed a new light on the innovative working relations between architect and machine, which deserves to be the object of future studies. The latest will be discussed in the conclusion of the thesis.

Ce projet de recherche s'intéresse aux perceptions des communicateurs québécois quant à l'adoption de l'intelligence artificielle (IA) dans leur organisation et à son intégration dans leurs pratiques professionnelles. Il s'inscrit dans la foulée de quelques études menées sur les perceptions de l'IA au Québec (Centre interuniversitaire de recherche en analyse des organisations [CIRANO], 2018) et à travers le monde (Brock et Wangenheim, 2019 ; Ransbotham et al., 2017 ; Sun et Medaglia, 2018). L'étude s'appuie sur une approche quantitative qui procède d'une méthode par sondage en ligne dont les questions ont été conçues à partir d'une cartographie des déterminants de l'adoption de l'IA. Elle interprète les résultats en se basant sur la théorie de la conduite du changement en trois étapes de Lewin (1947), laquelle permet de situer et d'expliquer la position des acteurs relativement à un changement technologique en fonction d'une échelle de maturité organisationnelle. Il ressort des résultats obtenus que les organisations québécoises se situent au milieu de l'échelle du changement, satisfaisant à 16 des 32 indicateurs requis. Globalement, les acteurs de l'industrie des communications admettent l'importance de l'adoption de l'IA dans leur domaine, en connaissent bien les enjeux et les déterminants, mais peinent à voir comment l'intégrer à leurs pratiques. Autrement dit, ils savent " quoi faire ", mais ils ne savent pas " comment le faire ". En réponse à ce problème, cette recherche propose une méthode d'adoption séquentielle de l'IA en communication qui permet à une organisation de se situer sur l'échelle de maturité du changement et d'identifier les actions à poser pour passer à l'échelon suivant. / This research project explores the perceptions of Quebec communicators regarding the adoption of artificial intelligence (AI) in their organization and its integration into their professional practices. It is part of the wake of some studies carried out on perceptions of AI in Quebec (Centre interuniversitaire de recherche en analyse des organisations [CIRANO], 2018) and around the world (Brock and Wangenheim, 2019; Ransbotham and al., 2017; Sun and Medaglia, 2018). The study relies on a quantitative approach that proceeds from an online survey method whose questions were designed from a mapping of determining factors of adoption of AI. Results are interpreted based on Lewin's three-stage change management theory (1947), which allows to situate and explain the position of the actors in relation to a technological change according to a maturity scale. The results obtained show that Quebec organizations are in the middle of the scale of change, meeting 16 of the 32 required indicators. Overall, the players in the communications industry admit the importance of adopting AI in their field, are well aware of the issues and determining factors, but are struggling to see how to integrate it into their practices. In other words, they know "what to do" but they don't know "how to do it". In response to this problem, this research proposes a method of sequential adoption of AI in communication that allows an organization to situate itself on the change maturity scale and to identify the actions to be taken to move to the next level.

Titre de l'écran-titre (visionné le 1er novembre 2023) / Les performances du procédé de soudage à l'arc sous gaz métallique dépendent de nombreux paramètres et choisir les bons peut être complexe, même pour un expert. Généralement un ensemble de paramètres valide se trouve par essais et erreurs. Cette méthode nécessite donc beaucoup de temps et de matériel. Nous proposons ici d'utiliser des techniques d'apprentissage supervisé, pour aider les experts dans leur prise de décision. C'est dans cet objectif que nous avons d'abord créé un jeu de données à partir d'un historique de fiches de procédures de soudure numérisées. Ensuite, nous proposons un système de recommandation en deux parties. La première étape est dédiée à l'identification, par classification, du nombre de passes de soudure. La seconde indique les sept valeurs de paramètres restantes pour chaque passe : couche, ampérage, tension, vitesse de fil, fréquence, coupure et vitesse de soudage. Le système de recommandation est capable de fournir de bons résultats pour tous les différents paramètres mentionnés ci-dessus, même si les données sont bruitées en raison de la nature heuristique du processus des experts. Parmi les 11 algorithmes testés pour chaque partie, le meilleur modèle de classification est CatBoost avec 81,94% en score F1 pondéré. Les meilleurs modèles de régression sont, quant à eux, Extra Trees ou un algorithme de boosting, avec un pourcentage d'erreur absolu moyen dans les normes attendues. Ce système de recommandation est donc, pour les experts soudeurs, un outil de soutien leur permettant de gagner du temps et des ressources lors de l'étape de recherche des paramètres. Nous nous sommes appuyés sur différentes études, à la fois pour mettre en forme ce système de recommandation, mais aussi pour en analyser les limites. Premièrement, nous exposons les résultats obtenus sur la recommandation du nombre de passes en considérant ce sous-problème comme un problème de régression. Deuxièmement, en considérant des sous-ensembles de données, la conclusion suivante s'impose : regrouper les soudures par nombre total de passes ou par type de joint, ne permet pas de développer un système plus performant. En effet, le débalancement des observations, pour chaque passe, limite la phase d'apprentissage de nos modèles sur celles les plus élevées. De même, l'augmentation de la taille du jeu de données ne garantit pas l'amélioration des prédictions du nombre de passes. Cependant, elle suggère des perspectives intéressantes pour l'ampérage, le voltage, la vitesse de fil, la fréquence, la coupure et la vitesse de soudure. Troisièmement, notre modèle est comparé avec deux autres solutions de recommandations alternatives et nous introduisons la notion de chaleur transmise. Nous montrons qu'une suite de régressions en chaîne et que le calcul de la vitesse de soudure, à partir de la prédiction de la chaleur transmise, ne permet pas d'augmenter les performances du système. Pour terminer, une méthodologie est mise au point, afin de tester en contexte industriel notre système de recommandation. Nous échangeons des éléments à prendre en compte pour insérer cette expérience dans l'entreprise, sans entraver le travail des experts, et en récoltant des informations précises pour faire avancer la recherche. Dans ce but et pour compléter, nous proposons un prototype d'interface graphique qui intègre notre système de recommandations. / In gas metal arc welding, a weld quality and performance depends on many parameters. Selecting the right ones can be complex, even for an expert. One generally proceeds through trial and error to find a good set of parameters. Therefore, the current experts' method is not optimized and can require a lot of time and materials. We propose using supervised learning techniques to help experts in their decision-making. To that extent, we first created a dataset from a history of digitized welding procedure sheets. Then, a two-part recommendation system is proposed. The first step is dedicated to identify, through classification, the number of weld passes. The second one suggests the seven remaining parameter values for each pass: layer, amperage, voltage, wire feed rate, frequency offset, trimming and welding speed. After extracting data from historical Welding Procedure Specification forms, we tested 11 different supervised learning algorithms. The recommendation system is able to provide good results for all the different settings mentioned above even if the data is noisy due to the heuristic nature of the experts' process. The best classification model is CatBoost with an 81.94% F1-Weighted-Score and the best regression models are Extra Trees or a boosting algorithm with a reduced mean absolute percentage error compared to our baseline. This recommendation system is therefore, for expert welders, a support tool allowing them to save time and resources during the parameter research stage. We relied on various studies, both to shape this recommendation system, but also to analyze its limits. Firstly, we expose results obtained for the number of passes' recommendation considering this step as a regression problem. Secondly, by working on subsets of data, the following conclusion is obvious: grouping the welds by total number of passes or by type of joint does not make it possible to develop a more efficient system. Indeed, the imbalance of the observations of passes per weld limits the learning phase of our models on the highest ones. Similarly, increasing the dataset size does not guarantee improved pass count predictions but does suggest interesting insights for amperage, voltage, wire speed, frequency, trimming and welding speed. Thirdly, our model is compared with two other alternative solutions and we introduce the notion of heat input. We show that a series of chained regressors and the calculation of the welding speed, from the prediction of the heat input, does not make it possible to increase the performance of the system. Finally, a methodology is developed in order to test our recommendation system in an industrial context. We detail the aspects to be considered to insert this experience into the company without hindering the work of the experts while collecting precise information for further work. For this purpose, we also propose a graphical interface prototype that integrates the recommendation system.

L’automatisation de la prise de décision dans des applications qui affectent directement la qualité de vie des individus grâce aux algorithmes de réseaux de neurones est devenue monnaie courante. Ce mémoire porte sur les enjeux d’équité individuelle qui surviennent lors de la vérification, de l’entraînement et de la prédiction des réseaux de neurones. Une approche populaire pour garantir l’équité consiste à traduire une notion d’équité en contraintes sur les paramètres du modèle. Néanmoins, cette approche ne garantit pas toujours des prédictions équitables des modèles de réseaux de neurones entraînés. Pour relever ce défi, nous avons développé une technique de post-traitement guidée par les contre-exemples afin de faire respecter des contraintes d’équité lors de la prédiction. Contrairement aux travaux antérieurs qui ne garantissent l’équité qu’aux points entourant les données de test ou d’entraînement, nous sommes en mesure de garantir l’équité sur tous les points du domaine. En outre, nous proposons une technique de prétraitement qui repose sur l’utilisation de l’équité comme biais inductif. Cette technique consiste à incorporer itérativement des contre-exemples plus équitables dans le processus d’apprentissage à travers la fonction de perte. Les techniques que nous avons développé ont été implémentées dans un outil appelé FETA. Une évaluation empirique sur des données réelles indique que FETA est non seulement capable de garantir l’équité au moment de la prédiction, mais aussi d’entraîner des modèles précis plus équitables. / Algorithmic decision-making driven by neural networks has become very prominent in applications that directly affect people’s quality of life. This paper focuses on the problem of ensuring individual fairness in neural network models during verification, training, and prediction. A popular approach for enforcing fairness is to translate a fairness notion into constraints over the parameters of the model. However, such a translation does not always guarantee fair predictions of the trained neural network model. To address this challenge, we develop a counterexample-guided post-processing technique to provably enforce fairness constraints at prediction time. Contrary to prior work that enforces fairness only on points around test or train data, we are able to enforce and guarantee fairness on all points in the domain. Additionally, we propose a counterexample guided loss as an in-processing technique to use fairness as an inductive bias by iteratively incorporating fairness counterexamples in the learning process. We have implemented these techniques in a tool called FETA. Empirical evaluation on real-world datasets indicates that FETA is not only able to guarantee fairness on-the-fly at prediction time but also is able to train accurate models exhibiting a much higher degree of individual fairness.

La récente révolution de l'apprentissage automatique s'est fortement appuyée sur l'utilisation de bancs de test standardisés. Ces derniers sont au centre de la méthodologie scientifique en apprentissage automatique, fournissant des cibles et mesures indéniables des améliorations des algorithmes d'apprentissage. Ils ne garantissent cependant pas la validité des résultats ce qui implique que certaines conclusions scientifiques sur les avancées en intelligence artificielle peuvent s'avérer erronées. Nous abordons cette question dans cette thèse en soulevant d'abord la problématique (Chapitre 5), que nous étudions ensuite plus en profondeur pour apporter des solutions (Chapitre 6) et finalement developpons un nouvel outil afin d'amélioration la méthodologie des chercheurs (Chapitre 7). Dans le premier article, chapitre 5, nous démontrons la problématique de la reproductibilité pour des bancs de test stables et consensuels, impliquant que ces problèmes sont endémiques aussi à de grands ensembles d'applications en apprentissage automatique possiblement moins stable et moins consensuels. Dans cet article, nous mettons en évidence l'impact important de la stochasticité des bancs de test, et ce même pour les plus stables tels que la classification d'images. Nous soutenons d'après ces résultats que les solutions doivent tenir compte de cette stochasticité pour améliorer la reproductibilité des bancs de test. Dans le deuxième article, chapitre 6, nous étudions les différentes sources de variation typiques aux bancs de test en apprentissage automatique, mesurons l'effet de ces variations sur les méthodes de comparaison d'algorithmes et fournissons des recommandations sur la base de nos résultats. Une contribution importante de ce travail est la mesure de la fiabilité d'estimateurs peu coûteux à calculer mais biaisés servant à estimer la performance moyenne des algorithmes. Tel qu'expliqué dans l'article, un estimateur idéal implique plusieurs exécution d'optimisation d'hyperparamètres ce qui le rend trop coûteux à calculer. La plupart des chercheurs doivent donc recourir à l'alternative biaisée, mais nous ne savions pas jusqu'à présent la magnitude de la dégradation de cet estimateur. Sur la base de nos résultats, nous fournissons des recommandations pour la comparison d'algorithmes sur des bancs de test avec des budgets de calculs limités. Premièrement, les sources de variations devraient être randomisé autant que possible. Deuxièmement, la randomization devrait inclure le partitionnement aléatoire des données pour les ensembles d'entraînement, de validation et de test, qui s'avère être la plus importante des sources de variance. Troisièmement, des tests statistiques tel que la version du Mann-Withney U-test présenté dans notre article devrait être utilisé plutôt que des comparisons sur la simple base de moyennes afin de prendre en considération l'incertitude des mesures de performance. Dans le chapitre 7, nous présentons un cadriciel d'optimisation d'hyperparamètres développé avec principal objectif de favoriser les bonnes pratiques d'optimisation des hyperparamètres. Le cadriciel est conçu de façon à privilégier une interface simple et intuitive adaptée aux habitudes de travail des chercheurs en apprentissage automatique. Il inclut un nouveau système de versionnage d'expériences afin d'aider les chercheurs à organiser leurs itérations expérimentales et tirer profit des résultats antérieurs pour augmenter l'efficacité de l'optimisation des hyperparamètres. L'optimisation des hyperparamètres joue un rôle important dans les bancs de test, les hyperparamètres étant un facteur confondant significatif. Fournir aux chercheurs un instrument afin de bien contrôler ces facteurs confondants est complémentaire aux recommandations pour tenir compte des sources de variation dans le chapitre 6. Nos recommendations et l'outil pour l'optimisation d'hyperparametre offre une base solide pour une méthodologie robuste et fiable. / The recent revolution in machine learning has been strongly based on the use of standardized benchmarks. Providing clear target metrics and undeniable measures of improvements of learning algorithms, they are at the center of the scientific methodology in machine learning. They do not ensure validity of results however, therefore some scientific conclusions based on flawed methodology may prove to be wrong. In this thesis we address this question by first raising the issue (Chapter 5), then we study it to find solutions and recommendations (Chapter 6) and build tools to help improve the methodology of researchers (Chapter 7). In first article, Chapter 5, we demonstrate the issue of reproducibility in stable and consensual benchmarks, implying that these issues are endemic to a large ensemble of machine learning applications that are possibly less stable or less consensual. We raise awareness of the important impact of stochasticity even in stable image classification tasks and contend that solutions for reproducible benchmarks should account for this stochasticity. In second article, Chapter 6, we study the different sources of variation that are typical in machine learning benchmarks, measure their effect on comparison methods to benchmark algorithms and provide recommendations based on our results. One important contribution of this work is that we measure the reliability of a cheaper but biased estimator for the average performance of algorithms. As explained in the article, an ideal estimator involving multiple rounds of hyperparameter optimization is too computationally expensive. Most researchers must resort to use the biased alternative, but it has been unknown until now how serious a degradation of the quality of estimation this leads to. Our investigations provides guidelines for benchmarks on practical budgets. First, as many sources of variations as possible should be randomized. Second, the partitioning of data in training, validation and test sets should be randomized as well, since this is the most important source of variation. Finally, statistical tests should be used instead of ad-hoc average comparisons so that the uncertainty of performance estimation can be accounted for when comparing machine learning algorithms. In Chapter 7, we present a framework for hyperparameter optimization that has been developed with the main goal of encouraging best practices for hyperparameter optimization. The framework is designed to favor a simple and intuitive interface adapted to the workflow of machine learning researchers. It includes a new version control system for experiments to help researchers organize their rounds of experimentations and leverage prior results for more efficient hyperparameter optimization. Hyperparameter optimization plays an important role in benchmarking, with the effect of hyperparameters being a serious confounding factor. Providing an instrument for researchers to properly control this confounding factor is complementary to our guidelines to account for sources of variation in Chapter 7. Our recommendations together with our tool for hyperparameter optimization provides a solid basis for a reliable methodology in machine learning benchmarks.

L'hypothèse fondamentale guidant la pratique de l'apprentissage automatique est qu’en phase de test, les données sont \emph{indépendantes et identiquement distribuées} à la distribution d'apprentissage. En pratique, les ensembles d'entraînement sont souvent assez petits pour favoriser le recours à des biais trompeurs. De plus, lorsqu'il est déployé dans le monde réel, un modèle est susceptible de rencontrer des données nouvelles ou anormales. Lorsque cela se produit, nous aimerions que nos modèles communiquent une confiance prédictive réduite. De telles situations, résultant de différentes formes de changement de distribution, sont incluses dans ce que l'on appelle actuellement les situations \emph{hors distribution} (OOD). Dans cette thèse par article, nous discutons des aspects de performance OOD relativement à des changement de distribution sémantique et non sémantique -- ceux-ci correspondent à des instances de détection OOD et à des problèmes de généralisation OOD. Dans le premier article, nous évaluons de manière critique le problème de la détection OOD, en se concentrant sur l’analyse comparative et l'évaluation. Tout en soutenant que la détection OOD est trop vague pour être significative, nous suggérons plutôt de détecter les anomalies sémantiques. Nous montrons que les classificateurs entraînés sur des objectifs auxiliaires auto-supervisés peuvent améliorer la sémanticité dans les représentations de caractéristiques, comme l’indiquent notre meilleure détection des anomalies sémantiques ainsi que notre meilleure généralisation. Dans le deuxième article, nous développons davantage notre discussion sur le double objectif de robustesse au changement de distribution non sémantique et de sensibilité au changement sémantique. Adoptant une perspective de compositionnalité, nous décomposons le changement non sémantique en composants systématiques et non systématiques, la généralisation en distribution et la détection d'anomalies sémantiques formant les tâches correspondant à des compositions complémentaires. Nous montrons au moyen d'évaluations empiriques sur des tâches synthétiques qu'il est possible d'améliorer simultanément les performances sur tous ces aspects de robustesse et d'incertitude. Nous proposons également une méthode simple qui améliore les approches existantes sur nos tâches synthétiques. Dans le troisième et dernier article, nous considérons un scénario de boîte noire en ligne dans lequel non seulement la distribution des données d'entrée conditionnées sur les étiquettes change de l’entraînement au test, mais aussi la distribution marginale des étiquettes. Nous montrons que sous de telles contraintes pratiques, de simples estimations probabilistes en ligne du changement d'étiquette peuvent quand même être une piste prometteuse. Nous terminons par une brève discussion sur les pistes possibles. / The fundamental assumption guiding practice in machine learning has been that test-time data is \emph{independent and identically distributed} to the training distribution. In practical use, training sets are often small enough to encourage reliance upon misleading biases. Additionally, when deployed in the real-world, a model is likely to encounter novel or anomalous data. When this happens, we would like our models to communicate reduced predictive confidence. Such situations, arising as a result of different forms of distributional shift, comprise what are currently termed \emph{out-of-distribution} (OOD) settings. In this thesis-by-article, we discuss aspects of OOD performance with regards to semantic and non-semantic distributional shift — these correspond to instances of OOD detection and OOD generalization problems. In the first article, we critically appraise the problem of OOD detection, with regard to benchmarking and evaluation. Arguing that OOD detection is too broad to be meaningful, we suggest detecting semantic anomalies instead. We show that classifiers trained with auxiliary self-supervised objectives can improve semanticity in feature representations, as indicated by improved semantic anomaly detection as well as improved generalization. In the second article, we further develop our discussion of the twin goals of robustness to non-semantic distributional shift and sensitivity to semantic shift. Adopting a perspective of compositionality, we decompose non-semantic shift into systematic and non-systematic components, along with in-distribution generalization and semantic anomaly detection forming the complementary tasks. We show by means of empirical evaluations on synthetic setups that it is possible to improve performance at all these aspects of robustness and uncertainty simultaneously. We also propose a simple method that improves upon existing approaches on our synthetic benchmarks. In the third and final article, we consider an online, black-box scenario in which both the distribution of input data conditioned on labels changes from training to testing, as well as the marginal distribution of labels. We show that under such practical constraints, simple online probabilistic estimates of label-shift can nevertheless be a promising approach. We close with a brief discussion of possible avenues forward.

Le secteur du bâtiment représente plus du tiers de la consommation énergétique et des émissions de gaz à effet de serre mondiales. Face à cet enjeu, des stratégies passives ont permis d'améliorer l'efficacité énergétique des bâtiments. À mesure que les technologies passives se rapprochent de leur limite physique d'efficacité, il devient nécessaire de s'intéresser à des technologies actives. Les stratégies de contrôle par modèle prédictif ont le potentiel de réduire la consommation énergétique des systèmes de chauffage, climatisation, ventilation, conditionnement de l'air et de production d'eau chaude domestique. Une difficulté limitant leur implantation dans les bâtiments provient du besoin de prédire des paramètres influencés par le comportement des occupantes et des occupants qui apparait stochastique, complexifiant le développement de modèles de prédiction. Dans ce contexte, cette thèse se concentre à évaluer des méthodes basées sur les données pour estimer la prédictibilité de la consommation d'eau chaude domestique et d'électricité dans un bâtiment résidentiel. L'impact d'une prédictibilité variable sur les performances est évalué lors de l'implémentation de ces modèles de prédiction dans des contrôleurs par modèle prédictif appliqués à des systèmes de production d'eau chaude domestique. Premièrement, la prédictibilité des profils de consommation d'eau chaude est évaluée à partir de profils mesurés dans un bâtiment résidentiel de 40 logements. Plus précisément, des réseaux de neurones sont entraînés à prédire cette consommation pour des systèmes de tailles variables allant d'un à 100 logements. Le niveau de prédictibilité est identifié comme étant proportionnel au nombre de logements et hautement variable pour des systèmes unifamiliaux, passant de très faible à élevé (c.-à-d., coefficient de détermination allant de 8 à 92% avec une moyenne de 58%). Les résultats montrent une difficulté à prédire précisément les pics de consommation, souvent sous-estimés lorsqu'une faible prédictibilité est observée. Puisqu'un contrôleur par modèle prédictif base ses décisions sur les prédictions, une faible prédictibilité pourrait impacter les performances en termes d'économie d'énergie et de respect des contraintes applicables à un système de production d'eau chaude. Deuxièmement, l'impact du niveau de prédictibilité des profils de consommation d'eau chaude sur les performances de contrôleurs par modèle prédictif est estimé. Les performances d'un contrôleur par modèle prédictif théorique employant des prédictions parfaitement précises sont comparées avec celles obtenues avec un contrôleur employant des prédictions imparfaites produites par les réseaux de neurones entraînés précédemment. Pour un système unifamilial, le principal effet des prédictions imparfaites sur les performances est le non-respect plus fréquent des contraintes de température dû à une incapacité à agir suffisamment en avance en préparation aux futurs pics de consommation d'eau chaude sous-estimés. Néanmoins, en comparaison avec une commande traditionnelle, des économies d'énergie allant de 4 à 8% ont été obtenues avec le contrôleur employant les prédictions imparfaites. En prédisant les périodes de pointe énergétique, les contrôleurs par modèle prédictif ont la capacité de réduire les pointes de consommation énergétique en déplaçant une partie de cette consommation vers les périodes hors-pointes. Dans cette optique, plusieurs modèles de prédiction basés sur les données sont entraînés afin de prédire la consommation d'électricité de logements unifamiliaux liée à l'éclairage et à l'utilisation des prises de courant sur plusieurs horizons allant de 10 minutes à 24 heures. Les arbres de décision renforcés (boosted) par le gradient sont identifiés comme étant la méthode produisant la meilleure qualité de prédiction. Une grande variabilité quant au niveau de prédictibilité est observée entre les logements, ce qui pourrait affecter la capacité des contrôleurs à réduire la consommation énergétique de pointe dans certains cas. Finalement, un dernier chapitre explore le potentiel d'un contrôleur par modèle prédictif employant les modèles de prédiction de la demande en eau chaude et de la consommation d'électricité pour prédire les périodes de pointe. Les résultats démontrent une plus grande différenciation entre les contrôleurs par modèle prédictif avec prédictions parfaites et imparfaites, le premier permettant de réduire d'avantage la consommation énergétique de pointe du chauffe-eau en prédisant plus précisément les périodes de pointe ainsi que la demande en eau chaude domestique correspondante. En comparaison avec la commande traditionnelle, des économies d'énergie pendant les périodes de pointe allant de 10 à 70% (moyenne de 26%) selon l'unité résidentielle étudiée ont été obtenues avec le contrôleur basé sur les prédictions imparfaites. Globalement, cette thèse représente un grand pas vers l'application future des contrôleurs par modèle prédictif basés sur l'apprentissage machine dans les bâtiments résidentiels, et les résultats obtenus démontrent le potentiel de cette stratégie de contrôle face à la réduction de la consommation d'énergie des systèmes de production d'eau chaude domestique unifamiliaux. / The building sector accounts for more than a third of the worldwide energy consumption and greenhouse gas emissions. Facing these challenges, passive strategies have allowed to increase the energy efficiency of buildings. As these passive technologies are reaching their efficiency limits, it is necessary to turn our interest to active technologies. Model predictive control strategies have the potential to reduce the energy consumption of heating, cooling, ventilation and air conditioning as well as domestic hot water production systems. One of the challenges towards their application in buildings is the requirement to predict parameters that are influenced by occupants' behavior that appears to be stochastic. In this context, this thesis focuses on evaluating data-based methods to estimate the predictability of domestic hot water and electricity consumption profiles in a residential building. The impact of a varying predictability on the performance is evaluated by implementing these forecasting models in model predictive controllers applied to domestic hot water production systems. First, the predictability of domestic hot water consumption profiles is evaluated from profiles measured in a 40-unit case-study residential building. More specifically, neural networks are trained to predict this consumption for systems of varying size ranging between one and 100 units. The level of predictability is identified as proportional to the number of units and shows high variability for single-family systems, starting at very low and reaching high levels (i.e., coefficient of determination from 8 to 92% with a mean of 58%). Results show that accurately predicting consumption peaks is a challenge and often results in underestimating their amplitude when a low predictability is observed. As the decisions of model predictive controllers are based on predictions, a low predictability could impact their energy-saving performance and ability to respect the constraints of domestic hot water production systems. Thus, the impact of the level of predictability of hot water consumption profiles on the performance of model predictive controllers is estimated. The performance of a theoretical model predictive controller relying on perfectly accurate predictions are compared with that of a controller using imperfect predictions produced by the previously trained neural networks. In single-family systems, the main impact of imperfect predictions on the performance is more violations of the storage temperature constraint due to the inability to act sufficiently in advance in preparation of underestimated future hot water consumption peaks. Nonetheless, comparing with a traditional controller, energy savings from 4 to 8% were obtained with the predictive controller relying on imperfect forecasts. By predicting energy-peak periods, the predictive controllers have the ability to reduce peak energy consumption by moving parts of the energy consumption to off-peak periods. In this context, many data-based prediction models are trained to predict the plug load and lighting electricity consumption of single-family residential units over horizons of 10 minutes to 24 hours. Gradient-boosted regression trees are identified as the method providing the highest prediction quality. A high variability is observed for the level of predictability between residential units, which could affect the controllers' ability to reduce electricity consumption peaks in some cases. Finally, a last chapter explores the potential of a model predictive controller using the prediction models of the domestic hot water demand and of the electricity consumption to forecast electricity-peak periods. As the electricity consumption was demonstrated as challenging to predict in many contexts, the impact of forecasting inaccuracies on the performance of controllers is even more displayed here. The results show that the model predictive controllers with perfect or imperfect predictions are more differentiated, with the first managing to reduce more the electricity-consumption peaks of the water heater by accurately predicting peak periods along with the corresponding domestic hot water demand. Compared with a traditional controller, peak-period energy savings ranging from 10 to 70% (mean of 26%) were obtained with the controller relying on imperfect forecasts depending on the studied residential unit. Globally, this thesis is a major step towards future application of model predictive controllers based on machine learning in residential buildings. The results demonstrate the potential of this control strategy to reduce the energy consumption of single-family domestic hot water systems.