Depuis plusieurs années, Recherche et Développement pour la Défense Canada (RDDC) et Lockheed Martin Canada (LMC) travaillent en collaboration afin de moderniser le système de Commande et Contrôle (C2) présent sur une frégate. Un tel système a pour but d'analyser et de gérer un flot d'informations considérable afin d'effectuer les bonnes actions face à une situation donnée. Notre rôle au sein de ce projet se situe au niveau de la prise de décision. Nous devons étudier les possibilités que peut offrir la technologie agent à un tel système. Dans ce mémoire, nous proposons un mod`ele formel d'interaction entre les différentes ressources disponibles sur la frégate et les menaces auxquelles elle doit faire face. Nous proposons aussi une technique de positionnement et une approche de planification afin de maximiser les chances de survie de la frégate. Enfin, nous présentons les résultats que nous avons obtenus au moyen de simulations.

« L’intelligence artificielle pourrait être le plus important événement de l’histoire de notre civilisation ». Cette phrase de Stephen Hawkins démontre l’importance que pourrait prendre l’intelligence artificielle dans notre société. L’évolution des algorithmes permet maintenant à l’intelligence artificielle de générer des créations artistiques de manière quasiment autonome puisque l’utilisateur de l’intelligence artificielle n’a qu’à lancer le processus. Cette nouvelle manière de créer engendre de nombreuses questions, notamment celle de savoir qui est l’auteur, au sens juridique, de ces créations et si elles peuvent bénéficier de la protection du droit d’auteur. Il apparaît que les critères permettant d’accorder la protection du droit d’auteur ne permettent pas, en l’état actuel des choses, d’intégrer les créations générées par ordinateur au droit d’auteur. En effet, ces critères ne permettent pas d’attribuer le statut d’auteur à l’intelligence artificielle, puisque cette dernière n’est pas une personne physique. En l’absence de protection par le droit d’auteur, on peut alors se demander ce qu’il advient des créations générées par l’intelligence artificielle. Une des conséquences pourrait être que les créations tombent d’emblée dans le domaine public. En effet, cela permettrait de servir l’intérêt général tout en gardant un droit d’auteur très protecteur pour la personne de l’auteur. / « Artificial intelligence could be the most important event in the history of our civilization.” This sentence from Stephen Hawking demonstrates the importance that artificial intelligence can have in our society. The evolution of algorithms now allows artificial intelligence to create artistic creations in a virtually autonomous way since the user of artificial intelligence has only to start the process. This new way of creating raises many questions, including who the author of these creations is, and whether they can benefit from copyright protection. It appears that the criteria for granting copyright protection do not, in the current state of affairs, make it possible to integrate computer-generated creations with copyright. Indeed, these criteria do not allow to attribute the status of author to the artificial intelligence because AI is not a physical person. In the absence of protection by Copyright, one can wonder what happens to computer-generated creations. One of the consequences could be that the creations fall immediately into the public domain. Indeed, it would serve the public interest while keeping a very protective copyright of the person of the author.

Titre de l'écran-titre (visionné le 26 juin 2023) / L'industrie des produits du bois évolue dans un contexte de forte compétition qui incite les scieries à se tourner vers des procédés plus agiles, tel que le séchage du bois en continu par micro-ondes, une technologie récemment brevetée. Cette technologie permet de corriger le séchage des planches une à la fois, par opposition au séchage classique par lot. L'intégration de ce séchage de précision à une ligne de finition traditionnelle complexifie toutefois la logistique de l'entreprise. En effet, bien que la technologie permette d'améliorer la qualité du bois, la surcharge de planches trop humides occasionne des goulots d'étranglement et une réduction de la productivité. Il est donc nécessaire de développer des systèmes décisionnels qui déterminent en temps réel si une planche humide doit passer au séchoir micro-onde afin d'améliorer sa qualité ou continuer son chemin vers la fin de la ligne de finition. Ce projet consiste à concevoir et à évaluer des algorithmes de prises de décisions en temps réel sur une ligne de finition afin de maximiser la valeur générée par unité de temps. Compte tenu de l'aspect séquentiel des décisions (chaque décision affecte les taux actuels et futurs d'occupation des différents équipements, la qualité du bois et la productivité de l'usine), l'apprentissage par renforcement est utilisé. Dans ce sous-domaine de l'intelligence artificielle, les algorithmes apprennent des politiques décisionnelles optimales, pour une fonction objectif donnée, par interaction avec leur environnement à travers un processus « d'essais-erreurs ». Nous montrons le potentiel de l'apprentissage par renforcement à travers un modèle de simulation imitant le contexte fortement dynamique des scieries. Les politiques d'apprentissage par renforcement apprises ont permis d'augmenter la productivité d'au moins 19% par rapport à une heuristique semblable à celles utilisées actuellement en industrie. Ces politiques sont aussi relativement robustes aux perturbations soudaines qui peuvent survenir dans l'environnement. / The wood products industry is evolving in a context of strong competition encouraging sawmills towards more agile processes such as continuous wood drying using microwaves, a recently patented technology. This technology makes it possible to correct wood drying one plank at a time as opposed to traditional batch drying. However, the integration of this precision drying process into traditional finishing operations complicates sawmill's logistics. Although the technology improves wood quality, the overload of wet lumber causes bottlenecks and a reduction of productivity. It is therefore necessary to develop new decision-making systems to determine in real time whether wet lumber should be microwaved to improve its quality or continue on its way towards the end of the finishing line. This project consists of designing and evaluating real-time decision-making algorithms on a finishing line in order to maximize the value generated per unit of time, a constant challenge in the Canadian wood products industry. Considering the sequential aspect of decisions (each decision affects current and future occupancy rates of different equipment, wood quality and plant productivity), reinforcement learning (RL) is used. In this subfield of artificial intelligence, algorithms learn optimal decision sequences by interacting with their environment through a "trial and error" process. We show the potential of RL through a simulation model mimicking the real and highly dynamic factory context. RL policies learned increase productivity on wet lumber by at least 19% compared to the heuristic currently used in industry. These policies are also relatively robust to sudden disturbances that may occur in the system.

L’automatisation de la prise de décision dans des applications qui affectent directement la qualité de vie des individus grâce aux algorithmes de réseaux de neurones est devenue monnaie courante. Ce mémoire porte sur les enjeux d’équité individuelle qui surviennent lors de la vérification, de l’entraînement et de la prédiction des réseaux de neurones. Une approche populaire pour garantir l’équité consiste à traduire une notion d’équité en contraintes sur les paramètres du modèle. Néanmoins, cette approche ne garantit pas toujours des prédictions équitables des modèles de réseaux de neurones entraînés. Pour relever ce défi, nous avons développé une technique de post-traitement guidée par les contre-exemples afin de faire respecter des contraintes d’équité lors de la prédiction. Contrairement aux travaux antérieurs qui ne garantissent l’équité qu’aux points entourant les données de test ou d’entraînement, nous sommes en mesure de garantir l’équité sur tous les points du domaine. En outre, nous proposons une technique de prétraitement qui repose sur l’utilisation de l’équité comme biais inductif. Cette technique consiste à incorporer itérativement des contre-exemples plus équitables dans le processus d’apprentissage à travers la fonction de perte. Les techniques que nous avons développé ont été implémentées dans un outil appelé FETA. Une évaluation empirique sur des données réelles indique que FETA est non seulement capable de garantir l’équité au moment de la prédiction, mais aussi d’entraîner des modèles précis plus équitables. / Algorithmic decision-making driven by neural networks has become very prominent in applications that directly affect people’s quality of life. This paper focuses on the problem of ensuring individual fairness in neural network models during verification, training, and prediction. A popular approach for enforcing fairness is to translate a fairness notion into constraints over the parameters of the model. However, such a translation does not always guarantee fair predictions of the trained neural network model. To address this challenge, we develop a counterexample-guided post-processing technique to provably enforce fairness constraints at prediction time. Contrary to prior work that enforces fairness only on points around test or train data, we are able to enforce and guarantee fairness on all points in the domain. Additionally, we propose a counterexample guided loss as an in-processing technique to use fairness as an inductive bias by iteratively incorporating fairness counterexamples in the learning process. We have implemented these techniques in a tool called FETA. Empirical evaluation on real-world datasets indicates that FETA is not only able to guarantee fairness on-the-fly at prediction time but also is able to train accurate models exhibiting a much higher degree of individual fairness.

La récente révolution de l'apprentissage automatique s'est fortement appuyée sur l'utilisation de bancs de test standardisés. Ces derniers sont au centre de la méthodologie scientifique en apprentissage automatique, fournissant des cibles et mesures indéniables des améliorations des algorithmes d'apprentissage. Ils ne garantissent cependant pas la validité des résultats ce qui implique que certaines conclusions scientifiques sur les avancées en intelligence artificielle peuvent s'avérer erronées. Nous abordons cette question dans cette thèse en soulevant d'abord la problématique (Chapitre 5), que nous étudions ensuite plus en profondeur pour apporter des solutions (Chapitre 6) et finalement developpons un nouvel outil afin d'amélioration la méthodologie des chercheurs (Chapitre 7). Dans le premier article, chapitre 5, nous démontrons la problématique de la reproductibilité pour des bancs de test stables et consensuels, impliquant que ces problèmes sont endémiques aussi à de grands ensembles d'applications en apprentissage automatique possiblement moins stable et moins consensuels. Dans cet article, nous mettons en évidence l'impact important de la stochasticité des bancs de test, et ce même pour les plus stables tels que la classification d'images. Nous soutenons d'après ces résultats que les solutions doivent tenir compte de cette stochasticité pour améliorer la reproductibilité des bancs de test. Dans le deuxième article, chapitre 6, nous étudions les différentes sources de variation typiques aux bancs de test en apprentissage automatique, mesurons l'effet de ces variations sur les méthodes de comparaison d'algorithmes et fournissons des recommandations sur la base de nos résultats. Une contribution importante de ce travail est la mesure de la fiabilité d'estimateurs peu coûteux à calculer mais biaisés servant à estimer la performance moyenne des algorithmes. Tel qu'expliqué dans l'article, un estimateur idéal implique plusieurs exécution d'optimisation d'hyperparamètres ce qui le rend trop coûteux à calculer. La plupart des chercheurs doivent donc recourir à l'alternative biaisée, mais nous ne savions pas jusqu'à présent la magnitude de la dégradation de cet estimateur. Sur la base de nos résultats, nous fournissons des recommandations pour la comparison d'algorithmes sur des bancs de test avec des budgets de calculs limités. Premièrement, les sources de variations devraient être randomisé autant que possible. Deuxièmement, la randomization devrait inclure le partitionnement aléatoire des données pour les ensembles d'entraînement, de validation et de test, qui s'avère être la plus importante des sources de variance. Troisièmement, des tests statistiques tel que la version du Mann-Withney U-test présenté dans notre article devrait être utilisé plutôt que des comparisons sur la simple base de moyennes afin de prendre en considération l'incertitude des mesures de performance. Dans le chapitre 7, nous présentons un cadriciel d'optimisation d'hyperparamètres développé avec principal objectif de favoriser les bonnes pratiques d'optimisation des hyperparamètres. Le cadriciel est conçu de façon à privilégier une interface simple et intuitive adaptée aux habitudes de travail des chercheurs en apprentissage automatique. Il inclut un nouveau système de versionnage d'expériences afin d'aider les chercheurs à organiser leurs itérations expérimentales et tirer profit des résultats antérieurs pour augmenter l'efficacité de l'optimisation des hyperparamètres. L'optimisation des hyperparamètres joue un rôle important dans les bancs de test, les hyperparamètres étant un facteur confondant significatif. Fournir aux chercheurs un instrument afin de bien contrôler ces facteurs confondants est complémentaire aux recommandations pour tenir compte des sources de variation dans le chapitre 6. Nos recommendations et l'outil pour l'optimisation d'hyperparametre offre une base solide pour une méthodologie robuste et fiable. / The recent revolution in machine learning has been strongly based on the use of standardized benchmarks. Providing clear target metrics and undeniable measures of improvements of learning algorithms, they are at the center of the scientific methodology in machine learning. They do not ensure validity of results however, therefore some scientific conclusions based on flawed methodology may prove to be wrong. In this thesis we address this question by first raising the issue (Chapter 5), then we study it to find solutions and recommendations (Chapter 6) and build tools to help improve the methodology of researchers (Chapter 7). In first article, Chapter 5, we demonstrate the issue of reproducibility in stable and consensual benchmarks, implying that these issues are endemic to a large ensemble of machine learning applications that are possibly less stable or less consensual. We raise awareness of the important impact of stochasticity even in stable image classification tasks and contend that solutions for reproducible benchmarks should account for this stochasticity. In second article, Chapter 6, we study the different sources of variation that are typical in machine learning benchmarks, measure their effect on comparison methods to benchmark algorithms and provide recommendations based on our results. One important contribution of this work is that we measure the reliability of a cheaper but biased estimator for the average performance of algorithms. As explained in the article, an ideal estimator involving multiple rounds of hyperparameter optimization is too computationally expensive. Most researchers must resort to use the biased alternative, but it has been unknown until now how serious a degradation of the quality of estimation this leads to. Our investigations provides guidelines for benchmarks on practical budgets. First, as many sources of variations as possible should be randomized. Second, the partitioning of data in training, validation and test sets should be randomized as well, since this is the most important source of variation. Finally, statistical tests should be used instead of ad-hoc average comparisons so that the uncertainty of performance estimation can be accounted for when comparing machine learning algorithms. In Chapter 7, we present a framework for hyperparameter optimization that has been developed with the main goal of encouraging best practices for hyperparameter optimization. The framework is designed to favor a simple and intuitive interface adapted to the workflow of machine learning researchers. It includes a new version control system for experiments to help researchers organize their rounds of experimentations and leverage prior results for more efficient hyperparameter optimization. Hyperparameter optimization plays an important role in benchmarking, with the effect of hyperparameters being a serious confounding factor. Providing an instrument for researchers to properly control this confounding factor is complementary to our guidelines to account for sources of variation in Chapter 7. Our recommendations together with our tool for hyperparameter optimization provides a solid basis for a reliable methodology in machine learning benchmarks.

L'hypothèse fondamentale guidant la pratique de l'apprentissage automatique est qu’en phase de test, les données sont \emph{indépendantes et identiquement distribuées} à la distribution d'apprentissage. En pratique, les ensembles d'entraînement sont souvent assez petits pour favoriser le recours à des biais trompeurs. De plus, lorsqu'il est déployé dans le monde réel, un modèle est susceptible de rencontrer des données nouvelles ou anormales. Lorsque cela se produit, nous aimerions que nos modèles communiquent une confiance prédictive réduite. De telles situations, résultant de différentes formes de changement de distribution, sont incluses dans ce que l'on appelle actuellement les situations \emph{hors distribution} (OOD). Dans cette thèse par article, nous discutons des aspects de performance OOD relativement à des changement de distribution sémantique et non sémantique -- ceux-ci correspondent à des instances de détection OOD et à des problèmes de généralisation OOD. Dans le premier article, nous évaluons de manière critique le problème de la détection OOD, en se concentrant sur l’analyse comparative et l'évaluation. Tout en soutenant que la détection OOD est trop vague pour être significative, nous suggérons plutôt de détecter les anomalies sémantiques. Nous montrons que les classificateurs entraînés sur des objectifs auxiliaires auto-supervisés peuvent améliorer la sémanticité dans les représentations de caractéristiques, comme l’indiquent notre meilleure détection des anomalies sémantiques ainsi que notre meilleure généralisation. Dans le deuxième article, nous développons davantage notre discussion sur le double objectif de robustesse au changement de distribution non sémantique et de sensibilité au changement sémantique. Adoptant une perspective de compositionnalité, nous décomposons le changement non sémantique en composants systématiques et non systématiques, la généralisation en distribution et la détection d'anomalies sémantiques formant les tâches correspondant à des compositions complémentaires. Nous montrons au moyen d'évaluations empiriques sur des tâches synthétiques qu'il est possible d'améliorer simultanément les performances sur tous ces aspects de robustesse et d'incertitude. Nous proposons également une méthode simple qui améliore les approches existantes sur nos tâches synthétiques. Dans le troisième et dernier article, nous considérons un scénario de boîte noire en ligne dans lequel non seulement la distribution des données d'entrée conditionnées sur les étiquettes change de l’entraînement au test, mais aussi la distribution marginale des étiquettes. Nous montrons que sous de telles contraintes pratiques, de simples estimations probabilistes en ligne du changement d'étiquette peuvent quand même être une piste prometteuse. Nous terminons par une brève discussion sur les pistes possibles. / The fundamental assumption guiding practice in machine learning has been that test-time data is \emph{independent and identically distributed} to the training distribution. In practical use, training sets are often small enough to encourage reliance upon misleading biases. Additionally, when deployed in the real-world, a model is likely to encounter novel or anomalous data. When this happens, we would like our models to communicate reduced predictive confidence. Such situations, arising as a result of different forms of distributional shift, comprise what are currently termed \emph{out-of-distribution} (OOD) settings. In this thesis-by-article, we discuss aspects of OOD performance with regards to semantic and non-semantic distributional shift — these correspond to instances of OOD detection and OOD generalization problems. In the first article, we critically appraise the problem of OOD detection, with regard to benchmarking and evaluation. Arguing that OOD detection is too broad to be meaningful, we suggest detecting semantic anomalies instead. We show that classifiers trained with auxiliary self-supervised objectives can improve semanticity in feature representations, as indicated by improved semantic anomaly detection as well as improved generalization. In the second article, we further develop our discussion of the twin goals of robustness to non-semantic distributional shift and sensitivity to semantic shift. Adopting a perspective of compositionality, we decompose non-semantic shift into systematic and non-systematic components, along with in-distribution generalization and semantic anomaly detection forming the complementary tasks. We show by means of empirical evaluations on synthetic setups that it is possible to improve performance at all these aspects of robustness and uncertainty simultaneously. We also propose a simple method that improves upon existing approaches on our synthetic benchmarks. In the third and final article, we consider an online, black-box scenario in which both the distribution of input data conditioned on labels changes from training to testing, as well as the marginal distribution of labels. We show that under such practical constraints, simple online probabilistic estimates of label-shift can nevertheless be a promising approach. We close with a brief discussion of possible avenues forward.

Le secteur du bâtiment représente plus du tiers de la consommation énergétique et des émissions de gaz à effet de serre mondiales. Face à cet enjeu, des stratégies passives ont permis d'améliorer l'efficacité énergétique des bâtiments. À mesure que les technologies passives se rapprochent de leur limite physique d'efficacité, il devient nécessaire de s'intéresser à des technologies actives. Les stratégies de contrôle par modèle prédictif ont le potentiel de réduire la consommation énergétique des systèmes de chauffage, climatisation, ventilation, conditionnement de l'air et de production d'eau chaude domestique. Une difficulté limitant leur implantation dans les bâtiments provient du besoin de prédire des paramètres influencés par le comportement des occupantes et des occupants qui apparait stochastique, complexifiant le développement de modèles de prédiction. Dans ce contexte, cette thèse se concentre à évaluer des méthodes basées sur les données pour estimer la prédictibilité de la consommation d'eau chaude domestique et d'électricité dans un bâtiment résidentiel. L'impact d'une prédictibilité variable sur les performances est évalué lors de l'implémentation de ces modèles de prédiction dans des contrôleurs par modèle prédictif appliqués à des systèmes de production d'eau chaude domestique. Premièrement, la prédictibilité des profils de consommation d'eau chaude est évaluée à partir de profils mesurés dans un bâtiment résidentiel de 40 logements. Plus précisément, des réseaux de neurones sont entraînés à prédire cette consommation pour des systèmes de tailles variables allant d'un à 100 logements. Le niveau de prédictibilité est identifié comme étant proportionnel au nombre de logements et hautement variable pour des systèmes unifamiliaux, passant de très faible à élevé (c.-à-d., coefficient de détermination allant de 8 à 92% avec une moyenne de 58%). Les résultats montrent une difficulté à prédire précisément les pics de consommation, souvent sous-estimés lorsqu'une faible prédictibilité est observée. Puisqu'un contrôleur par modèle prédictif base ses décisions sur les prédictions, une faible prédictibilité pourrait impacter les performances en termes d'économie d'énergie et de respect des contraintes applicables à un système de production d'eau chaude. Deuxièmement, l'impact du niveau de prédictibilité des profils de consommation d'eau chaude sur les performances de contrôleurs par modèle prédictif est estimé. Les performances d'un contrôleur par modèle prédictif théorique employant des prédictions parfaitement précises sont comparées avec celles obtenues avec un contrôleur employant des prédictions imparfaites produites par les réseaux de neurones entraînés précédemment. Pour un système unifamilial, le principal effet des prédictions imparfaites sur les performances est le non-respect plus fréquent des contraintes de température dû à une incapacité à agir suffisamment en avance en préparation aux futurs pics de consommation d'eau chaude sous-estimés. Néanmoins, en comparaison avec une commande traditionnelle, des économies d'énergie allant de 4 à 8% ont été obtenues avec le contrôleur employant les prédictions imparfaites. En prédisant les périodes de pointe énergétique, les contrôleurs par modèle prédictif ont la capacité de réduire les pointes de consommation énergétique en déplaçant une partie de cette consommation vers les périodes hors-pointes. Dans cette optique, plusieurs modèles de prédiction basés sur les données sont entraînés afin de prédire la consommation d'électricité de logements unifamiliaux liée à l'éclairage et à l'utilisation des prises de courant sur plusieurs horizons allant de 10 minutes à 24 heures. Les arbres de décision renforcés (boosted) par le gradient sont identifiés comme étant la méthode produisant la meilleure qualité de prédiction. Une grande variabilité quant au niveau de prédictibilité est observée entre les logements, ce qui pourrait affecter la capacité des contrôleurs à réduire la consommation énergétique de pointe dans certains cas. Finalement, un dernier chapitre explore le potentiel d'un contrôleur par modèle prédictif employant les modèles de prédiction de la demande en eau chaude et de la consommation d'électricité pour prédire les périodes de pointe. Les résultats démontrent une plus grande différenciation entre les contrôleurs par modèle prédictif avec prédictions parfaites et imparfaites, le premier permettant de réduire d'avantage la consommation énergétique de pointe du chauffe-eau en prédisant plus précisément les périodes de pointe ainsi que la demande en eau chaude domestique correspondante. En comparaison avec la commande traditionnelle, des économies d'énergie pendant les périodes de pointe allant de 10 à 70% (moyenne de 26%) selon l'unité résidentielle étudiée ont été obtenues avec le contrôleur basé sur les prédictions imparfaites. Globalement, cette thèse représente un grand pas vers l'application future des contrôleurs par modèle prédictif basés sur l'apprentissage machine dans les bâtiments résidentiels, et les résultats obtenus démontrent le potentiel de cette stratégie de contrôle face à la réduction de la consommation d'énergie des systèmes de production d'eau chaude domestique unifamiliaux. / The building sector accounts for more than a third of the worldwide energy consumption and greenhouse gas emissions. Facing these challenges, passive strategies have allowed to increase the energy efficiency of buildings. As these passive technologies are reaching their efficiency limits, it is necessary to turn our interest to active technologies. Model predictive control strategies have the potential to reduce the energy consumption of heating, cooling, ventilation and air conditioning as well as domestic hot water production systems. One of the challenges towards their application in buildings is the requirement to predict parameters that are influenced by occupants' behavior that appears to be stochastic. In this context, this thesis focuses on evaluating data-based methods to estimate the predictability of domestic hot water and electricity consumption profiles in a residential building. The impact of a varying predictability on the performance is evaluated by implementing these forecasting models in model predictive controllers applied to domestic hot water production systems. First, the predictability of domestic hot water consumption profiles is evaluated from profiles measured in a 40-unit case-study residential building. More specifically, neural networks are trained to predict this consumption for systems of varying size ranging between one and 100 units. The level of predictability is identified as proportional to the number of units and shows high variability for single-family systems, starting at very low and reaching high levels (i.e., coefficient of determination from 8 to 92% with a mean of 58%). Results show that accurately predicting consumption peaks is a challenge and often results in underestimating their amplitude when a low predictability is observed. As the decisions of model predictive controllers are based on predictions, a low predictability could impact their energy-saving performance and ability to respect the constraints of domestic hot water production systems. Thus, the impact of the level of predictability of hot water consumption profiles on the performance of model predictive controllers is estimated. The performance of a theoretical model predictive controller relying on perfectly accurate predictions are compared with that of a controller using imperfect predictions produced by the previously trained neural networks. In single-family systems, the main impact of imperfect predictions on the performance is more violations of the storage temperature constraint due to the inability to act sufficiently in advance in preparation of underestimated future hot water consumption peaks. Nonetheless, comparing with a traditional controller, energy savings from 4 to 8% were obtained with the predictive controller relying on imperfect forecasts. By predicting energy-peak periods, the predictive controllers have the ability to reduce peak energy consumption by moving parts of the energy consumption to off-peak periods. In this context, many data-based prediction models are trained to predict the plug load and lighting electricity consumption of single-family residential units over horizons of 10 minutes to 24 hours. Gradient-boosted regression trees are identified as the method providing the highest prediction quality. A high variability is observed for the level of predictability between residential units, which could affect the controllers' ability to reduce electricity consumption peaks in some cases. Finally, a last chapter explores the potential of a model predictive controller using the prediction models of the domestic hot water demand and of the electricity consumption to forecast electricity-peak periods. As the electricity consumption was demonstrated as challenging to predict in many contexts, the impact of forecasting inaccuracies on the performance of controllers is even more displayed here. The results show that the model predictive controllers with perfect or imperfect predictions are more differentiated, with the first managing to reduce more the electricity-consumption peaks of the water heater by accurately predicting peak periods along with the corresponding domestic hot water demand. Compared with a traditional controller, peak-period energy savings ranging from 10 to 70% (mean of 26%) were obtained with the controller relying on imperfect forecasts depending on the studied residential unit. Globally, this thesis is a major step towards future application of model predictive controllers based on machine learning in residential buildings. The results demonstrate the potential of this control strategy to reduce the energy consumption of single-family domestic hot water systems.

La prédiction de séquence comporte plusieurs applications en traitement du langage naturel, en bioinformatique, et en vision numérique. La complexité de calcul requise pour trouver la séquence optimale parmi un nombre exponentiel de possibilités limite cependant l’utilisation de tels algorithmes. Dans ce mémoire, nous proposons une approche permettant de résoudre cette recherche efficacement pour deux types de problèmes différents. Plus précisément, nous adressons le problème de pré-image en prédiction de structure nécessitant de trouver la séquence associée à une entrée arbitraire, et le problème consistant à trouver la séquence qui maximise la fonction de prédiction de plusieurs classificateurs et régresseurs à noyaux. Nous démontrons que ces deux problèmes se réduisent en un même problème combinatoire valide pour plusieurs noyaux à séquences. Pour ce problème, nous proposons une borne supérieure sur la fonction de prédiction pouvant être utilisée dans un algorithme de recherche branch and bound pour l’obtention de solutions optimales. Sur les tâches de reconnaissance de mots et de prédiction de phonèmes, l’approche proposée obtient des résultats compétitifs avec les algorithmes de prédiction de structure de l’état de l’art. De plus, la solution exacte du problème de pré-image augmente de manière significative les performances de prédiction en comparaison avec une approximation trouvée par l’heuristique la plus connue. Pour les tâches consistant à trouver la séquence maximisant la fonction de prédiction de classificateurs et régresseurs, nous montrons que des méthodes existantes peuvent être biaisées à prédire de longues séquences comportant des symboles répétitifs. Nous soulignons que ce biais est enlevé lorsque le noyau est normalisé. Finalement, nous présentons des résultats en conception de médicaments sur la découverte de composés principaux. Le code source peut être téléchargé à https://github.com/a-ro/preimage. / Sequence prediction algorithms have many applications in natural language processing, bioinformatics, and computer vision. However, the computational complexity required to find the optimal sequence among an exponential number of possibilities limits the use of such algorithms. In this thesis, we propose an approach to solve this search efficiently for two types of sequence prediction problems. More precisely, we address the pre-image problem encountered in structured output prediction, which consists of finding the sequence associated with an arbitrary input, and the problem of finding a sequence maximizing the prediction function of various kernel-based classifiers and regressors. We demonstrate that these problems reduce to a common combinatorial problem valid for many sequence kernels. For this problem, we propose an upper bound on the prediction function which has low computational complexity and which can be used in a branch and bound search algorithm to obtain optimal solutions. On the practical tasks of optical word recognition and grapheme-to-phoneme prediction, the proposed approach is shown to be competitive with state-of-the-art structured prediction algorithms. Moreover, the exact solution of the pre-image problem is shown to significantly improve the prediction accuracy in comparison with an approximation found by the best known heuristic. On the task of finding a sequence maximizing the prediction function of kernelbased classifiers and regressors, we highlight that existing methods can be biased toward long sequences that contain many repeated symbols. We demonstrate that this bias is removed when using normalized kernels. Finally, we present results for the discovery of lead compounds in drug discovery. The source code can be found at https://github.com/a-ro/preimage.

Suite à l'échec du behaviorisme, une nouvelle forme d'explication des états mentaux qui pouvait tenir compte du caractère subjectif de l'expérience phénoménale devenait nécessaire. Les progrès en mathématique et en logique symbolique ont permis, en grande partie grâce aux travaux du britannique Alan Turing vers la fin des années 30, de développer un modèle du cerveau auquel participe ce que l'on nomme l' « intelligence artificielle ». Une pléiade de sciences se sont alors regroupées autour de cette nouvelle discipline pour former la « science cognitive ». De cette union est née la théorie computationnelle de l'esprit ou« cognitivisme ». D'après cette théorie, le cerveau serait un ordinateur digital qui traite de l'information, et l'esprit ne serait qu'un programme informatique. Dans cette perspective, la relation corps-esprit correspond à l'approche « fonctionnaliste » et fait abstraction de la nature du cerveau et de sa neurophysiologie. Tout comme des ordinateurs aux architectures différentes arrivent à produire les mêmes résultats, on suppose que deux systèmes ayant des états fonctionnels isomorphes se trouvent nécessairement dans des états cognitifs identiques. Ainsi, le cerveau et l'ordinateur seraient deux systèmes physiques de calculs sur des représentations symboliques. Cependant, l'ordinateur digital et l'intelligence artificielle ne fournissent qu'un modèle qu'il ne faut pas confondre avec la réalité de notre spécificité. Ni la conscience ni l'intentionnalité ne peuvent être expliquées par une simple métaphore et, en ce sens, le cerveau n'a rien d'un ordinateur digital.

Aujourd’hui, de plus en plus de cours se donnent en ligne. En revanche, ceux-ci restent marginaux et très peu d’entre eux permettent d’obtenir des certifications valables et reconnues. Or l’accès à ces contenus est une ressource incroyable, et de plus en plus d’efforts sont mis dans la numérisation de l’apprentissage. Le but de cette maîtrise est donc d’améliorer la supervision d’examens à distance. En effet, un des points forts d’internet est l’anonymat, et attester de la réussite et des compétences d’une personne devient rapidement non trivial. De plus, les seuls outils couramment disponibles à disposition pour la surveillance sont la caméra et le clavier/souris de l’utilisateur, ce qui donne une information très clairsemée. Pour ce faire, les techniques les plus à jour de tracking, reconnaissance, génération de données, et analyse ont été utilisées afin d’amener de l’automatisation et de «l’intelligence» dans la surveillance. Notons que même pour un humain cette tâche est difficile et décider ou non d’un comportement anormal n’est pas déterministe. Le but est donc d’apporter une aide, un support, pour pouvoir sécuriser les examens à grande échelle. La méthode décrite se base sur les avancées en intelligence artificielle, notamment des réseaux génératifs adversaires (generative adversials networks GANs), de l’apprentissage par renforcement (reinforcement learning RL), des réseaux récurrents (recurrent neurals networks RNN) et de réseaux convolutionels (Convolutional neural networks CNN). / Nowadays, more and more courses are available online. On the other hand, they remain marginal and few of them have given valid and recognized certifications. Yet, those lessons have incredible content, and are an amazing resource. Furthermore, more and more, efforts are made toward numerising learning. The goal of this thesis is to improve online exam monitoring. Indeed, one of the strong points of the internet is anonymity, and attesting the success and skills of someone quickly becomes non-trivial. Moreover, the only commonly accessible tools available for surveillance are the camera, and the user’s keyboard / mouse which gives very sparse information. To do so, we used the most up-to-date tracking, recognition, generation and analysis techniques to introduce automation and «intelligence» in the surveillance. Note that even for a human this task is difficult and that to decide if a behavior is abnormal is not deterministic. The goal is therefore to provide help and support to bring large-scale examination monitoring to a safer level. The method described is based on the advances in artificial intelligence, particularly generative adversials network (GANs), reinforcement learning (RL) convolution neural networks (CNN) and recurrent neural networks (RNN).