The performance of deep neural networks and estimations of their robustness has been rapidly developed. In contrast, despite the broad usage of deep convolutional neural networks (CNNs)[1] for medical image segmentation, research on their uncertainty estimations is being far less conducted. Deep learning tools in their nature do not capture the model uncertainty and in this sense, the output of deep neural networks needs to be critically analysed with quantitative measurements, especially for applications in the medical domain. In this work, epistemic uncertainty, which is one of the main types of uncertainties (epistemic and aleatoric) is analyzed and measured for volumetric medical image segmentation tasks (and possibly more diverse methods for 2D images) at pixel level and structure level. The deep neural network employed as a baseline is 3D U-Net architecture[2], which shares the essential structural concept with U-Net architecture[3], and various techniques are applied to quantify the uncertainty and obtain statistically meaningful results, including test-time data augmentation and deep ensembles. The distribution of the pixel-wise predictions is estimated by Monte Carlo simulations and the entropy is computed to quantify and visualize how uncertain (or certain) the predictions of each pixel are. During the estimation, given the increased network training time in volumetric image segmentation, training an ensemble of networks is extremely time-consuming and thus the focus is on data augmentation and test-time dropouts. The desired outcome is to reduce the computational costs of measuring the uncertainty of the model predictions while maintaining the same level of estimation performance and to increase the reliability of the uncertainty estimation map compared to the conventional methods. The proposed techniques are evaluated on publicly available volumetric image datasets, Combined Healthy Abdominal Organ Segmentation (CHAOS, a set of 3D in-vivo images) from Grand Challenge (https://chaos.grand-challenge.org/). Experiments with the liver segmentation task in 3D Computed Tomography (CT) show the relationship between the prediction accuracy and the uncertainty map obtained by the proposed techniques. / Prestandan hos djupa neurala nätverk och estimeringar av deras robusthet har utvecklats snabbt. Däremot, trots den breda användningen av djupa konvolutionella neurala nätverk (CNN) för medicinsk bildsegmentering, utförs mindre forskning om deras osäkerhetsuppskattningar. Verktyg för djupinlärning fångar inte modellosäkerheten och därför måste utdata från djupa neurala nätverk analyseras kritiskt med kvantitativa mätningar, särskilt för tillämpningar inom den medicinska domänen. I detta arbete analyseras och mäts epistemisk osäkerhet, som är en av huvudtyperna av osäkerheter (epistemisk och aleatorisk) för volymetriska medicinska bildsegmenteringsuppgifter (och möjligen fler olika metoder för 2D-bilder) på pixelnivå och strukturnivå. Det djupa neurala nätverket som används som referens är en 3D U-Net-arkitektur [2] och olika tekniker används för att kvantifiera osäkerheten och erhålla statistiskt meningsfulla resultat, inklusive testtidsdata-augmentering och djupa ensembler. Fördelningen av de pixelvisa förutsägelserna uppskattas av Monte Carlo-simuleringar och entropin beräknas för att kvantifiera och visualisera hur osäkra (eller säkra) förutsägelserna för varje pixel är. Under uppskattningen, med tanke på den ökade nätverksträningstiden i volymetrisk bildsegmentering, är träning av en ensemble av nätverk extremt tidskrävande och därför ligger fokus på dataaugmentering och test-time dropouts. Det önskade resultatet är att minska beräkningskostnaderna för att mäta osäkerheten i modellförutsägelserna samtidigt som man bibehåller samma nivå av estimeringsprestanda och ökar tillförlitligheten för kartan för osäkerhetsuppskattning jämfört med de konventionella metoderna. De föreslagna teknikerna kommer att utvärderas på allmänt tillgängliga volymetriska bilduppsättningar, Combined Healthy Abdominal Organ Segmentation (CHAOS, en uppsättning 3D in-vivo-bilder) från Grand Challenge (https://chaos.grand-challenge.org/). Experiment med segmenteringsuppgiften för lever i 3D Computed Tomography (CT) vissambandet mellan prediktionsnoggrannheten och osäkerhetskartan som erhålls med de föreslagna teknikerna.

This thesis is a cooperation with Knowit, Östrand \& Hansen, and Orkla. It aimed to explore the application of Machine Learning and Deep Learning models with Conformal Prediction for a predictive maintenance situation at Orkla. Predictive maintenance is essential in numerous industrial manufacturing scenarios. It can help to reduce machine downtime, improve equipment reliability, and save unnecessary costs.  In this thesis, various Machine Learning and Deep Learning models, including Decision Tree, Random Forest, Support Vector Regression, Gradient Boosting, and Long short-term memory, are applied to a real-world predictive maintenance dataset. The Orkla dataset was originally planned to use in this thesis project. However, due to some challenges met and time limitations, one NASA C-MAPSS dataset with a similar data structure was chosen to study how Machine Learning models could be applied to predict the remaining useful lifetime (RUL) in manufacturing. Besides, conformal prediction, a recently developed framework to measure the prediction uncertainty of Machine Learning models, is also integrated into the models for more reliable RUL prediction.  The thesis project results show that both the Machine Learning and Deep Learning models with conformal prediction could predict RUL closer to the true RUL while LSTM outperforms the Machine Learning models. Also, the conformal prediction intervals provide informative and reliable information about the uncertainty of the predictions, which can help inform personnel at factories in advance to take necessary maintenance actions.  Overall, this thesis demonstrates the effectiveness of utilizing machine learning and Deep Learning models with Conformal Prediction for predictive maintenance situations. Moreover, based on the modeling results of the NASA dataset, some insights are discussed on how to transfer these experiences into Orkla data for RUL prediction in the future.

La focus de cette thèse de maîtrise est l’analyse de l’étalonnage de l’incertitude pour la lo- calisation et la cartographie simultanées (SLAM) en utilisant des modèles de mesure basés sur les réseaux de neurones. SLAM sont un problème fondamental en robotique et en vision par ordinateur, avec de nombreuses applications allant des voitures autonomes aux réalités augmentées. Au cœur de SLAM, il s’agit d’estimer la pose (c’est-à-dire la position et l’orien- tation) d’un robot ou d’une caméra lorsqu’elle se déplace dans un environnement inconnu et de construire simultanément une carte de l’environnement environnant. Le SLAM visuel, qui utilise des images en entrée, est un cadre de SLAM couramment utilisé. Cependant, les méthodes traditionnelles de SLAM visuel sont basées sur des caractéristiques fabriquées à la main et peuvent être vulnérables à des défis tels que la mauvaise luminosité et l’occultation. L’apprentissage profond est devenu une approche plus évolutive et robuste, avec les réseaux de neurones convolutionnels (CNN) devenant le système de perception de facto en robotique. Pour intégrer les méthodes basées sur les CNN aux systèmes de SLAM, il est nécessaire d’estimer l’incertitude ou le bruit dans les mesures de perception. L’apprentissage profond bayésien a fourni diverses méthodes pour estimer l’incertitude dans les réseaux de neurones, notamment les ensembles, la distribution sur les paramètres du réseau et l’ajout de têtes de prédiction pour les paramètres de distribution de la sortie. Cependant, il est également important de s’assurer que ces estimations d’incertitude sont bien étalonnées, c’est-à-dire qu’elles reflètent fidèlement l’erreur de prédiction. Dans cette thèse de maîtrise, nous abordons ce défi en développant un système de SLAM qui intègre un réseau de neurones en tant que modèle de mesure et des estimations d’in- certitude étalonnées. Nous montrons que ce système fonctionne mieux que les approches qui utilisent la méthode traditionnelle d’estimation de l’incertitude, où les estimations de l’incertitude sont simplement considérées comme des hyperparamètres qui sont réglés ma- nuellement. Nos résultats démontrent l’importance de tenir compte de manière précise de l’incertitude dans le problème de SLAM, en particulier lors de l’utilisation d’un réseau de neur. / The focus of this Masters thesis is the analysis of uncertainty calibration for Simultaneous Localization and Mapping (SLAM) using neural network-based measurement models. SLAM is a fundamental problem in robotics and computer vision, with numerous applications rang- ing from self-driving cars to augmented reality. At its core, SLAM involves estimating the pose (i.e., position and orientation) of a robot or camera as it moves through an unknown environment and constructing a map of the surrounding environment simultaneously. Vi- sual SLAM, which uses images as input, is a commonly used SLAM framework. However, traditional Visual SLAM methods rely on handcrafted features and can be vulnerable to challenges such as poor lighting and occlusion. Deep learning has emerged as a more scal- able and robust approach, with Convolutional Neural Networks (CNNs) becoming the de facto perception system in robotics. To integrate CNN-based methods with SLAM systems, it is necessary to estimate the uncertainty or noise in the perception measurements. Bayesian deep learning has provided various methods for estimating uncertainty in neural networks, including ensembles, distribu- tions over network parameters, and adding variance heads for direct uncertainty prediction. However, it is also essential to ensure that these uncertainty estimates are well-calibrated, i.e they accurately reflect the error in the prediction. In this Master’s thesis, we address this challenge by developing a system for SLAM that incorporates a neural network as the measurement model and calibrated uncertainty esti- mates. We show that this system performs better than the approaches which uses traditional uncertainty estimation method, where uncertainty estimates are just considered hyperpa- rameters which are tuned manually. Our results demonstrate the importance of accurately accounting for uncertainty in the SLAM problem, particularly when using a neural network as the measurement model, in order to achieve reliable and robust localization and mapping.

Chromosome based genetic diagnostics, the detection of specific chromosomes, plays an increasingly important role in medicine as the molecular basis of hu- man disease is defined. The current diagnostic process is performed mainly by karyotyping specialists. They first put chromosomes in pairs and generate an image listing all the chromosome pairs in order. This process is called kary- otyping, and the generated image is called karyogram. Then they analyze the images based on the shapes, size, and relationships of different image segments and then make diagnostic decisions. Manual inspection is time-consuming, labor-intensive, and error-prone.This thesis investigates supervised methods for genetic diagnostics on karyo- grams. Mainly, the theory targets abnormality detection and gives the confi- dence of the result in the chromosome domain. This thesis aims to divide chromosome pictures into normal and abnormal categories and give the con- fidence level. The main contributions of this thesis are (1) an empirical study of chromosome and karyotyping; (2) appropriate data preprocessing; (3) neu- ral networks building by using transfer learning; (4) experiments on different systems and conditions and comparison of them; (5) a right choice for our requirement and a way to improve the model; (6) a method to calculate the confidence level of the result by uncertainty estimation.Empirical research shows that the karyogram is ordered as a whole, so preprocessing such as rotation and folding is not appropriate. It is more rea- sonable to choose noise or blur. In the experiment, two neural networks based on VGG16 and InceptionV3 were established using transfer learning and com- pared their effects under different conditions. We hope to minimize the error of assuming normal cases because we cannot accept that abnormal chromo- somes are predicted as normal cases. This thesis describes how to use Monte Carlo Dropout to do uncertainty estimation like a non-Bayesian model[1]. / Kromosombaserad genetisk diagnostik, detektering av specifika kromosomer, kommer att spela en allt viktigare roll inom medicin eftersom den molekylära grunden för mänsklig sjukdom definieras. Den nuvarande diagnostiska pro- cessen utförs huvudsakligen av specialister på karyotypning. De sätter först kromosomer i par och genererar en bild som listar alla kromosompar i ord- ning. Denna process kallas karyotypning, och den genererade bilden kallas karyogram. Därefter analyserar de bilderna baserat på former, storlek och för- hållanden för olika bildsegment och fattar sedan diagnostiska beslut.Denna avhandling undersöker övervakade metoder för genetisk diagnostik på karyogram. Huvudsakligen riktar teorin sig mot onormal detektion och ger förtroendet för resultatet i kromosomdomänen. Manuell inspektion är tidskrä- vande, arbetskrävande och felbenägen. Denna uppsats syftar till att dela in kro- mosombilder i normala och onormala kategorier och ge konfidensnivån. Dess huvudsakliga bidrag är (1) en empirisk studie av kromosom och karyotyp- ning; (2) lämplig förbehandling av data; (3) Neurala nätverk byggs med hjälp av transfer learning; (4) experiment på olika system och förhållanden och jäm- förelse av dem; (5) ett rätt val för vårt krav och ett sätt att förbättra modellen;    en metod för att beräkna resultatets konfidensnivå genom osäkerhetsupp- skattning.    Empirisk forskning visar att karyogrammet är ordnat som en helhet, så förbehandling som rotation och vikning är inte lämpligt. Det är rimligare att välja brus, oskärpa etc. I experimentet upprättades två neurala nätverk base- rade på VGG16 och InceptionV3 med hjälp av transfer learning och jämförde deras effekter under olika förhållanden. När vi väljer utvärderingsindikatorer, eftersom vi inte kan acceptera att onormala kromosomer bedöms förväntas, hoppas vi att minimera felet att anta som vanligt. Denna avhandling beskriver hur man använder Monte Carlo Dropout för att göra osäkerhetsberäkningar som en icke-Bayesisk modell [1].

Models are important tools for understanding the hydrological processes that govern water transport in the landscape and for prediction at times and places where no observations are available. The degree of trust placed on models, however, should not exceed the quality of the data they are fed with. The overall aim of this thesis was to tune the modeling process to account for the uncertainty in the data, by identifying robust parameter values using methods from computational geometry. The methods were developed and tested on data from the Choluteca River basin in Honduras. Quality control of precipitation and discharge data resulted in a rejection of 22% percent of daily raingage data and the complete removal of one out of the seven discharge stations analyzed. The raingage network was not found sufficient to capture the spatial and temporal variability of precipitation in the Choluteca River basin. The temporal variability of discharge was evaluated through a Monte Carlo assessment of the rating-equation parameter values over a moving time window of stage-discharge measurements. Al hydrometric stations showed considerable temporal variability in the stage-discharge relationship, which was largest for low flows, albeit with no common trend. The problem with limited data quality was addressed by identifying robust model parameter values within the set of well-performing (behavioral) parameter-value vectors with computational-geometry methods. The hypothesis that geometrically deep parameter-value vectors within the behavioral set were hydrologically robust was tested, and verified, using two depth functions. Deep parameter-value vectors tended to perform better than shallow ones, were less sensitive to small changes in their values, and were better suited to temporal transfer. Depth functions rank multidimensional data. Methods to visualize the multivariate distribution of behavioral parameters based on the ranked values were developed. It was shown that, by projecting along a common dimension, the multivariate distribution of behavioral parameters for models of varying complexity could be compared using the proposed visualization tools. This has a potential to aid in the selection of an adequate model structure considering the uncertainty in the data. These methods allowed to quantify observational uncertainties. Geometric methods have only recently begun to be used in hydrology. It was shown that they can be used to identify robust parameter values, and some of their potential uses were highlighted. / Modeller är viktiga verktyg för att förstå de hydrologiska processer som bestämmer vattnets transport i landskapet och för prognoser för tider och platser där det saknas mätdata. Graden av tillit till modeller bör emellertid inte överstiga kvaliteten på de data som de matas med. Det övergripande syftet med denna avhandling var att anpassa modelleringsprocessen så att den tar hänsyn till osäkerheten i data och identifierar robusta parametervärden med hjälp av metoder från beräkningsgeometrin. Metoderna var utvecklade och testades på data från Cholutecaflodens avrinningsområde i Honduras. Kvalitetskontrollen i nederbörds- och vattenföringsdata resulterade i att 22 % av de dagliga nederbördsobservationerna måste kasseras liksom alla data från en av sju analyserade vattenföringsstationer. Observationsnätet för nederbörd befanns otillräckligt för att fånga upp den rumsliga och tidsmässiga variabiliteten i den övre delen av Cholutecaflodens avrinningsområde. Vattenföringens tidsvariation utvärderades med en Monte Carlo-skattning av värdet på parametrarna i avbördningskurvan i ett rörligt tidsfönster av vattenföringsmätningar. Alla vattenföringsstationer uppvisade stor tidsvariation i avbördningskurvan som var störst för låga flöden, dock inte med någon gemensam trend. Problemet med den måttliga datakvaliteten bedömdes med hjälp av robusta modellparametervärden som identifierades med hjälp av beräkningsgeometriska metoder. Hypotesen att djupa parametervärdesuppsättningar var robusta testades och verifierades genom två djupfunktioner. Geometriskt djupa parametervärdesuppsättningar verkade ge bättre hydrologiska resultat än ytliga, var mindre känsliga för små ändringar i parametervärden och var bättre lämpade för förflyttning i tiden. Metoder utvecklades för att visualisera multivariata fördelningar av välpresterande parametrar baserade på de rangordnade värdena. Genom att projicera längs en gemensam dimension, kunde multivariata fördelningar av välpresterande parametrar hos modeller med varierande komplexitet jämföras med hjälp av det föreslagna visualiseringsverktyget. Det har alltså potentialen att bistå vid valet av en adekvat modellstruktur som tar hänsyn till osäkerheten i data. Dessa metoder möjliggjorde kvantifiering av observationsosäkerheter. Geometriska metoder har helt nyligen börjat användas inom hydrologin. I studien demonstrerades att de kan användas för att identifiera robusta parametervärdesuppsättningar och några av metodernas potentiella användningsområden belystes.

La détermination des propriétés physiques de l’eau pure, notamment la pression de vapeur saturante en fonction de la température, est un enjeu majeur en humidité et identifié comme tel par le Comité Consultatif de Thermométrie (CCT-WG6) sous-groupe Humidité du Comité Technique de Température (TC-T) afin d’améliorer les incertitudes des références nationales en humidité. A cette fin, le LNE-CETIAT et le LNE-Cnam ont développé conjointement un dispositif expérimental permettant d’accéder au couple température / pression de vapeur saturante de l’eau pure. Le principe est basé sur une mesure statique de la pression et de la température dans une cellule d’équilibre associée à un calorimètre quasi-adiabatique. La gamme de température d’équilibre couverte s’étend de 193,15 K à 373,15 K, correspondant à une pression de vapeur saturante allant de 0,06 Pa à 105 Pa.Ce travail présente la description, la réalisation et la caractérisation métrologique de ce nouveau dispositif expérimentale. Les résultats des mesures expérimentales sont comparés avec les travaux théoriques et expérimentaux les plus récents. Le budget d'incertitude finale prend en compte la contribution de la mesure de pression, de la mesure de température et des effets parasites telles que la transpiration thermique et la pression aérostatique. Grace aux différentes solutions mises en œuvre, la contribution des mesures de température dans le bilan d’incertitude globale est réduite. La part prépondérante reste essentiellement associée à la mesure de pression. / The determination of the physical properties of pure water, especially the vapor-pressure curve, is one of the major issues identified by the Consultative Committee for Thermometry (CCT) of the technical committee in thermometry sub-field hygrometry to improve the accuracy of the national references in humidity.In order to achieve this objective, the LNE-CETIAT and the LNE-Cnam have jointly built a facility dedicated to the measurement of the saturation vapor pressure and temperature of pure water. The principle is based on a static measurement of the pressure and the temperature of pure water in a closed, temperature-controlled thermostat, conceived like a quasi-adiabatic calorimeter. The explored temperature range lies between 193,15 K and 373,15 K, and the pressure range between 0,06 Pa and 105 Pa.This work presents a full description of this facility and the preliminary results obtained for its characterization. The obtained results have been compared with available literature data. The final uncertainty budget took into account several components: pressure measurements, temperature measurements and environmental error sources such as thermal transpiration and hydrostatic pressure correction. Thanks to the employment of several technical solutions, the thermal contribution to the overall uncertainty budget is reduced, and the remaining major part is mainly due to pressure measurements.

Des mesures de confiance calibrées et fiables sont un prérequis pour la plupart des systèmes de perception robotique car elles sont nécessaires aux modules de fusion de capteurs et de planification qui interviennent plus en aval. Cela est particulièrement vrai dans le cas d’applications où la sécurité est essentielle, comme les voitures à conduite autonome. Dans le contexte de l’apprentissage profond, l’incertitude prédictive est classée en incertitude épistémique et incertitude aléatoire. Il existe également une incertitude distributionnelle associée aux données hors distribution. L’incertitude aléatoire représente l’ambiguïté inhérente aux données d’entrée et est généralement irréductible par nature. Plusieurs méthodes existent pour estimer cette incertitude au moyen de structures de réseau modifiées ou de fonctions de perte. Cependant, en général, ces méthodes manquent de calibration, ce qui signifie que les incertitudes estimées ne représentent pas fidèlement l’incertitude des données empiriques. Les approches actuelles pour calibrer l’incertitude aléatoire nécessitent soit un "ensemble de données de calibration", soit de modifier les paramètres du modèle après l’apprentissage. De plus, de nombreuses approches ajoutent des opérations supplémentaires lors de l’inférence. Pour pallier à ces problèmes, nous proposons une méthode simple et efficace d’entraînement d’un régresseur neuronal calibré, conçue à partir des premiers principes de la calibration. Notre idée maîtresse est que la calibration ne peut être réalisée qu’en imposant des contraintes sur plusieurs exemples, comme ceux d’un mini-batch, contrairement aux approches existantes qui n’imposent des contraintes que sur la base d’un échantillon. En obligeant la distribution des sorties du régresseur neuronal (la distribution de la proposition) à ressembler à unedistribution cible en minimisant une divergence f , nous obtenons des modèles nettement mieuxcalibrés par rapport aux approches précédentes. Notre approche, f -Cal, est simple à mettre en œuvre ou à ajouter aux modèles existants et surpasse les méthodes de calibration existantes dansles tâches réelles à grande échelle de détection d’objets et d’estimation de la profondeur. f -Cal peut être mise en œuvre en 10-15 lignes de code PyTorch et peut être intégrée à n’importe quel régresseur neuronal probabiliste, de façon peu invasive. Nous explorons également l’estimation de l’incertitude distributionnelle pour la détection d’objets, et employons des méthodes conçues pour les systèmes de classification. Nous établissons un problème d’arrière-plan hors distribution qui entrave l’applicabilité des méthodes d’incertitude distributionnelle dans la détection d’objets. / Calibrated and reliable confidence measures are a prerequisite for most robotics perception systems since they are needed by sensor fusion and planning components downstream. This is particularly true in the case of safety-critical applications such as self-driving cars. In the context of deep learning, the sources of predictive uncertainty are categorized into epistemic and aleatoric uncertainty. There is also distributional uncertainty associated with out of distribution data. Epistemic uncertainty, also known as knowledge uncertainty, arises because of noise in the model structure and parameters, and can be reduced with more labeled data. Aleatoric uncertainty represents the inherent ambiguity in the input data and is generally irreducible in nature. Several methods exist for estimating aleatoric uncertainty through modified network structures or loss functions. However, in general, these methods lack calibration, meaning that the estimated uncertainties do not represent the empirical data uncertainty accurately. Current approaches to calibrate aleatoric uncertainty either require a held out calibration dataset or to modify the model parameters post-training. Moreover, many approaches add extra computation during inference time. To alleviate these issues, this thesis proposes a simple and effective method for training a calibrated neural regressor, designed from the first principles of calibration. Our key insight is that calibration can be achieved by imposing constraints across multiple examples, such as those in a mini-batch, as opposed to existing approaches that only impose constraints on a per-sample basis. By enforcing the distribution of outputs of the neural regressor (the proposal distribution) to resemble a target distribution by minimizing an f-divergence, we obtain significantly better-calibrated models compared to prior approaches. Our approach, f-Cal, is simple to implement or add to existing models and outperforms existing calibration methods on the large-scale real-world tasks of object detection and depth estimation. f-Cal can be implemented in 10-15 lines of PyTorch code, and can be integrated with any probabilistic neural regressor in a minimally invasive way. This thesis also explores the estimation of distributional uncertainty for object detection, and employ methods designed for classification setups. In particular, we attempt to detect out of distribution (OOD) samples, examples which are not part of training data distribution. I establish a background-OOD problem which hampers applicability of distributional uncertainty methods in object detection specifically.

L’appareil de radiochirurgie CyberKnife performe des traitements avancés de radiothérapie qui offrent des avantages nets pour certains types de cancer. Or, cet appareil produit uniquement des petits faisceaux circulaires ce qui complexifie les procédures de dosimétrie en milieu clinique. En effet, en conditions de petits champs, les diverses perturbations au niveau du détecteur peuvent être très grandes. Ainsi, l’utilisation de la méthode Monte Carlo est nécessaire lors de l’étalonnage et la caractérisation de faisceaux. Ces processus, lors desquels des valeurs de dose de référence et relative sont mesurées et entrées dans les systèmes de planification de traitement, assurent l’efficacité des traitements ainsi que la sécurité des patients. Cette thèse porte sur la modélisation Monte Carlo du CyberKnife M6 et étudie diverses applications à la dosimétrie de petits champs de radiothérapie. En premier lieu, une nouvelle méthode permettant la correction de la dépendance au débit de dose des diodes au silicium est proposée. Cette dernière est validée puis appliquée à des mesures relatives effectuées au CyberKnife du Centre hospitalier de l’Université de Montréal (CHUM). Les résultats illustrent la correction de l’erreur systématique induite dans les mesures due à la dépendance au débit de dose de la diode considérée. La méthode proposée fournit alors une solution efficace à cette problématique. En second lieu, une méthode pour l’optimisation des paramètres sources requis en entrée lors de la modélisation Monte Carlo de faisceaux de radiothérapie est introduite. Cette dernière est basée sur une approche probabiliste portant sur la comparaison de mesures et de simulations pour divers détecteurs, et permet la détermination de l’énergie du faisceau d’électrons incident sur la cible d’un appareil, ainsi que de la largeur à mi-hauteur de sa distribution radiale. La méthode proposée, qui est appliquée au CyberKnife du CHUM, fournit une nouvelle approche permettant l’optimisation d’un modèle Monte Carlo d'un faisceau ainsi que l’estimation des incertitudes sur ses paramètres sources. En troisième lieu, le modèle de faisceau du CyberKnife développé est utilisé afin d’estimer l’impact des incertitudes des paramètres sources sur diverses fonctions dosimétriques couramment utilisées en milieu clinique, ainsi que sur des distributions de dose obtenues par simulation de plans de traitement. Les résultats illustrent l’augmentation de l’impact des incertitudes du modèle de faisceau avec la réduction de la taille de champ, et fournissent une nouvelle perspective sur la précision de calcul atteignable pour ce type de calcul de dose Monte Carlo en petits champs. En quatrième lieu, les protocoles de dosimétrie TG-51 (version adaptée du manufacturier) et TRS-483 sont respectivement appliqués et comparés pour l’étalonnage du CyberKnife M6 se trouvant au CHUM. Il est observé que le TRS-483 est cohérent avec le TG-51. Des facteurs de correction de la qualité et corrigeant pour les effets de moyenne sur le volume propres au CyberKnife du CHUM sont estimés par simulations Monte Carlo pour une chambre à ionisation Exradin A12. Les résultats illustrent que la valeur générique fournie dans le TRS-483 pourrait être surestimée en comparaison à notre modèle de CyberKnife et que cette surestimation pourrait être due à la composante de moyenne sur le volume. / The CyberKnife radiosurgery system performs advanced radiotherapy treatments that offer clear benefits for certain types of cancer. However, this device produces small circular fields only, which complicates dosimetry procedures in a clinical environment. Indeed, under small field conditions, the various perturbations at the detector level can become very large. Thus, the use of the Monte Carlo method is necessary when calibrating and characterizing beams. Such processes, during which reference and relative dose values are measured and entered into treatment planning systems, ensure the validity of treatments as well as patient safety. This thesis focuses on the Monte Carlo modeling of the CyberKnife M6 and studies various applications to small photon fields dosimetry. Firstly, a new method for the correction of the dose rate dependency of silicon diode detectors is proposed. The latter is validated and applied to relative measurements performed at the CyberKnife of the Centre hospitalier de l’Université de Montréal (CHUM). Results illustrate the correction of the systematic error induced in the measurements due to the dose rate dependency of the considered diode. The proposed method provides an efficient solution to this issue. Secondly, a method for the optimization of the source parameters required as input during Monte Carlo beam modeling is introduced. The latter is based on a probabilistic approach and on the comparison of measurements and simulations for various detectors. The method allows the determination of the energy of the electron beam incident on the target of a linac, as well as the full width at half-maximum of its radial distribution. The proposed method, which is applied to the CyberKnife unit of the CHUM, provides a new approach for the optimization of a Monte Carlo beam model and a way to estimate the uncertainties on its source parameters. Thirdly, the developed CyberKnife beam model is used to estimate the impact of source parameter uncertainties on various dosimetric functions commonly used in the clinic environment, and on dose distributions obtained by simulation of treatment plans. Results illustrate the increase of the impact of beam modeling uncertainties with the decrease of the field size, and provide insights on the reachable calculation accuracy for this type of Monte Carlo dose calculation in small fields. Lastly, the TG-51 (manufacturer’s adapted version) and TRS-483 dosimetry protocols are respectively applied and compared for the calibration of the CHUM’s CyberKnife. We observe that TRS-483 is consistent with TG-51. Beam quality and volume averaging correction factors specific to the CHUM's CyberKnife are estimated using Monte Carlo simulations for an Exradin A12 ionization chamber. Results illustrate that the generic value provided in the TRS-483 could be overestimated in comparison to our CyberKnife model and that this overestimation could be due to the volume averaging component.

L'immense potentiel des approches d'apprentissage par renforcement profond (ARP) pour la conception d'agents autonomes a été démontré à plusieurs reprises au cours de la dernière décennie. Son application à des agents physiques, tels que des robots ou des réseaux électriques automatisés, est cependant confrontée à plusieurs défis. Parmi eux, l'inefficacité de leur échantillonnage, combinée au coût et au risque d'acquérir de l'expérience dans le monde réel, peut décourager tout projet d'entraînement d'agents incarnés. Dans cette thèse, je me concentre sur l'application de l'ARP sur des agents physiques. Je propose d'abord un cadre probabiliste pour améliorer l'efficacité de l'échantillonnage dans l'ARP. Dans un premier article, je présente la pondération BIV (batch inverse-variance), une fonction de perte tenant compte de la variance du bruit des étiquettes dans la régression bruitée hétéroscédastique. La pondération BIV est un élément clé du deuxième article, où elle est combinée avec des méthodes de pointe de prédiction de l'incertitude pour les réseaux neuronaux profonds dans un pipeline bayésien pour les algorithmes d'ARP avec différences temporelles. Cette approche, nommée apprentissage par renforcement à variance inverse (IV-RL), conduit à un entraînement nettement plus rapide ainsi qu'à de meilleures performances dans les tâches de contrôle. Dans le troisième article, l'apprentissage par renforcement multi-agent (MARL) est appliqué au problème de la réponse rapide à la demande, une approche prometteuse pour gérer l'introduction de sources d'énergie renouvelables intermittentes dans les réseaux électriques. En contrôlant la coordination de plusieurs climatiseurs, les agents MARL obtiennent des performances nettement supérieures à celles des approches basées sur des règles. Ces résultats soulignent le rôle potentiel que les agents physiques entraînés par MARL pourraient jouer dans la transition énergétique et la lutte contre le réchauffement climatique. / The immense potential of deep reinforcement learning (DRL) approaches to build autonomous agents has been proven repeatedly in the last decade. Its application to embodied agents, such as robots or automated power systems, is however facing several challenges. Among them, their sample inefficiency, combined to the cost and the risk of gathering experience in the real world, can deter any idea of training embodied agents. In this thesis, I focus on the application of DRL on embodied agents. I first propose a probabilistic framework to improve sample efficiency in DRL. In the first article, I present batch inverse-variance (BIV) weighting, a loss function accounting for label noise variance in heteroscedastic noisy regression. BIV is a key element of the second article, where it is combined with state-of-the-art uncertainty prediction methods for deep neural networks in a Bayesian pipeline for temporal differences DRL algorithms. This approach, named inverse-variance reinforcement learning (IV-RL), leads to significantly faster training as well as better performance in control tasks. In the third article, multi-agent reinforcement learning (MARL) is applied to the problem of fast-timescale demand response, a promising approach to the manage the introduction of intermittent renewable energy sources in power-grids. As MARL agents control the coordination of multiple air conditioners, they achieve significantly better performance than rule-based approaches. These results underline to the potential role that DRL trained embodied agents could take in the energetic transition and the fight against global warming.

[pt] O monitoramento oficial do desmatamento na Amazônia brasileira tem dependido tradicionalmente de especialistas humanos que avaliam visualmenteas imagens de sensoriamento remoto e rotulam cada pixel individual comodesmatamento ou não desmatamento. Essa metodologia é obviamente carae demorada devido à vasta área monitorada. A razão para não utilizar métodos totalmente automáticos para a tarefa é a necessidade da maior precisãopossível nos números oficiais de desmatamento. Neste trabalho é propostauma alternativa semi-automática baseada em aprendizagem profunda, naqual uma rede neural profunda é primeiro treinada com imagens existentes e referências de anos anteriores, e empregada para realizar detecção dedesmatamento em imagens recentes. Após a inferência, a incerteza nos resultados em nível de pixel da rede é estimada e assume-se que os resultadosda classificação com baixa incerteza podem ser confiáveis. As demais regiõesde alta incerteza, que correspondem a uma pequena porcentagem da áreade teste, são então submetidas à pós-classificação, por exemplo, um procedimento de auditoria realizado visualmente por um especialista humano.Desta forma, o esforço de etiquetagem manual é bastante reduzido.Investigamos várias estratégias de estimativa de incerteza, incluindo abordagens baseadas em confiança, Monte Carlo Dropout (MCD), conjuntosprofundos e aprendizagem evidencial, e avaliamos diferentes métricas de incerteza. Além disso, conduzimos uma análise abrangente para identificar ascaracterísticas das áreas florestais que contribuem para a elevada incerteza.Ilustramos as principais conclusões da análise em 25 polígonos selecionados em quatro locais-alvo, que exemplificam causas comuns de incerteza.Os sítios-alvo estão localizados em áreas de estudo desafiadoras nos biomasbrasileiros da Amazônia e do Cerrado. Através da avaliação experimental nesses locais, demonstramos que a metodologia semi-automática proposta atinge valores impressionantes de pontuação F1 que excedem 97 por cento, aomesmo tempo que reduz a carga de trabalho de auditoria visual para apenas 3 por cento da área alvo. O código desenvolvido para este estudo está disponível emhttps://github.com/DiMorten/deforestation_uncertainty. / [en] Official monitoring of deforestation in the Brazilian Amazon has relied traditionally on human experts who visually evaluate remote sensing images and label each individual pixel as deforestation or no deforestation. That methodology is obviously costly and time-consuming due to the vast monitored area. The reason for not using fully automatic methods for the task is the need for the highest possible accuracies in the authoritative deforestation figures. In this work, a semi-automatic, deep learning-based alternative is proposed, in which a deep neural network is first trained with existing images and references from previous years, and employed to perform deforestation detection on recent images. After inference, the uncertainty in the network s pixel-level results is estimated, and it is assumed that low-uncertainty classification results can be trusted. The remaining high-uncertainty regions, which correspond to a small percentage of the test area, are then submitted to post classification, e.g., an auditing procedure carried out visually by a human specialist. In this way, the manual labeling effort is greatly reduced. We investigate various uncertainty estimation strategies, including confidence-based approaches, Monte Carlo Dropout (MCD), deep ensembles and evidential learning, and evaluate different uncertainty metrics. Furthermore, we conduct a comprehensive analysis to identify the characteristics of forest areas that contribute to high uncertainty. We illustrate the main conclusions of the analysis upon 25 selected polygons on four target sites, which exemplify common causes of uncertainty. The target sites are located in challenging study areas in the Brazilian Amazon and Cerrado biomes. Through experimental evaluation on those sites, we demonstrate that the proposed semi-automated methodology achieves impressive F1-score values which exceeds 97 percent, while reducing the visual auditing workload to just 3 percent of the target area. The current code is available at https://github.com/DiMorten/deforestation_uncertainty.