Data Ductus, a multination IT-consulting company, wants to develop an AI that monitors a logistic system and looks for errors. Once trained enough, this AI will suggest a correction and automatically right issues if they arise. This project presents how one works with machine learning problems and provides a deeper insight into how cross-validation and regularisation, among other techniques, are used to improve the performance of machine learning algorithms on the defined problem. Three techniques are tested and evaluated in our logistic system on three different machine learning algorithms, namely Naïve Bayes, Logistic Regression and Random Forest. The evaluation of the algorithms leads us to conclude that Random Forest, using cross-validated parameters, gives the best performance on our specific problems, with the other two falling behind in each tested category. It became clear to us that cross-validation is a simple, yet powerful tool for increasing the performance of machine learning algorithms. / Data Ductus, ett multinationellt IT-konsultföretag vill utveckla en AI som övervakar ett logistiksystem och uppmärksammar fel. När denna AI är tillräckligt upplärd ska den föreslå korrigering eller automatiskt korrigera problem som uppstår. Detta projekt presenterar hur man arbetar med maskininlärningsproblem och ger en djupare inblick i hur kors-validering och regularisering, bland andra tekniker, används för att förbättra prestandan av maskininlärningsalgoritmer på det definierade problemet. Dessa tekniker testas och utvärderas i vårt logistiksystem på tre olika maskininlärnings algoritmer, nämligen Naïve Bayes, Logistic Regression och Random Forest. Utvärderingen av algoritmerna leder oss till att slutsatsen är att Random Forest, som använder korsvaliderade parametrar, ger bästa prestanda på våra specifika problem, medan de andra två faller bakom i varje testad kategori. Det blev klart för oss att kors-validering är ett enkelt, men kraftfullt verktyg för att öka prestanda hos maskininlärningsalgoritmer.

Cette thèse propose une nouvelle méthode pour l'estimation non-paramétrique de densité à partir de données censurées par des régions de formes quelconques, éléments de partitions du domaine paramétrique. Ce travail a été motivé par le besoin d'estimer la distribution des paramètres d'un modèle biophysique de décompression afin d'être capable de prédire un risque d'accident. Dans ce contexte, les observations (grades de plongées) correspondent au comptage quantifié du nombre de bulles circulant dans le sang pour un ensemble de plongeurs ayant exploré différents profils de plongées (profondeur, durée), le modèle biophysique permettant de prédire le volume de gaz dégagé pour un profil de plongée donné et un plongeur de paramètres biophysiques connus. Dans un premier temps, nous mettons en évidence les limitations de l'estimation classique de densité au sens du maximum de vraisemblance non-paramétrique. Nous proposons plusieurs méthodes permettant de calculer cet estimateur et montrons qu'il présente plusieurs anomalies : en particulier, il concentre la masse de probabilité dans quelques régions seulement, ce qui le rend inadapté à la description d'une population naturelle. Nous proposons ensuite une nouvelle approche reposant à la fois sur le principe du maximum d'entropie, afin d'assurer une régularité convenable de la solution, et mettant en jeu le critère du maximum de vraisemblance, ce qui garantit une forte attache aux données. Il s'agit de rechercher la loi d'entropie maximale dont l'écart maximal aux observations (fréquences de grades observées) est fixé de façon à maximiser la vraisemblance des données. / This thesis proposes a new method for nonparametric density estimation from censored data, where the censing regions can have arbitrary shape and are elements of partitions of the parametric domain. This study has been motivated by the need for estimating the distribution of the parameters of a biophysical model of decompression, in order to be able to predict the risk of decompression sickness. In this context, the observations correspond to quantified counts of bubbles circulating in the blood of a set of divers having explored a variety of diving profiles (depth, duration); the biophysical model predicts of the gaz volume produced along a given diving profile for a diver with known biophysical parameters. In a first step, we point out the limitations of the classical nonparametric maximum-likelihood estimator. We propose several methods for its calculation and show that it suffers from several problems: in particular, it concentrates the probability mass in a few regions only, which makes it inappropriate to the description of a natural population. We then propose a new approach relying both on the maximum-entropy principle, in order to ensure a convenient regularity of the solution, and resorting to the maximum-likelihood criterion, to guarantee a good fit to the data. It consists in searching for the probability law with maximum entropy whose maximum deviation from empirical averages is set by maximizing the data likelihood. Several examples illustrate the superiority of our solution compared to the classic nonparametric maximum-likelihood estimator, in particular concerning generalisation performance.

Les matériaux piézoélectriques et ferroélectriques présentent un comportementélectromécanique couplé. Cette particularité leur a permis d’être utilisés dans de nombreusesapplications telles que les applications de capteur, actionneur, transformateur et récupérateurd’énergie. En outre, en raison de leur comportement non linéaire et dissipatif, les matériauxferroélectriques sont de plus en plus utilisés dans le domaine de l’électronique en tant quecapacité accordable, mémoire non volatile, oscillateur et filtre. La performance et la fiabilitéde ces systèmes dépendent directement des propriétés ferroélectriques et piézoélectriques dumatériau, qui nécessite par conséquent d’être caractérisé. Les propriétés piézoélectriques,ferroélectriques, ferroélastiques et diélectriques des matériaux ferroélectriques ont été le sujetde nombreuses études. Pourtant, les conditions d’essai restent difficiles à maîtriser car lespropriétés thermiques, mécaniques et électriques de ces matériaux sont fortement couplées.Dans cette thèse, un dispositif de mesure de champ de déformation a été conçu pourcaractériser le comportement piézoélectrique et ferroélectrique des céramiquesferroélectriques. Ce dispositif utilise un banc optique ainsi qu’un algorithme de Corrélationd’Images Numériques (CIN) 2D appelé CorreliRT3. Cet algorithme est basé sur une approcheglobale et réduit les erreurs de mesure de déplacement en s’appuyant sur les équationsd’équilibre de la mécanique des solides. Grâce au banc de caractérisation par CIN, il estmontré que les déformations piézoélectriques et ferroélectriques peuvent être mesurées avecune incertitude d’environ 10-5. Cette incertitude est atteinte aussi bien pour des sollicitationssimples que couplées (champ électrique et/ou contrainte mécanique). Il est aussi montré quele banc expérimental permet de vérifier les conditions d’essai en caractérisant l’hétérogénéitédes déformations lors d’un essai matériau.Dans les deux derniers chapitres, un matériau ferroélectrique est caractérisé souschamp électrique et sous contrainte mécanique. Le comportement du matériau est présenté etdiscuté dans les différentes configurations de chargement. Les propriétés matériau, telles queles coefficients piézoélectriques (d33, d31), sont extraites et étudiées en fonction du champélectrique et de la contrainte. Les résultats montrent que la CIN est capable de mesurer etcaractériser le comportement et les propriétés des matériaux ferroélectriques etpiézoélectriques. L’avantage de la CIN étant que, contrairement aux méthodes de mesureclassiques, celle-ci ne perturbe pas les conditions d’essai (mesure sans contact) et permette dedétecter la présence d’erreurs systématiques. / Piezoelectric and ferroelectric materials exhibit a coupled electromechanicalbehaviour. This property allows a use in various kinds of applications such as sensors,actuators, harvesting devices or converters. In addition, due to their non-linear and dissipativebehaviour, ferroelectric materials are increasingly used in electronic applications such astunable capacitors, non-volatile memory, oscillators and filters. The performance andreliability of such devices depend on the material electromechanical properties, whichconsequently need to be characterised. In the past decades, such characterisation was largelydeveloped and the piezoelectric, ferroelectric, ferroelastic and dielectric properties offerroelectrics were the subject of numerous studies. Yet the test conditions are difficult tocontrol due to the strong interplay between thermal, mechanical and dielectric properties.In this work, a full-field measurement apparatus has been designed to characterise thepiezoelectric and ferroelectric strain behaviour of ferroelectric ceramics. This apparatus usesan optical setup and a 2D Digital Image Correlation (DIC) algorithm named CorreliRT3. Thealgorithm is based on a global approach and reduces the displacement field errors using thebalance equations of solid mechanics. It is shown that piezoelectric and ferroelectric strainscan be measured with an uncertainty around 10-5 by using the developed setup. Thisuncertainty is reached under uncoupled or coupled loading (electric field and/or stress). It isalso shown that the experimental setup can control the test conditions by characterising thestrain heterogeneity during the test.In the two last chapters, a ferroelectric material is characterised under electric field andstress. The material behaviour is presented and discussed in the different loadingconfigurations. Material properties, such as the longitudinal and transverse piezoelectriccoefficients (d33, d31) are extracted and analysed as a function of the electric field and stress.The results show that the DIC technique is able to measure and characterise the behaviour andthe properties of ferroelectric and piezoelectric materials. The main benefits of this techniqueis that, contrary to classical measurement techniques, the measurement does not alter the testconditions. Moreover, DIC is able to detect test anomalies such as strain heterogeneities

Philosophiae Doctor - PhD / Introduced in 2010, the Dispensation Zimbabwe Program (DZP) regularised undocumented Zimbabwean immigrants in South Africa. When DZP was closed, the Zimbabwe Special Permit was introduced, which was also replaced by the Zimbabwe Exemption Permit. This thesis examines the lived experiences of Zimbabwean migrants from the time they arrived in South Africa without papers, visas, or permits. It then examines the processes of acquiring DZP papers, processes of replacing it, and how conditions on the permits reinforce a particular notion of belonging for Zimbabwean immigrants. I draw on work inspired by the anthropologist Victor Turner’s (1967) concept of liminality to show that Zimbabwean migrants had been going through various phases of uncertain legal statuses which are all liminal. Through accounts of lived experiences and biographical narratives of migrants who see themselves as ‘entrepreneurs’ in Cape Town, I consider how migrant’s experience the structural effects of documentation and having or not having ‘papers’. It starts with a state of “illegality” because of being an undocumented migrant in South Africa. It proceeds to “amnesty” from deportation following the announcement of DZP. It then proceeds to the filling of application forms for legalisation at Home Affairs. The DZP permits make them “liminal citizens” in that they got political citizenship by virtue of being documented, but at the same time, the migrants do not enjoy full citizenship status economically. There is also “legal suspension” as in the period between applications for replacement of the permit with another for example from Zimbabwe Special Permit (ZSP) to Zimbabwe Exemption Permit (ZEP). The imposition of conditions in permits that it will not be renewed or extended throws them into a condition of “temporary conditional legality”. As a result, the liminality experienced is both existential and juridical. Juridical liminality results from uncertain legal status whether the migrant is documented or not. Juridical liminality is inherent in law and immigration policy. Existential liminality is because the uncertain legal status permeates all aspects of Zimbabwean immigrants’ lives and delimits their range of action in different spheres. This includes jobs, transnational capabilities, business, family, housing, and schooling for their children. Most studies on migration do not extend their arguments beyond that permits matter as they see them as giving immediate access to social and economic rights. In this thesis, I do not only examine how a condition of being an undocumented immigrant shapes aspects of immigrants’ lives but I further examine the experiences of living with temporary visas and their impact on their lives and family. Whereas in a rite of passage, the liminal stage is temporary, Zimbabweans in South Africa are living in chronic liminality. In all phases of liminal legality, the thesis demonstrates state power through documents/visas in shaping migrant lives deepening our understanding of immigrant incorporation, exclusion, citizenship and belonging.

Computed Tomography (CT) is a non-invasive x-ray imaging method capable of reconstructing highly detailed cross-sectional interior maps of an object. CT is used in a range of medical applications such as detection of skeletal fractures, organ trauma and artery calcification. Reconstructing CT images requires the use of a forward operator, which is essentially a simulation of the scanning process. Photon-Counting CT is a rapidly developing alternative to conventional CT that promises higher spatial resolution, more accurate material separation and more robust reconstructions. A major difficulty in Photon-Counting CT is to model cross-talk between detectors. One way is to incorporate a wide point-spread function into the forward operator. Although this method works, it drastically slows down the reconstruction process.  In this thesis, we accelerate image reconstruction tasks for photon-counting CT by approximating the cross-talk component of the forward operator with a deep neural network, resulting in a learned forward operator. The learned operator reduces reconstruction error by an order of magnitude at the cost of a 20% increase in computation time, compared to ignoring cross-talk altogether. Furthermore, it generalises well to both unseen data and unseen detector settings. Our results indicate that a learned forward operator is a suitable way of approximating the forward operator in photon-counting CT. / Datortomografi (CT) är en icke-invasiv röntgenmetod som kan skapa högupplösta tvärsnittsbilder av objekt. CT används i en stor mängd tillämpningar, exempelvis vid detektion av frakturer, mjukvävnadstrauma och åderförkalkning. När man rekonstuerar tvärsnitt i CT krävs en simuleringsmodell som kallas framåtoperatorn. Fotonräknande CT är ett alternativ till konventionell CT som utlovar högre upplösning, mer precis uppdelning av material och högre robusthet i rekonstruktionerna. I fotonräknande CT är det viktigt att ta hänsyn till överhörning mellan detektorerna. Ett sätt är att inkorporera en punktspridningsfunktion i framåtoperatorn, vilket dessvärre saktar ned rekonstruktionsprocessen drastiskt.  I detta examensarbete approximerar vi överhörningseffekten mellan detektorer med ett djupt neuralt nätverk, med syfte att accelerera rekonstruktionsprocessen för fotonräknande spektral CT. Den inlärda framåtoperatorn reducerar rekonstruktionsfelet med en faktor tio på bekostnad av en 20-procentig ökning i beräkningstid, jämfört med en framåtoperator som inte modellerar överhörning. Vi visar att den inlärda framåtoperatorn generaliserar väl till data som den inte är tränad på, men även detektorinställningar den inte är van vid. Våra resultat tyder på att den inlärda framåtoperatorn är en lämplig approximationsmetod för framåtoperatorn i fotonräknande CT.

De nombreuses applications en vision par ordinateur comme le filtrage, la segmentation d'images, et la stéréovision peuvent être formulées comme des problèmes d'optimisation. Récemment les méthodes discrètes, convexes, globalement optimales ont reçu beaucoup d'attention. La méthode des "graph cuts'", très utilisée en vision par ordinateur est basée sur la résolution d'un problème de flot maximum discret, mais les solutions souffrent d'un effet de blocs,notamment en segmentation d'images. Une nouvelle formulation basée sur le problème continu est introduite dans le premier chapitre et permet d'éviter cet effet. La méthode de point interieur employée permet d'optimiser le problème plus rapidement que les méthodes existantes, et la convergence est garantie. Dans le second chapitre, la formulation proposée est efficacement étendue à la restauration d'image. Grâce à une approche du à la contrainte et à un algorithme proximal parallèle, la méthode permet de restaurer (débruiter, déflouter, fusionner) des images rapidement et préserve un meilleur contraste qu'avec la méthode de variation totale classique. Le chapitre suivant met en évidence l'existence de liens entre les méthodes de segmentation "graph-cuts'", le "randomwalker'', et les plus courts chemins avec un algorithme de segmentation par ligne de partage des eaux (LPE). Ces liens ont inspiré un nouvel algorithme de segmentation multi-labels rapide produisant une ligne de partage des eaux unique, moins sensible aux fuites que la LPE classique. Nous avons nommé cet algorithme "LPE puissance''. L'expression de la LPE sous forme d'un problème d'optimisation a ouvert la voie à de nombreuses applications possibles au delà de la segmentation d'images, par exemple dans le dernier chapitre en filtrage pour l'optimisation d'un problème non convexe, en stéréovision, et en reconstruction rapide de surfaces lisses délimitant des objets à partir de nuages de points bruités / Many computer vision applications such as image filtering, segmentation and stereovision can be formulated as optimization problems. Recently discrete, convex, globally optimal methods have received a lot of attention. Many graph-based methods suffer from metrication artefacts, segmented contours are blocky in areas where contour information is lacking. In the first part of this work, we develop a discrete yet isotropic energy minimization formulation for the continuous maximum flow problem that prevents metrication errors. This new convex formulation leads us to a provably globally optimal solution. The employed interior point method can optimize the problem faster than the existing continuous methods. The energy formulation is then adapted and extended to multi-label problems, and shows improvements over existing methods. Fast parallel proximal optimization tools have been tested and adapted for the optimization of this problem. In the second part of this work, we introduce a framework that generalizes several state-of-the-art graph-based segmentation algorithms, namely graph cuts, random walker, shortest paths, and watershed. This generalization allowed us to exhibit a new case, for which we developed a globally optimal optimization method, named "Power watershed''. Our proposed power watershed algorithm computes a unique global solution to multi labeling problems, and is very fast. We further generalize and extend the framework to applications beyond image segmentation, for example image filtering optimizing an L0 norm energy, stereovision and fast and smooth surface reconstruction from a noisy cloud of 3D points

Les equations de Maxwell se resolvent aisement lorsque le domaine d'etude est regulier, mais lorsqu'il existe des singularites geometriques (coins rentrants en 2D, coins et aretes rentrants en 3D), le champ electromagnetique est localement non borne au voisinage de ces singularites. Nous nous interessons a la resolution des equations de Maxwell dans des domaines bornes, singuliers, a l'aide de methodes d'elements finis continus. En pratique, cela permet de modeliser des instruments de telecommunication comme les guides d'onde, les filtres a stubs. Nous analysons tout d'abord le probleme quasi-electrostatique 2D, afin de maitriser la discretisation en espace. Nous presentons trois methodes de calcul (formulations augmentees mixtes) qui donnent des resultats numeriques tres convaincants : - Une version epuree de la methode du complement singulier (conditions aux limites essentielles). - La methode de regularisation a poids : on introduit un poids qui depend des distances aux singularites geometriques (conditions aux limites essentielles). - La methode avec conditions aux limites naturelles. Nous etudions ensuite la generalisation de ces methodes aux domaines 3D. Nous detaillons la resolution des equations de Maxwell instationnaires en domaines singuliers 3D par la methode de regularisation a poids, et nous donnons des resultats numeriques inedits.

La disponibilité de quantités énormes de données a changé le rôle de la physique par rapport aux autres disciplines. Dans cette thèse, je vais explorer les innovations introduites dans la biologie moléculaire grâce à des approches de physique statistique. Au cours des 20 dernières années, la taille des bases de données sur le génome a augmenté de façon exponentielle : l'exploitation des données brutes, dans le champ d'application de l'extraction d'informations, est donc devenu un sujet majeur dans la physique statistique. Après le succès dans la prédiction de la structure des protéines, des résultats étonnamment bons ont été finalement obtenus aussi pour l'ARN. Cependant, des études récentes ont révélé que, même si les bases de données sont de plus en plus grandes, l'inférence est souvent effectuée dans le régime de sous-échantillonnage et de nouveaux systèmes informatiques sont nécessaires afin de surmonter cette limitation intrinsèque des données réelles. Cette thèse va discuter des méthodes d'inférence et leur application à des prédictions de la structure de l'ARN. Nous allons comprendre certaines approches heuristiques qui ont été appliquées avec succès dans les dernières années, même si théoriquement mal comprises. La dernière partie du travail se concentrera sur le développement d'un outil pour l'inférence de modèles génératifs, en espérant qu'il ouvrira la voie à de nouvelles applications. / The availability of huge amounts of data has changed the role of physics with respect to other disciplines. Within this dissertation I will explore the innovations introduced in molecular biology thanks to statistical physics approaches. In the last 20 years the size of genome databases has exponentially increased, therefore the exploitation of raw data, in the scope of extracting information, has become a major topic in statistical physics. After the success in protein structure prediction, surprising results have been finally achieved also in the related field of RNA structure characterisation. However, recent studies have revealed that, even if databases are growing, inference is often performed in the under sampling regime and new computational schemes are needed in order to overcome this intrinsic limitation of real data. This dissertation will discuss inference methods and their application to RNA structure prediction. We will discuss some heuristic approaches that have been successfully applied in the past years, even if poorly theoretically understood. The last part of the work will focus on the development of a tool for the inference of generative models, hoping it will pave the way towards novel applications.

Streamed data classification problems (SDCPs) require classifiers with the ability to learn and to adjust to the underlying relationships in data streams, in real-time. This requirement poses a challenge to classifiers, because the learning task is no longer just to find the optimal decision boundaries, but also to track changes in the decision boundaries as new training data is received. The challenge is due to concept drift, i.e. the changing of decision boundaries over time. Changes include disappearing, appearing, or shifting decision boundaries. This thesis proposes an online learning approach for feed forward neural networks (FFNNs) that meets the requirements of SDCPs. The approach uses regularisation to optimise the architecture via the weights, and quantum particle swarm optimisation (QPSO) to dynamically adjust the weights. The learning approach is applied to a FFNN, which uses rectified linear activation functions, to form a novel SDCP classifier. The classifier is empirically investigated on several SDCPs. Both weight decay (WD) and weight elimination (WE) are investigated as regularisers. Empirical results show that using QPSO with no regularisation, causes the classifier to completely saturate. However, using QPSO with regularisation enables the classifier to dynamically adapt both its implicit architecture and weights as decision boundaries change. Furthermore, the results favour WE over WD as a regulariser for QPSO. / Dissertation (MSc)--University of Pretoria, 2020. / National Research Foundation (NRF) / Computer Science / MSc / Unrestricted

Non-rigid image registration is an important tool for analysing morphometric differences in subjects with Alzheimer's disease from structural magnetic resonance images of the brain. This thesis describes a novel probabilistic approach to non-rigid registration of medical images, and explores the benefits of its use in this area of neuroimaging. Many image registration approaches have been developed for neuroimaging. The vast majority suffer from two limitations: Firstly, the trade-off between image fidelity and regularisation requires selection. Secondly, only a point-estimate of the mapping between images is inferred, overlooking the presence of uncertainty in the estimation. This thesis introduces a novel probabilistic non-rigid registration model and inference scheme. This framework allows the inference of the parameters that control the level of regularisation, and data fidelity in a data-driven fashion. To allow greater flexibility, this model is extended to allow the level of data fidelity to vary across space. A benefit of this approach, is that the registration can adapt to anatomical variability and other image acquisition differences. A further advantage of the proposed registration framework is that it provides an estimate of the distribution of probable transformations. Additional novel contributions of this thesis include two proposals for exploiting the estimated registration uncertainty. The first of these estimates a local image smoothing filter, which is based on the registration uncertainty. The second approach incorporates the distribution of transformations into an ensemble learning scheme for statistical prediction. These techniques are integrated into standard frameworks for morphometric analysis, and are demonstrated to improve the ability to distinguish subjects with Alzheimer's disease from healthy controls.