In this thesis, the performance of two over-sampling techniques, SMOTE and ADASYN, is compared. The comparison is done on three imbalanced data sets using three different classification models and evaluation metrics, while varying the way the data is pre-processed. The results show that both SMOTE and ADASYN improve the performance of the classifiers in most cases. It is also found that SVM in conjunction with SMOTE performs better than with ADASYN as the degree of class imbalance increases. Furthermore, both SMOTE and ADASYN increase the relative performance of the Random forest as the degree of class imbalance grows. However, no pre-processing method consistently outperforms the other in its contribution to better performance as the degree of class imbalance varies.

Le but de l’apprentissage supervisé est d’inférer des relations entre un phénomène que l’on souhaite prédire et des variables « explicatives ». À cette fin, on dispose d’observations de multiples réalisations du phénomène, à partir desquelles on propose une règle de prédiction. L’émergence récente de sources de données à très grande échelle, tant par le nombre d’observations effectuées (en analyse d’image, par exemple) que par le grand nombre de variables explicatives (en génétique), a fait émerger deux difficultés : d’une part, il devient difficile d’éviter l’écueil du sur-apprentissage lorsque le nombre de variables explicatives est très supérieur au nombre d’observations; d’autre part, l’aspect algorithmique devient déterminant, car la seule résolution d’un système linéaire dans les espaces en jeupeut devenir une difficulté majeure. Des algorithmes issus des méthodes d’approximation stochastique proposent uneréponse simultanée à ces deux difficultés : l’utilisation d’une méthode stochastique réduit drastiquement le coût algorithmique, sans dégrader la qualité de la règle de prédiction proposée, en évitant naturellement le sur-apprentissage. En particulier, le cœur de cette thèse portera sur les méthodes de gradient stochastique. Les très populaires méthodes paramétriques proposent comme prédictions des fonctions linéaires d’un ensemble choisi de variables explicatives. Cependant, ces méthodes aboutissent souvent à une approximation imprécise de la structure statistique sous-jacente. Dans le cadre non-paramétrique, qui est un des thèmes centraux de cette thèse, la restriction aux prédicteurs linéaires est levée. La classe de fonctions dans laquelle le prédicteur est construit dépend elle-même des observations. En pratique, les méthodes non-paramétriques sont cruciales pour diverses applications, en particulier pour l’analyse de données non vectorielles, qui peuvent être associées à un vecteur dans un espace fonctionnel via l’utilisation d’un noyau défini positif. Cela autorise l’utilisation d’algorithmes associés à des données vectorielles, mais exige une compréhension de ces algorithmes dans l’espace non-paramétrique associé : l’espace à noyau reproduisant. Par ailleurs, l’analyse de l’estimation non-paramétrique fournit également un éclairage révélateur sur le cadre paramétrique, lorsque le nombre de prédicteurs surpasse largement le nombre d’observations. La première contribution de cette thèse consiste en une analyse détaillée de l’approximation stochastique dans le cadre non-paramétrique, en particulier dans le cadre des espaces à noyaux reproduisants. Cette analyse permet d’obtenir des taux de convergence optimaux pour l’algorithme de descente de gradient stochastique moyennée. L’analyse proposée s’applique à de nombreux cadres, et une attention particulière est portée à l’utilisation d’hypothèses minimales, ainsi qu’à l’étude des cadres où le nombre d’observations est connu à l’avance, ou peut évoluer. La seconde contribution est de proposer un algorithme, basé sur un principe d’accélération, qui converge à une vitesse optimale, tant du point de vue de l’optimisation que du point de vue statistique. Cela permet, dans le cadre non-paramétrique, d’améliorer la convergence jusqu’au taux optimal, dans certains régimes pour lesquels le premier algorithme analysé restait sous-optimal. Enfin, la troisième contribution de la thèse consiste en l’extension du cadre étudié au delà de la perte des moindres carrés : l’algorithme de descente de gradient stochastiqueest analysé comme une chaine de Markov. Cette approche résulte en une interprétation intuitive, et souligne les différences entre le cadre quadratique et le cadre général. Une méthode simple permettant d’améliorer substantiellement la convergence est également proposée. / The goal of supervised machine learning is to infer relationships between a phenomenon one seeks to predict and “explanatory” variables. To that end, multiple occurrences of the phenomenon are observed, from which a prediction rule is constructed. The last two decades have witnessed the apparition of very large data-sets, both in terms of the number of observations (e.g., in image analysis) and in terms of the number of explanatory variables (e.g., in genetics). This has raised two challenges: first, avoiding the pitfall of over-fitting, especially when the number of explanatory variables is much higher than the number of observations; and second, dealing with the computational constraints, such as when the mere resolution of a linear system becomes a difficulty of its own. Algorithms that take their roots in stochastic approximation methods tackle both of these difficulties simultaneously: these stochastic methods dramatically reduce the computational cost, without degrading the quality of the proposed prediction rule, and they can naturally avoid over-fitting. As a consequence, the core of this thesis will be the study of stochastic gradient methods. The popular parametric methods give predictors which are linear functions of a set ofexplanatory variables. However, they often result in an imprecise approximation of the underlying statistical structure. In the non-parametric setting, which is paramount in this thesis, this restriction is lifted. The class of functions from which the predictor is proposed depends on the observations. In practice, these methods have multiple purposes, and are essential for learning with non-vectorial data, which can be mapped onto a vector in a functional space using a positive definite kernel. This allows to use algorithms designed for vectorial data, but requires the analysis to be made in the non-parametric associated space: the reproducing kernel Hilbert space. Moreover, the analysis of non-parametric regression also sheds some light on the parametric setting when the number of predictors is much larger than the number of observations. The first contribution of this thesis is to provide a detailed analysis of stochastic approximation in the non-parametric setting, precisely in reproducing kernel Hilbert spaces. This analysis proves optimal convergence rates for the averaged stochastic gradient descent algorithm. As we take special care in using minimal assumptions, it applies to numerous situations, and covers both the settings in which the number of observations is known a priori, and situations in which the learning algorithm works in an on-line fashion. The second contribution is an algorithm based on acceleration, which converges at optimal speed, both from the optimization point of view and from the statistical one. In the non-parametric setting, this can improve the convergence rate up to optimality, even inparticular regimes for which the first algorithm remains sub-optimal. Finally, the third contribution of the thesis consists in an extension of the framework beyond the least-square loss. The stochastic gradient descent algorithm is analyzed as a Markov chain. This point of view leads to an intuitive and insightful interpretation, that outlines the differences between the quadratic setting and the more general setting. A simple method resulting in provable improvements in the convergence is then proposed.

L’objectif de cette thèse est de faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection pour renforcer la détection. Dans ce but, nous considérons toute la chaîne de traitement de l’apprentissage supervisé (annotation, extraction d’attributs, apprentissage, et évaluation) en impliquant les experts en sécurité. Tout d’abord, nous donnons des conseils méthodologiques pour les aider à construire des modèles de détection supervisés qui répondent à leurs contraintes opérationnelles. De plus, nous concevons et nous implémentons DIADEM, un outil de visualisation interactif qui aide les experts en sécurité à appliquer la méthodologie présentée. DIADEM s’occupe des rouages de l’apprentissage supervisé pour laisser les experts en sécurité se concentrer principalement sur la détection. Par ailleurs, nous proposons une solution pour réduire le coût des projets d’annotations en sécurité informatique. Nous concevons et implémentons un système d’apprentissage actif complet, ILAB, adapté aux besoins des experts en sécurité. Nos expériences utilisateur montrent qu’ils peuvent annoter un jeu de données avec une charge de travail réduite grâce à ILAB. Enfin, nous considérons la génération automatique d’attributs pour faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection. Nous définissons les contraintes que de telles méthodes doivent remplir pour être utilisées dans le cadre de la détection de menaces. Nous comparons trois méthodes de l’état de l’art en suivant ces critères, et nous mettons en avant des pistes de recherche pour mieux adapter ces techniques aux besoins des experts en sécurité. / The overall objective of this thesis is to foster the deployment of supervised learning in detection systems to strengthen detection. To that end, we consider the whole machine learning pipeline (data annotation, feature extraction, training, and evaluation) with security experts as its core since it is crucial to pursue real-world impact. First, we provide methodological guidance to help security experts build supervised detection models that suit their operational constraints. Moreover, we design and implement DIADEM, an interactive visualization tool that helps security experts apply the methodology set out. DIADEM deals with the machine learning machinery to let security experts focus mainly on detection. Besides, we propose a solution to effectively reduce the labeling cost in computer security annotation projects. We design and implement an end-to-end active learning system, ILAB, tailored to security experts needs. Our user experiments on a real-world annotation project demonstrate that they can annotate a dataset with a low workload thanks to ILAB. Finally, we consider automatic feature generation as a means to ease, and thus foster, the use of machine learning in detection systems. We define the constraints that such methods should meet to be effective in building detection models. We compare three state-of-the-art methods based on these criteria, and we point out some avenues of research to better tailor automatic feature generation to computer security experts needs.

Le défi du BigData entraîne un besoin pour les algorithmes d'apprentissage automatisé de s'adapter aux données de grande dimension et de devenir plus efficace. Récemment, une nouvelle direction de recherche est apparue qui consiste à analyser les méthodes d’apprentissage dans le régime moderne où le nombre n et la dimension p des données sont grands et du même ordre. Par rapport au régime conventionnel où n>>p, le régime avec n,p sont grands et comparables est particulièrement intéressant, car les performances d’apprentissage dans ce régime restent sensibles à l’ajustement des hyperparamètres, ouvrant ainsi une voie à la compréhension et à l’amélioration des techniques d’apprentissage pour ces données de grande dimension.L'approche technique de cette thèse s'appuie sur des outils avancés de statistiques de grande dimension, nous permettant de mener des analyses allant au-delà de l'état de l’art. La première partie de la thèse est consacrée à l'étude de l'apprentissage semi-supervisé sur des grandes données. Motivés par nos résultats théoriques, nous proposons une alternative supérieure à la méthode semi-supervisée de régularisation laplacienne. Les méthodes avec solutions implicites, comme les SVMs et la régression logistique, sont ensuite étudiées sous des modèles de mélanges réalistes, fournissant des détails exhaustifs sur le mécanisme d'apprentissage. Plusieurs conséquences importantes sont ainsi révélées, dont certaines sont même en contradiction avec la croyance commune. / The BigData challenge induces a need for machine learning algorithms to evolve towards large dimensional and more efficient learning engines. Recently, a new direction of research has emerged that consists in analyzing learning methods in the modern regime where the number n and the dimension p of data samples are commensurately large. Compared to the conventional regime where n>>p, the regime with large and comparable n,p is particularly interesting as the learning performance in this regime remains sensitive to the tuning of hyperparameters, thus opening a path into the understanding and improvement of learning techniques for large dimensional datasets.The technical approach employed in this thesis draws on several advanced tools of high dimensional statistics, allowing us to conduct more elaborate analyses beyond the state of the art. The first part of this dissertation is devoted to the study of semi-supervised learning on high dimensional data. Motivated by our theoretical findings, we propose a superior alternative to the standard semi-supervised method of Laplacian regularization. The methods involving implicit optimizations, such as SVMs and logistic regression, are next investigated under realistic mixture models, providing exhaustive details on the learning mechanism. Several important consequences are thus revealed, some of which are even in contradiction with common belief.

Dans le secteur médical tout particulièrement, la qualité du geste est primordiale et les professionnels doivent être formés par la pratique pour acquérir un niveau de compétences compatible avec l'exercice de leur métier. Depuis une dizaine d'année, les simulateurs informatiques aident les apprenants dans de nombreux apprentissages mais ils doivent encore être associés à des travaux pratiques sur mannequins, animaux ou cadavres, qui pourtant n'offrent pas toujours suffisamment de réalisme par rapport aux vrais patients, et sont coûteux à l'usage. Aussi, leur formation s'achève généralement sur de vrais patients, ce qui présente des risques. Les simulateurs haptiques (fournissant une sensation d'effort) deviennent aujourd'hui une solution plus appropriée car ils peuvent reproduire des efforts résistant réalistes et proposer une infinité de cas d'étude pré-enregistrés. Cependant, apprendre seul sur un simulateur n'est pas toujours aussi efficace qu'un apprentissage "à quatre mains" (celles de l'instructeur et de l'apprenant manipulant les mêmes outils en coopération). Cette étude propose donc un système haptique de formation pratique à deux utilisateurs : l'instructeur et l'apprenant, interagissant chacun à travers leur propre interface haptique. Ils collaborent ainsi, avec des outils et un environnement de travail soit réels (l'outil est manipulé par un robot) soit virtuels. Une approche énergétique, faisant appel notamment à la modélisation par port-Hamiltonien, a été utilisée pour garantir la stabilité et la robustesse du système. Une étude comparative (en simulation) avec deux autres systèmes haptiques multi utilisateurs a montré l'intérêt de ce nouveau système pour la formation pratique. Il a été développé et validé expérimentalement sur des interfaces à un seul degré de liberté. Son extension à six degrés de liberté est facilitée par les choix de modélisation. Afin de pouvoir utiliser le système quand les deux protagonistes sont éloignés, cette étude propose des pistes d'amélioration qui ne sont pas encore optimisées. / More particularly in the medical field, gesture quality is primordial. Professionals have to follow hands-on trainings to acquire a sufficient level of skills in the call of duty. For a decade, computer based simulators have helped the learners in numerous learnings, but these simulations still have to be associated with hands-on trainings on manikins, animals or cadavers, even if they do not always provide a sufficient level of realism and they are costly in the long term. Therefore, their training period has to finish on real patients, which is risky. Haptic simulators (furnishing an effort feeling) are becoming a more appropriated solution as they can reproduce realist efforts applied by organs onto the tools and they can provide countless prerecorded use cases. However, learning alone on a simulator is not always efficient compared to a fellowship training (or supervised training) where the instructor and the trainee manipulate together the same tools. Thus, this study introduces an haptic system for supervised hands-on training: the instructor and the trainee interoperate through their own haptic interface. They collaborate either with a real tool dived into a real environment (the tool is handled by a robotic arm), or with a virtual tool/environment. An energetic approach, using in particular the port-Hamiltonian modeling, has been used to ensure the stability and the robustness of the system. This system has been designed and validated experimentally on a one degree of freedom haptic interface. A comparative study with two other dual-user haptic systems (in simulation) showed the interest of this new architecture for hands-on training. In order to use this system when both users are away from each other, this study proposes some enhancements to cope with constant communication time delays, but they are not optimized yet.

Rapporten undersöker hur man ska gå tillväga för att implementera en support vector machinesom kan klassificera olika former i bilder med hjälp av OpenCV libraryt i Python. Dettakommer att göras genom att beräkna scale-invariant features. De scale-invariant features somkommer undersökas är simple features och Hu moments. Dessa features ska sedantillsammans med sina tillhörande labels matas in i en SVM för träning. SVM ska därefterkunna urskilja mellan olika former baserat på deras scale-invariant feature. Rapportenundersöker även vilken av Hu moments och simple features som fungerar bäst för attklassificera former i bilder. Rapporten tittar också på tidigare forskning i området ochrapporter som täcker olika sätt att extrahera former ut bilder.Nyckelord: Flerklass klassificering, SVM, stödvektormaskin, övervakat / The report examines the possibility to implement a support vector machine that can classifydifferent shapes in images, with the help of the OpenCV library in Python. This will be donethrough calculating scale-invariant features. The scale-invariant features that will beimplemented are simple features and Hu moments. These features will in combination withtheir labels be fed to the SVM for training. The SVM should then be able to distinguishbetween different shapes based on scale-invariant features. The report will also examinewhich of the Hu moments and simple features give the best results in classifying shapes inimages. The report also looks at earlier reports in the same area and reports covering differentways of detecting shapes in images.

Hyperspectral imaging is an expanding topic within the field of computer vision, that uses images of high spectral granularity. Contrastive learning is a discrim- inative approach to self-supervised learning, a form of unsupervised learning where the network is trained using self-created pseudo-labels. This work com- bines these two research areas and investigates how a pretrained network based on contrastive learning can be used for hyperspectral images. The hyperspectral images used in this work are generated from simulated RGB images and spec- tra from a spectral library. The network is trained with a pretext task based on data augmentations, and is evaluated through transfer learning and fine-tuning for a downstream task. The goal is to determine the impact of the pretext task on the downstream task and to determine the required amount of labelled data. The results show that the downstream task (a classifier) based on the pretrained network barely performs better than a classifier without a pretrained network. In the end, more research needs to be done to confirm or reject the benefit of a pretrained network based on contrastive learning for hyperspectral images. Also, the pretrained network should be tested on real-world hyperspectral data and trained with a pretext task designed for hyperspectral images.

Introduction: Number of strata (NoS) is an informative descriptor of forest structure and is therefore useful in forest management. Collection of NoS as well as other forest properties is performed by fieldworkers and could benefit from automation. Objectives: This study investigates automated prediction of NoS from airborne laser scanned point clouds over Swedish forest plots.Methods: A previously suggested approach of using vertical gap probability is compared through experimentation against the geometric neural network PointNet++ configured for ordinal prediction. For both approaches, the mean accuracy is measured for three datasets: coniferous forest, deciduous forest, and a combination of all forests. Results: PointNet++ displayed a better point performance for two out of three datasets, attaining a top mean accuracy of 46.2%. However only the coniferous subset displayed a statistically significant superiority for PointNet++. Conclusion: This study demonstrates the potential of geometric neural networks for data mining of forest properties. The results show that impediments in the data may need to be addressed for further improvements.

Tato diplomová práce se zabývá využitím algoritmů strojového učení pro konstrukci hlídacích obvodů. Práce obsahuje popis principů hlídacích obvodů, jejich existující implementace a ostatní teoretické znalosti vztahující se k systémům odolným proti poruchám. Práce je zaměřena na aplikaci hlídacích obvodů na hardware komponentech se sekvenční logikou. Algoritmy strojového učení jsou trénovány pomocí datových množin, které se skládají ze vstup-výstup sekvencí hardwarových komponentů a ukládají se jako časové řady. Cílem práce je určení vhodnosti jednotlivých algoritmů pro jejich aplikaci v hlídacích obvodech. Pro dosažení tohoto cíle, bylo provedeno srovnání vybraných algoritmů strojového učení. Součástí práce je popis parametrů algoritmů a generování datových sad. Práce taktéž zahrnuje experimenty provedeny na dolnopropustném FIR filtru a jejich vyhodnocení. Podle výsledků experimentů je diskutováno, které algoritmy jsou použitelné v hlídacích obvodech.

The study of RNA-binding proteins has recently increased in importance due to discoveries of their larger role in cellular processes. One study currently conducted at Umeå University involves constructing a model that will be able to improve our knowledge about T-cells by explaining how these cells work in different diseases. But before this model can become a reality, Umeå Univerity needs to investigate the relation between RNA and RNA-binding proteins and find proteins of which highly contribute to the activity of the RNA-binding proteins. To do so, they have decided to use four penalized regression Machine Learning models to analyse protein sequences from CD4 cells. These models consist of a ridge penalized model, an elastic net model, a neural network model, and a Bayesian model. The results show that the models have a number of RNA-binding protein sequences in common which they list as highly decisive in their predictions.