L’«Efficient Global Optimization» (EGO) est une méthode de référence pour l’optimisation globale de fonctions «boites noires» coûteuses. Elle peut cependant rencontrer quelques difficultés, comme le mauvais conditionnement des matrices de covariance des processus Gaussiens (GP) qu’elle utilise, ou encore la lenteur de sa convergence vers l’optimum global. De plus, le choix des paramètres du GP, crucial car il contrôle la famille des fonctions d’approximation utilisées, mériterait une étude plus poussée que celle qui en a été faite jusqu’à présent. Enfin, on peut se demander si l’évaluation classique des paramètres du GP est la plus appropriée à des fins d’optimisation. \\Ce travail est consacré à l'analyse et au traitement des différentes questions soulevées ci-dessus.La première partie de cette thèse contribue à une meilleure compréhension théorique et pratique de l’impact des stratégies de régularisation des processus Gaussiens, développe une nouvelle technique de régularisation, et propose des règles pratiques. Une seconde partie présente un nouvel algorithme combinant EGO et CMA-ES (ce dernier étant un algorithme d’optimisation globale et convergeant). Le nouvel algorithme, nommé EGO-CMA, utilise EGO pour une exploration initiale, puis CMA-ES pour une convergence finale. EGO-CMA améliore les performances des deux algorithmes pris séparément. Dans une troisième partie, l’effet des paramètres du processus Gaussien sur les performances de EGO est soigneusement analysé. Finalement, un nouvel algorithme EGO auto-adaptatif est présenté, dans une nouvelle approche où ces paramètres sont estimés à partir de leur influence sur l’efficacité de l’optimisation elle-même. / The Efficient Global Optimization (EGO) is regarded as the state-of-the-art algorithm for global optimization of costly black-box functions. Nevertheless, the method has some difficulties such as the ill-conditioning of the GP covariance matrix and the slow convergence to the global optimum. The choice of the parameters of the GP is critical as it controls the functional family of surrogates used by EGO. The effect of different parameters on the performance of EGO needs further investigation. Finally, it is not clear that the way the GP is learned from data points in EGO is the most appropriate in the context of optimization. This work deals with the analysis and the treatment of these different issues. Firstly, this dissertation contributes to a better theoretical and practical understanding of the impact of regularization strategies on GPs and presents a new regularization approach based on distribution-wise GP. Moreover, practical guidelines for choosing a regularization strategy in GP regression are given. Secondly, a new optimization algorithm is introduced that combines EGO and CMA-ES which is a global but converging search. The new algorithm, called EGO-CMA, uses EGO for early exploration and then CMA-ES for final convergence. EGO-CMA improves the performance of both EGO and CMA-ES. Thirdly, the effect of GP parameters on the EGO performance is carefully analyzed. This analysis allows a deeper understanding of the influence of these parameters on the EGO iterates. Finally, a new self-adaptive EGO is presented. With the self-adaptive EGO, we introduce a novel approach for learning parameters directly from their contribution to the optimization.

This thesis evaluates how the evolutionary algorithm CMA-ES (Covariance Matrix Adaption Evolution Strategy) can be used for optimizing the total initial margin for a network of banks trading bilateral OTC derivatives. The algorithm is a stochastic method for optimization of non-linear and, but not limited to, non-convex functions. The algorithm searches for an optimum by generating normally distributed samples and iteratively updating the mean and covariance matrix of the search distribution using the best candidate solutions in the sampled population. In this thesis, feasible solutions are represented by the null space obtained from the constraint of keeping all banks' market exposure unchanged throughout the optimization, and the generated samples for each iteration correspond to linear combinations of the base vectors spanning this null space. In particular, this thesis investigates how different representations of this null space affect the convergence speed of the algorithm. By applying the algorithm to problems of varying sizes, using several different null space representations coming from different matrix decomposition methods, it is found that as long as an orthonormal representation is used it does not matter which matrix decomposition method it comes from. This is found to be because, given any orthonormal null space representation, the algorithm will at start generate a rotationally invariant sample space in its search for the optimal solution, independent of the specific null space representation. If the representation is not orthogonal, the initial sample will in contrast be in the shape of an ellipsoid and thus biased in certain directions, which in general affects the performance negatively. A non-orthonormal representation can converge faster in specific optimization problems, if the direction of the solution is known in advance and the sample space is pointed towards that direction. However, the benefit of this aspect is limited in a realistic scenario and an orthonormal representation is recommended. Furthermore, as it is shown that different orthonormal representations perform equally, it is implied that other characteristics can be considered when deciding which matrix decomposition method to use; such as the importance of fast computation or desire for a sparse representation. / Denna avhandling utvärderar hur CMA-ES (Covariance Matrix Adaption Evolution Strategy) kan användas för att optimera en total "initial margin" för ett nätverk av banker som handlar bilaterala OTC derivat. Algoritmen är en stokastisk metod för optimering av icke-linjära och, men inte enbart, icke-konvexa funktioner. Algoritmen söker efter ett optimum genom att generera normalfördelade utfall och iterativt uppdatera medelvärdet och kovariansmatrisen för sök-fördelningen med hjälp av de bästa lösningarna i varje iteration. I detta arbete representeras tillåtna lösningar till problemet av nollrummet från bivillkoret att alla bankers marknadsexponering ska vara oförändrade genom optimeringen och de genererade utfallen består av slumpade linjärkombinationer av nollrummets basvektorer. I synnerhet undersöks hur olika representationer av nollrummet påverkar konvergenshastigheten för algoritmen. Algoritmen har applicerats med flera olika nollrumsrepresentationer, framtagna genom olika matrisfaktoriseringsmetoder, och det kan konstateras att så länge nollrummsrepresentationen är ortonormal är valet av faktoreringsmetod obetydlig. Detta då användande av orthornormala nollrumsrpresentationer i algoritmen leder till en initialt symmetrisk, rotationsmässigt invariant, sökning efter den optimala lösningen. Om representationen inte är ortogonal kommer det resulterande sökområdet i varje iteration att ha formen av en ellipsoid och sålunda viktas i vissa riktningar, vilket i allmänhet påverkar prestandan negativt. Emellertid kan en icke-ortonormal representation konvergera snabbare i specifika scenarier, givet att lösningens riktning är känd i förväg och sökområdet kan pekas mot den riktningen. Vidare, eftersom det har visats att olika ortonormala representationer konvergerar lika fort, innebär resultatet att andra egenskaper kan beaktas vid val av matrisfaktoriseringsmetod, såsom vikten av snabb beräkning eller önskan om en gles representation.

La quantité d’hydrocarbures récupérés peut être considérablement augmentée si un placement optimal des puits non conventionnels à forer, peut être trouvé. Pour cela, l’utilisation d’algorithmes d’optimisation, où la fonction objectif est évaluée en utilisant un simulateur de réservoir, est nécessaire. Par ailleurs, pour des réservoirs avec une géologie complexe avec des hétérogénéités élevées, le problème d’optimisation nécessite des algorithmes capables de faire face à la non-régularité de la fonction objectif. L’objectif de cette thèse est de développer une méthodologie efficace pour déterminer l’emplacement optimal des puits et leurs trajectoires, qui offre la valeur liquidative maximale en utilisant un nombre techniquement abordable de simulations de réservoir.Dans cette thèse, nous montrons une application réussie de l’algorithme “Covariance Matrix Adaptation - Evolution Strategy” (CMA-ES) qui est reconnu comme l’un des plus puissants optimiseurs sans-dérivés pour l’optimisation continue. Par ailleurs, afin de réduire le nombre de simulations de réservoir (évaluations de la fonction objectif), nous concevons deux nouveaux algorithmes. Premièrement, nous proposons une nouvelle variante de la méthode CMA-ES avec des méta-modèles, appelé le nouveau-local-méta-modèle CMA-ES (nlmm-CMA), améliorant la variante déjà existante de la méthode local-méta-modèle CMA-ES (lmm-CMA) sur la plupart des fonctions de benchmark, en particulier pour des tailles de population plus grande que celle par défaut. Ensuite, nous proposons d’exploiter la séparabilité partielle de la fonction objectif durant le processus d’optimisation afin de définir un nouvel algorithme appelé la partiellement séparable local-méta-modèle CMAES (p-sep lmm-CMA), conduisant à une réduction importante en nombre d’évaluations par rapport à la méthode CMA-ES standard.Dans cette thèse, nous appliquons également les algorithmes développés (nlmm-CMA et p-sep lmm-CMA) sur le problème de placement des puits pour montrer, à travers plusieurs exemples, une réduction significative du nombre de simulations de réservoir nécessaire pour trouver la configuration optimale des puits. Les approches proposées sont révélées prometteuses en considérant un budget restreint de simulations de réservoir, qui est le contexte imposé dans la pratique.Enfin, nous proposons une nouvelle approche pour gérer l’incertitude géologique pour le problème d’optimisation de placement des puits. L’approche proposée utilise seulement une réalisation, ainsi que le voisinage de chaque configuration, afin d’estimer sa fonction objectif au lieu d’utiliser multiples réalisations. L’approche est illustrée sur un cas de réservoir de benchmark, et se révèle être en mesure de capturer l’incertitude géologique en utilisant un nombre réduit de simulations de réservoir. / The amount of hydrocarbon recovered can be considerably increased by finding optimal placement of non-conventional wells. For that purpose, the use of optimization algorithms, where the objective function is evaluated using a reservoir simulator, is needed. Furthermore, for complex reservoir geologies with high heterogeneities, the optimization problem requires algorithms able to cope with the non-regularity of the objective function. The goal of this thesis was to develop an efficient methodology for determining optimal well locations and trajectories, that offers the maximum asset value using a technically feasible number of reservoir simulations.In this thesis, we show a successful application of the Covariance Matrix Adaptation - Evolution Strategy (CMA-ES) which is recognized as one of the most powerful derivative-free optimizers for continuous optimization. Furthermore, in order to reduce the number of reservoir simulations (objective function evaluations), we design two new algorithms. First, we propose a new variant of CMA-ES with meta-models, called the newlocal-meta-model CMA-ES (nlmm-CMA), improving over the already existing variant of the local-meta-model CMA-ES (lmm-CMA) on most benchmark functions, in particular for population sizes larger than the default one. Then, we propose to exploit the partial separability of the objective function in the optimization process to define a new algorithm called the partially separable local-meta-model CMA-ES (p-sep lmm-CMA), leading to an important speedup compared to the standard CMA-ES.In this thesis, we apply also the developed algorithms (nlmm-CMA and p-sep lmm-CMA) on the well placement problem to show, through several examples, a significant reduction of the number of reservoir simulations needed to find optimal well configurations. The proposed approaches are shown to be promising when considering a restricted budget of reservoir simulations, which is the imposed context in practice.Finally, we propose a new approach to handle geological uncertainty for the well placement optimization problem. The proposed approach uses only one realization together with the neighborhood of each well configuration in order to estimate its objective function instead of using multiple realizations. The approach is illustrated on a synthetic benchmark reservoir case, and is shown to be able to capture the geological uncertainty using a reduced number of reservoir simulations.

La quantité d'hydrocarbures récupérés peut être considérablement augmentée si un placement optimal des puits non conventionnels à forer, peut être trouvé. Pour cela, l'utilisation d'algorithmes d'optimisation, où la fonction objectif est évaluée en utilisant un simulateur de réservoir, est nécessaire. Par ailleurs, pour des réservoirs avec une géologie complexe avec des hétérogénéités élevées, le problème d'optimisation nécessite des algorithmes capables de faire face à la non-régularité de la fonction objectif. L'objectif de cette thèse est de développer une méthodologie efficace pour déterminer l'emplacement optimal des puits et leurs trajectoires, qui offre la valeur liquidative maximale en utilisant un nombre techniquement abordable de simulations de réservoir.Dans cette thèse, nous montrons une application réussie de l'algorithme "Covariance Matrix Adaptation - Evolution Strategy" (CMA-ES) qui est reconnu comme l'un des plus puissants optimiseurs sans-dérivés pour l'optimisation continue. Par ailleurs, afin de réduire le nombre de simulations de réservoir (évaluations de la fonction objectif), nous concevons deux nouveaux algorithmes. Premièrement, nous proposons une nouvelle variante de la méthode CMA-ES avec des méta-modèles, appelé le nouveau-local-méta-modèle CMA-ES (nlmm-CMA), améliorant la variante déjà existante de la méthode local-méta-modèle CMA-ES (lmm-CMA) sur la plupart des fonctions de benchmark, en particulier pour des tailles de population plus grande que celle par défaut. Ensuite, nous proposons d'exploiter la séparabilité partielle de la fonction objectif durant le processus d'optimisation afin de définir un nouvel algorithme appelé la partiellement séparable local-méta-modèle CMAES (p-sep lmm-CMA), conduisant à une réduction importante en nombre d'évaluations par rapport à la méthode CMA-ES standard.Dans cette thèse, nous appliquons également les algorithmes développés (nlmm-CMA et p-sep lmm-CMA) sur le problème de placement des puits pour montrer, à travers plusieurs exemples, une réduction significative du nombre de simulations de réservoir nécessaire pour trouver la configuration optimale des puits. Les approches proposées sont révélées prometteuses en considérant un budget restreint de simulations de réservoir, qui est le contexte imposé dans la pratique.Enfin, nous proposons une nouvelle approche pour gérer l'incertitude géologique pour le problème d'optimisation de placement des puits. L'approche proposée utilise seulement une réalisation, ainsi que le voisinage de chaque configuration, afin d'estimer sa fonction objectif au lieu d'utiliser multiples réalisations. L'approche est illustrée sur un cas de réservoir de benchmark, et se révèle être en mesure de capturer l'incertitude géologique en utilisant un nombre réduit de simulations de réservoir.

Simulation is often used in research and industry as a low cost, high efficiency alternative to real model testing. Simulation has also been used to develop and test powerful learning algorithms. However, optimized values in simulation do not translate directly to optimized values in application. In fact, heavy optimization in simulation is likely to exploit the simplifications made in simulation. This observation brings to question the utility of learning in simulation. The UT Austin Villa 3D Simulation Team developed an optimization framework on which a robot agent was trained to maximize the speed of an omni-directional walk. The resulting agent won first place in the 2011 RoboCup 3D Simulation League. This thesis presents the adaptation of this optimization framework to learn parameters in simulation that improved the forward walk speed of the real Aldebaran Nao. By constraining the simulation with tree models learned from the real robot, and manually guiding the optimization based on testing on the real robot, the Nao's walk speed was improved by about 30%. / text

Použitie zameraného ultrazvuku pomáha zachraňovať a uľahčovať ľudské životy, nakoľko práve jeho využitím môžeme liečiť epilepsiu, ničiť rakovinové bunky a zastavovať vnútorné krvácanie neinvazívnou cestou, ktorá predstavuje pre človeka prijateľnejšie a bezpečnejšie riešenie. Vzhľadom na to, že bezpečnosť a zdravie človeka je prioritou pri liečení závažných ochorení, sa táto práca zaoberá porovnaním rôznych evolučných algoritmov a ich použitím pri návrhu evolučných ultrazvukových operačných plánov. V práci sa využívajú dva typy médií, a to homogénne médium a heterogénne médium. Pri vyhodnocovaní algoritmov sa zameriavame na efektivitu s ohľadom na veľkosť populácie, počet evaluácií fitness funkcie a  výpočetný čas. V homogénnom médiu sa ako najlepší algoritmus ukázal CMA-ES, ktorý v priebehu 20 sekúnd dokázal nájsť optimálne riešenie so 100% pokrytím cieľovej oblasti pre rotované zrnko ryže. Heterogénne médium je ale oveľa zložitejší problém, predovšetkým kvôli lebke, ktorá odráža a pohlcuje veľkú časť ultrazvuku. Tu sa ako najlepší preukázal algoritmus SA, ktorý našiel výsledok s 23% pokrytím cieľovej oblasti v prvom testovacom scenári. Doba výpočtu trvala približne 1 hodinu a 18 minút, čo značí že je čas veľmi znemožňujúci ("drahý") faktor.

Indiana University-Purdue University Indianapolis (IUPUI) / This paper describes two research areas applied to Particle Swarm Optimization (PSO) in an electronic warfare asset scenario. First, a three spatial dimension solution utilizing topographical data is implemented and tested against a two dimensional solution. A three dimensional (3D) optimization increases solution space for optimization of asset location. Topography from NASA's Digital Elevation Model is also added to the solution to provide a realistic scenario. The optimization is tested for run time, average distances between receivers, average distance between receivers and paired transmitters, and transmission power. Due to load times of maps and increased iterations, the average run times were increased from 123ms to 178ms, which remains below the 1 second target for convergence speeds. The spread distance between receivers was able to increase from 86km to 89km. The distance between receiver and its paired transmitters as well as the total received power did not change signi cannily. In the second research contribution, a user input is created and placed into an unconstrained 2D active swarm. This \human in the swarm" scenario allows a user to change keep-away boundaries during optimization. The blended human and swarm solution successfully implemented human input into a running optimization with a time delay. The results of this research show that a electronic warfare solutions with real 3D topography can be simulated with minimal computational costs over two dimensional solutions and that electronic warfare solutions can successfully optimize using human input data.

Les Algorithmes Évolutionnaires (AEs) ont été très étudiés en raison de leur capacité à résoudre des problèmes d'optimisation complexes en utilisant des opérateurs de variation adaptés à des problèmes spécifiques. Une recherche dirigée par une population de solutions offre une bonne robustesse par rapport à un bruit modéré et la multi-modalité de la fonction optimisée, contrairement à d'autres méthodes d'optimisation classiques telles que les méthodes de quasi-Newton. La principale limitation de AEs, le grand nombre d'évaluations de la fonction objectif,pénalise toutefois l'usage des AEs pour l'optimisation de fonctions chères en temps calcul.La présente thèse se concentre sur un algorithme évolutionnaire, Covariance Matrix Adaptation Evolution Strategy (CMA-ES), connu comme un algorithme puissant pour l'optimisation continue boîte noire. Nous présentons l'état de l'art des algorithmes, dérivés de CMA-ES, pour résoudre les problèmes d'optimisation mono- et multi-objectifs dans le scénario boîte noire.Une première contribution, visant l'optimisation de fonctions coûteuses, concerne l'approximation scalaire de la fonction objectif. Le meta-modèle appris respecte l'ordre des solutions (induit par la valeur de la fonction objectif pour ces solutions); il est ainsi invariant par transformation monotone de la fonction objectif. L'algorithme ainsi défini, saACM-ES, intègre étroitement l'optimisation réalisée par CMA-ES et l'apprentissage statistique de meta-modèles adaptatifs; en particulier les meta-modèles reposent sur la matrice de covariance adaptée par CMA-ES. saACM-ES préserve ainsi les deux propriété clé d'invariance de CMA-ES: invariance i) par rapport aux transformations monotones de la fonction objectif; et ii) par rapport aux transformations orthogonales de l'espace de recherche.L'approche est étendue au cadre de l'optimisation multi-objectifs, en proposant deux types de meta-modèles (scalaires). La première repose sur la caractérisation du front de Pareto courant (utilisant une variante mixte de One Class Support Vector Machone (SVM) pour les points dominés et de Regression SVM pour les points non-dominés). La seconde repose sur l'apprentissage d'ordre des solutions (rang de Pareto) des solutions. Ces deux approches sont intégrées à CMA-ES pour l'optimisation multi-objectif (MO-CMA-ES) et nous discutons quelques aspects de l'exploitation de meta-modèles dans le contexte de l'optimisation multi-objectif.Une seconde contribution concerne la conception d'algorithmes nouveaux pour l'optimi\-sation mono-objectif, multi-objectifs et multi-modale, développés pour comprendre, explorer et élargir les frontières du domaine des algorithmes évolutionnaires et CMA-ES en particulier. Spécifiquement, l'adaptation du système de coordonnées proposée par CMA-ES est coupléeà une méthode adaptative de descente coordonnée par coordonnée. Une stratégie adaptative de redémarrage de CMA-ES est proposée pour l'optimisation multi-modale. Enfin, des stratégies de sélection adaptées aux cas de l'optimisation multi-objectifs et remédiant aux difficultés rencontrées par MO-CMA-ES sont proposées. / Evolutionary Algorithms (EAs) have received a lot of attention regarding their potential to solve complex optimization problems using problem-specific variation operators. A search directed by a population of candidate solutions is quite robust with respect to a moderate noise and multi-modality of the optimized function, in contrast to some classical optimization methods such as quasi-Newton methods. The main limitation of EAs, the large number of function evaluations required, prevents from using EAs on computationally expensive problems, where one evaluation takes much longer than 1 second.The present thesis focuses on an evolutionary algorithm, Covariance Matrix Adaptation Evolution Strategy (CMA-ES), which has become a standard powerful tool for continuous black-box optimization. We present several state-of-the-art algorithms, derived from CMA-ES, for solving single- and multi-objective black-box optimization problems.First, in order to deal with expensive optimization, we propose to use comparison-based surrogate (approximation) models of the optimized function, which do not exploit function values of candidate solutions, but only their quality-based ranking.The resulting self-adaptive surrogate-assisted CMA-ES represents a tight coupling of statistical machine learning and CMA-ES, where a surrogate model is build, taking advantage of the function topology given by the covariance matrix adapted by CMA-ES. This allows to preserve two key invariance properties of CMA-ES: invariance with respect to i). monotonous transformation of the function, and ii). orthogonal transformation of the search space. For multi-objective optimization we propose two mono-surrogate approaches: i). a mixed variant of One Class Support Vector Machine (SVM) for dominated points and Regression SVM for non-dominated points; ii). Ranking SVM for preference learning of candidate solutions in the multi-objective space. We further integrate these two approaches into multi-objective CMA-ES (MO-CMA-ES) and discuss aspects of surrogate-model exploitation.Second, we introduce and discuss various algorithms, developed to understand, explore and expand frontiers of the Evolutionary Computation domain, and CMA-ES in particular. We introduce linear time Adaptive Coordinate Descent method for non-linear optimization, which inherits a CMA-like procedure of adaptation of an appropriate coordinate system without losing the initial simplicity of Coordinate Descent.For multi-modal optimization we propose to adaptively select the most suitable regime of restarts of CMA-ES and introduce corresponding alternative restart strategies.For multi-objective optimization we analyze case studies, where original parent selection procedures of MO-CMA-ES are inefficient, and introduce reward-based parent selection strategies, focused on a comparative success of generated solutions.

The goal of Evolutionary Robotics (ER) is the development of automatic processes for the synthesis of robot control systems using evolutionary computation. The idea that it may be possible to synthesise robotic control systems using an automatic design process is appealing. However, ER is considerably more challenging and less automatic than its advocates would suggest. ER applies methods from the field of neuroevolution to evolve robot control systems. Neuroevolution is a machine learning algorithm that applies evolutionary computation to the design of Artificial Neural Networks (ANN). The aim of this thesis is to assay the practical characteristics of neuroevolution by performing bulk experiments on a set of Reinforcement Learning (RL) problems. This thesis was conducted with the view of applying neuroevolution to the design of neurocontrollers for small low-cost Autonomous Underwater Vehicles (AUV). A general approach to neuroevolution for RL problems is presented. The is selected to evolve ANN connection weights on the basis that it has shown competitive performance on continuous optimisation problems, is self-adaptive and can exploit dependencies between connection weights. Practical implementation issues are identified and discussed. A series of experiments are conducted on RL problems. These problems are representative of problems from the AUV domain, but manageable in terms of problem complexity and computational resources required. Results from these experiments are analysed to draw out practical characteristics of neuroevolution. Bulk experiments are conducted using the inverted pendulum problem. This popular control benchmark is inherently unstable, underactuated and non-linear: characteristics common to underwater vehicles. Two practical characteristics of neuroevolution are demonstrated: the importance of using randomly generated evaluation sets and the effect of evaluation noise on search performance. As part of these experiments, deficiencies in the benchmark are identified and modifications suggested. The problem of an underwater vehicle travelling to a goal in an obstacle free environment is studied. The vehicle is modelled as a Dubins car, which is a simplified model of the high-level kinematics of a torpedo class underwater vehicle. Two practical characteristics of neuroevolution are demonstrated: the importance of domain knowledge when formulating ANN inputs and how the fitness function defines the set of evolvable control policies. Paths generated by the evolved neurocontrollers are compared with known optimal solutions. A framework is presented to guide the practical application of neuroevolution to RL problems that covers a range of issues identified during the experiments conducted in this thesis. An assessment of neuroevolution concludes that it is far from automatic yet still has potential as a technique for solving reinforcement problems, although further research is required to better understand the process of evolutionary learning. The major contribution made by this thesis is a rigorous empirical study of the practical characteristics of neuroevolution as applied to RL problems. A critical, yet constructive, viewpoint is taken of neuroevolution. This viewpoint differs from much of the reseach undertaken in this field, which is often unjustifiably optimistic and tends to gloss over difficult practical issues.

Many algorithms today require a number of parameters to be set in order to perform well in a given application. The tuning of these parameters is often difficult and tedious to do manually, especially when the number of parameters is large. It is also unlikely that a human can find the best possible solution for difficult problems. To be able to automatically find good sets of parameters could both provide better results and save a lot of time. The prominent methods Bayesian optimization and Covariance Matrix Adaptation Evolution Strategy (CMA-ES) are evaluated for automatic parameter tuning in localization algorithms in this work. Both methods are evaluated using a localization algorithm on different datasets and compared in terms of computational time and the precision and recall of the final solutions. This study shows that it is feasible to automatically tune the parameters of localization algorithms using the evaluated methods. In all experiments performed in this work, Bayesian optimization was shown to make the biggest improvements early in the optimization but CMA-ES always passed it and proceeded to reach the best final solutions after some time. This study also shows that automatic parameter tuning is feasible even when using noisy real-world data collected from 3D cameras.