Les Algorithmes Évolutionnaires (AEs) ont été très étudiés en raison de leur capacité à résoudre des problèmes d'optimisation complexes en utilisant des opérateurs de variation adaptés à des problèmes spécifiques. Une recherche dirigée par une population de solutions offre une bonne robustesse par rapport à un bruit modéré et la multi-modalité de la fonction optimisée, contrairement à d'autres méthodes d'optimisation classiques telles que les méthodes de quasi-Newton. La principale limitation de AEs, le grand nombre d'évaluations de la fonction objectif, pénalise toutefois l'usage des AEs pour l'optimisation de fonctions chères en temps calcul. La présente thèse se concentre sur un algorithme évolutionnaire, Covariance Matrix Adaptation Evolution Strategy (CMA-ES), connu comme un algorithme puissant pour l'optimisation continue boîte noire. Nous présentons l'état de l'art des algorithmes, dérivés de CMA-ES, pour résoudre les problèmes d'optimisation mono- et multi-objectifs dans le scénario boîte noire. Une première contribution, visant l'optimisation de fonctions coûteuses, concerne l'approximation scalaire de la fonction objectif. Le meta-modèle appris respecte l'ordre des solutions (induit par la valeur de la fonction objectif pour ces solutions) ; il est ainsi invariant par transformation monotone de la fonction objectif. L'algorithme ainsi défini, saACM-ES, intègre étroitement l'optimisation réalisée par CMA-ES et l'apprentissage statistique de meta-modèles adaptatifs ; en particulier les meta-modèles reposent sur la matrice de covariance adaptée par CMA-ES. saACM-ES préserve ainsi les deux propriété clé d'invariance de CMA-ES~: invariance i) par rapport aux transformations monotones de la fonction objectif; et ii) par rapport aux transformations orthogonales de l'espace de recherche. L'approche est étendue au cadre de l'optimisation multi-objectifs, en proposant deux types de meta-modèles (scalaires). La première repose sur la caractérisation du front de Pareto courant (utilisant une variante mixte de One Class Support Vector Machone (SVM) pour les points dominés et de Regression SVM pour les points non-dominés). La seconde repose sur l'apprentissage d'ordre des solutions (rang de Pareto) des solutions. Ces deux approches sont intégrées à CMA-ES pour l'optimisation multi-objectif (MO-CMA-ES) et nous discutons quelques aspects de l'exploitation de meta-modèles dans le contexte de l'optimisation multi-objectif. Une seconde contribution concerne la conception d'algorithmes nouveaux pour l'optimi\-sation mono-objectif, multi-objectifs et multi-modale, développés pour comprendre, explorer et élargir les frontières du domaine des algorithmes évolutionnaires et CMA-ES en particulier. Spécifiquement, l'adaptation du système de coordonnées proposée par CMA-ES est couplée à une méthode adaptative de descente coordonnée par coordonnée. Une stratégie adaptative de redémarrage de CMA-ES est proposée pour l'optimisation multi-modale. Enfin, des stratégies de sélection adaptées aux cas de l'optimisation multi-objectifs et remédiant aux difficultés rencontrées par MO-CMA-ES sont proposées.

Diplomová práce se zabývá optimalizací systému pro sledování letadel, využívaného pro řízení letového provozu. Je popsána metodika vyhodnocování přesnosti sledovacího systému a přehled relevantních algoritmů pro sledování objektů. Dále jsou navrženy tři přístupy k řešení problému. První se pokouší identifikovat parametry filtrovacích algoritmů pomocí algoritmu Expectation-Maximisation, implementací metody maximální věrohodnosti. Druhý přístup je založen na prostých odhadech parametrů normálního rozložení z naměřených a referenčních dat. Nakonec je zkoumána možnost řešení pomocí optimalizačního algoritmu Evoluční strategie. Závěrečné vyhodnocení ukazuje, že třetí přístup je pro daný problém nejvhodnější.

The introduction of initial margin requirements for non-cleared OTC derivatives has made it possible to optimize initial margin when considering a network of trading participants. Applying CMA-ES, this thesis has explored a new method to handle the nonlinear constraints present in the initial margin optimization problem. The idea behind the method and the research question in this thesis are centered around leveraging data created during optimization. Specifically, by creating a linear approximation of the feasible region using support vector machines and in turn applying a repair strategy based on projection. The hypothesis was that by repairing solutions an increase in convergence speed should follow. In order to answer the research question, a reference method was at first created. Here CMA-ES along with feasibility rules was used, referred to as CMA-FS. The proposed method of optimization data leveraging (ODL) was then appended to CMA-FS, referred to as CMA-ODL. Both algorithms were then applied to a single initial margin optimization problem 100 times each with different random seeds used for sampling in the optimization algorithms. The results showed that CMA-ODL converged significantly faster than CMA-FS, without affecting final objective values significantly negatively. Convergence was measured in terms of iterations and not computational time. On average a 5% increase in convergence speed was achieved with CMA-ODL. No significant difference was found between CMA-FS and CMA-ODL in terms of the percentage of infeasible solutions generated. A reason behind the lack of a reduction in violations can be due to how ODL is implemented with the CMA-ES algorithm. Specifically, ODL will lead to a greater number of feasible solutions being available during recombination in CMA-ES. Although, due to the projection, the solutions after projection are not completely reflective of the actual parameters used for that generation. The projection should also bias the algorithm towards the boundary of the feasible region. Still, the performative difference in terms of convergence speed was significant. In conclusion, the proposed boundary constraint handling method increased performance, but it is not known whether the method has any major practical applicability, due to the restriction to only considering the number of iterations and not the computational time. / Införandet av initial margin för non-cleared OTC derivatives har gjort det möjligt att optimera initial margin när ett flertal marknadsdeltagare tas till hänsyn. Denna uppsats har applicerat CMA-ES och specifikt undersökt en ny metod för hantering av de icke-linjära bivillkoren som uppstår när initial margin optimeras. Idén bakom metoden och forskningsfrågan i rapporten bygger på att utnyttja data som generas vid optimering. Detta görs specifikt genom att den icke-linjära tillåtna regionen approximeras linjärt med support vector machines. Därefter används en reparationsstrategi bestående av projicering för att reparera otillåtna lösningar. Hypotesen i uppsatsen var att genom att reparera lösningar så skulle konvergenshastigheten öka. För att svara på forskningsfrågan så togs en referensmetod fram, där CMA-ES och feasibility rules användes för att hantera icke-linjära bivillkor. Denna version av CMA-ES kallades CMA-FS. Sedan integrerades den nya metoden med CMA-FS, denna version kallades för CMA-ODL. Därefter så applicerades båda algoritmer 100 gånger på ett initial margin optimeringsproblem, där olika seeds användes för generering av lösningar i algoritmerna. Resultaten visade att CMA-ODL konvergerade signifikant snabbare än CMA-FS utan att påverka optimeringsresultatet negativt. Med CMA-ODL så ökade konvergenshastigheten med ungefär 5%. Konvergens mättes genom antal iterationer och inte beräkningstid. Ingen signifikant skillnad mellan CMA-ODL och CMA-FS observerades när de jämfördes med avseende på mängden icke-tillåtna lösningar genererade. En anledning varför ingen skillnad observerades är hur den nya metoden var integrerad med CMA-ES algoritmen. Den tilltänkta metoden leder till att fler tillåtna lösningar är tillgängliga när CMA-ES ska bilda nästa generation men eftersom lösningar projiceras så kommer dom inte att reflektera dom parametrar som användes för att faktiskt generera dom. Projiceringen leder också till att fler lösningar på randen av det tillåtna området kommer att genereras. Sammanfattningsvis så observerades fortfarande en signifikant ökning i konvergenshastighet för CMA-ODL men det är oklart om algoritmen är praktiskt användbar p.g.a. restriktionen att enbart betrakta antalet iterationer och inte total beräkningstid.

Afin de réduire le coût de calcul pour des problèmes d'optimisation coûteuse, cette thèse a été consacrée à la Stratégie d'Evolution avec Adaptation de Matrice de Covariance assistée par modèle de Krigeage (KA-CMA-ES). Plusieurs algorithmes de KA-CMA-ES ont été développés et étudiés. Une application de ces algorithmes KA-CMA-ES développés est réalisée par l'identification des paramètres matériels avec un modèle constitutif d'endommagement élastoplastique. Les résultats expérimentaux démontrent que les algorithmes KA-CMA-ES développés sont plus efficaces que le CMA-ES standard. Ils justifient autant que le KA-CMA-ES couplé avec ARP-EI est le plus performant par rapport aux autres algorithmes étudiés dans ce travail. Les résultats obtenus par l'algorithme ARP-EI dans l'identification des paramètres matériels montrent que le modèle d'endommagement élastoplastique utilisé est suffisant pour décrire le comportement d'endommage plastique et ductile. Ils prouvent également que la KA-CMA-ES proposée améliore l'efficace de la CMA-ES. Par conséquent, le KA-CMA-ES est plus puissant et efficace que CMA-ES pour des problèmes d'optimisation coûteuse. / In order to reduce the cost of solving expensive optimization problems, this thesis devoted to Kriging-Assisted Covariance Matrix Adaptation Evolution Strategy (KA-CMA-ES). Several algorithms of KA-CMA-ES were developed and a comprehensive investigation on KA-CMA-ES was performed. Then applications of the developed KA-CMA-ES algorithm were carried out in material parameter identification of an elastic-plastic damage constitutive model. The results of experimental studies demonstrated that the developed KA-CMA-ES algorithms generally are more efficient than the standard CMA-ES and that the KA-CMA-ES using ARP-EI has the best performance among all the investigated KA-CMA-ES algorithms in this work. The results of engineering applications of the algorithm ARP-EI in material parameter identification show that the presented elastic-plastic damage model is adequate to describe the plastic and ductile damage behavior and also prove that the proposed KA-CMA-ES algorithm apparently improve the efficiency of the standard CMA-ES. Therefore, the KA-CMA-ES is more powerful and efficient than CMA-ES for expensive optimization problems.

The thesis studies selected evolution systems to use in planning of high intensity focused ultrasound surgeries. Considered algorithms are statistically analyzed and compared by appropriate criteria to find the one that adds the most value to the potential real world medical problems.