[ES] La presente Tesis emplea técnicas de programación dinámica y aprendizaje por refuerzo para el control de sistemas no lineales en espacios discretos y continuos. Inicialmente se realiza una revisión de los conceptos básicos de programación dinámica y aprendizaje por refuerzo para sistemas con un número finito de estados. Se analiza la extensión de estas técnicas mediante el uso de funciones de aproximación que permiten ampliar su aplicabilidad a sistemas con un gran número de estados o sistemas continuos. Las contribuciones de la Tesis son: -Se presenta una metodología que combina identificación y ajuste de la función Q, que incluye la identificación de un modelo Takagi-Sugeno, el cálculo de controladores subóptimos a partir de desigualdades matriciales lineales y el consiguiente ajuste basado en datos de la función Q a través de una optimización monotónica. -Se propone una metodología para el aprendizaje de controladores utilizando programación dinámica aproximada a través de programación lineal. La metodología hace que ADP-LP funcione en aplicaciones prácticas de control con estados y acciones continuos. La metodología propuesta estima una cota inferior y superior de la función de valor óptima a través de aproximadores funcionales. Se establecen pautas para los datos y la regularización de regresores con el fin de obtener resultados satisfactorios evitando soluciones no acotadas o mal condicionadas. -Se plantea una metodología bajo el enfoque de programación lineal aplicada a programación dinámica aproximada para obtener una mejor aproximación de la función de valor óptima en una determinada región del espacio de estados. La metodología propone aprender gradualmente una política utilizando datos disponibles sólo en la región de exploración. La exploración incrementa progresivamente la región de aprendizaje hasta obtener una política convergida. / [CA] La present Tesi empra tècniques de programació dinàmica i aprenentatge per reforç per al control de sistemes no lineals en espais discrets i continus. Inicialment es realitza una revisió dels conceptes bàsics de programació dinàmica i aprenentatge per reforç per a sistemes amb un nombre finit d'estats. S'analitza l'extensió d'aquestes tècniques mitjançant l'ús de funcions d'aproximació que permeten ampliar la seua aplicabilitat a sistemes amb un gran nombre d'estats o sistemes continus. Les contribucions de la Tesi són: -Es presenta una metodologia que combina identificació i ajust de la funció Q, que inclou la identificació d'un model Takagi-Sugeno, el càlcul de controladors subòptims a partir de desigualtats matricials lineals i el consegüent ajust basat en dades de la funció Q a través d'una optimització monotónica. -Es proposa una metodologia per a l'aprenentatge de controladors utilitzant programació dinàmica aproximada a través de programació lineal. La metodologia fa que ADP-LP funcione en aplicacions pràctiques de control amb estats i accions continus. La metodologia proposada estima una cota inferior i superior de la funció de valor òptima a través de aproximadores funcionals. S'estableixen pautes per a les dades i la regularització de regresores amb la finalitat d'obtenir resultats satisfactoris evitant solucions no fitades o mal condicionades. -Es planteja una metodologia sota l'enfocament de programació lineal aplicada a programació dinàmica aproximada per a obtenir una millor aproximació de la funció de valor òptima en una determinada regió de l'espai d'estats. La metodologia proposa aprendre gradualment una política utilitzant dades disponibles només a la regió d'exploració. L'exploració incrementa progressivament la regió d'aprenentatge fins a obtenir una política convergida. / [EN] The present Thesis employs dynamic programming and reinforcement learning techniques in order to obtain optimal policies for controlling nonlinear systems with discrete and continuous states and actions. Initially, a review of the basic concepts of dynamic programming and reinforcement learning is carried out for systems with a finite number of states. After that, the extension of these techniques to systems with a large number of states or continuous state systems is analysed using approximation functions. The contributions of the Thesis are: -A combined identification/Q-function fitting methodology, which involves identification of a Takagi-Sugeno model, computation of (sub)optimal controllers from Linear Matrix Inequalities, and the subsequent data-based fitting of Q-function via monotonic optimisation. -A methodology for learning controllers using approximate dynamic programming via linear programming is presented. The methodology makes that ADP-LP approach can work in practical control applications with continuous state and input spaces. The proposed methodology estimates a lower bound and upper bound of the optimal value function through functional approximators. Guidelines are provided for data and regressor regularisation in order to obtain satisfactory results avoiding unbounded or ill-conditioned solutions. -A methodology of approximate dynamic programming via linear programming in order to obtain a better approximation of the optimal value function in a specific region of state space. The methodology proposes to gradually learn a policy using data available only in the exploration region. The exploration progressively increases the learning region until a converged policy is obtained. / This work was supported by the National Department of Higher Education, Science, Technology and Innovation of Ecuador (SENESCYT), and the Spanish ministry of Economy and European Union, grant DPI2016-81002-R (AEI/FEDER,UE). The author also received the grant for a predoctoral stay, Programa de Becas Iberoamérica- Santander Investigación 2018, of the Santander Bank. / Díaz Iza, HP. (2020). Value Function Estimation in Optimal Control via Takagi-Sugeno Models and Linear Programming [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/139135 / TESIS

Philosophiae Doctor - PhD / Fitted operator finite difference methods (FOFDMs) for singularly perturbed problems have been explored for the last three decades. The construction of these numerical schemes is based on introducing a fitting factor along with the diffusion coefficient or by using principles of the non-standard finite difference methods. The FOFDMs based on the latter idea, are easy to construct and they are extendible to solve partial differential equations (PDEs) and their systems. Noting this flexible feature of the FOFDMs, this thesis deals with extension of these methods to solve interior layer problems, something that was still outstanding. The idea is then extended to solve singularly perturbed time-dependent PDEs whose solutions possess interior layers. The second aspect of this work is to improve accuracy of these approximation methods via methods like Richardson extrapolation. Having met these three objectives, we then extended our approach to solve singularly perturbed two-point boundary value problems with variable diffusion coefficients and analogous time-dependent PDEs. Careful analyses followed by extensive numerical simulations supporting theoretical findings are presented where necessary.

La present tesi, tot i que emmarcada dins de la teoria de les Mesures Semblança Molecular Quántica (MQSM), es deriva en tres àmbits clarament definits:- La creació de Contorns Moleculars de IsoDensitat Electrònica (MIDCOs, de l'anglès Molecular IsoDensity COntours) a partir de densitats electròniques ajustades.- El desenvolupament d'un mètode de sobreposició molecular, alternatiu a la regla de la màxima semblança.- Relacions Quantitatives Estructura-Activitat (QSAR, de l'anglès Quantitative Structure-Activity Relationships).L'objectiu en el camp dels MIDCOs és l'aplicació de funcions densitat ajustades, ideades inicialment per a abaratir els càlculs de MQSM, per a l'obtenció de MIDCOs. Així, es realitza un estudi gràfic comparatiu entre diferents funcions densitat ajustades a diferents bases amb densitats obtingudes de càlculs duts a terme a nivells ab initio. D'aquesta manera, l'analogia visual entre les funcions ajustades i les ab initio obtinguda en el ventall de representacions de densitat obtingudes, i juntament amb els valors de les mesures de semblança obtinguts prèviament, totalment comparables, fonamenta l'ús d'aquestes funcions ajustades. Més enllà del propòsit inicial, es van realitzar dos estudis complementaris a la simple representació de densitats, i són l'anàlisi de curvatura i l'extensió a macromolècules. La primera observació correspon a comprovar no només la semblança dels MIDCOs, sinó la coherència del seu comportament a nivell de curvatura, podent-se així observar punts d'inflexió en la representació de densitats i veure gràficament aquelles zones on la densitat és còncava o convexa. Aquest primer estudi revela que tant les densitats ajustades com les calculades a nivell ab initio es comporten de manera totalment anàloga. En la segona part d'aquest treball es va poder estendre el mètode a molècules més grans, de fins uns 2500 àtoms.Finalment, s'aplica part de la filosofia del MEDLA. Sabent que la densitat electrònica decau ràpidament al allunyar-se dels nuclis, el càlcul d'aquesta pot ser obviat a distàncies grans d'aquests. D'aquesta manera es va proposar particionar l'espai, i calcular tan sols les funcions ajustades de cada àtom tan sols en una regió petita, envoltant l'àtom en qüestió. Duent a terme aquest procés, es disminueix el temps de càlcul i el procés esdevé lineal amb nombre d'àtoms presents en la molècula tractada.En el tema dedicat a la sobreposició molecular es tracta la creació d'un algorisme, així com la seva implementació en forma de programa, batejat Topo-Geometrical Superposition Algorithm (TGSA), d'un mètode que proporcionés aquells alineaments que coincideixen amb la intuïció química. El resultat és un programa informàtic, codificat en Fortran 90, el qual alinea les molècules per parelles considerant tan sols nombres i distàncies atòmiques. La total absència de paràmetres teòrics permet desenvolupar un mètode de sobreposició molecular general, que proporcioni una sobreposició intuïtiva, i també de forma rellevant, de manera ràpida i amb poca intervenció de l'usuari. L'ús màxim del TGSA s'ha dedicat a calcular semblances per al seu ús posterior en QSAR, les quals majoritàriament no corresponen al valor que s'obtindria d'emprar la regla de la màxima semblança, sobretot si hi ha àtoms pesats en joc.Finalment, en l'últim tema, dedicat a la Semblança Quàntica en el marc del QSAR, es tracten tres aspectes diferents:- Ús de matrius de semblança. Aquí intervé l'anomenada matriu de semblança, calculada a partir de les semblances per parelles d'entre un conjunt de molècules. Aquesta matriu és emprada posteriorment, degudament tractada, com a font de descriptors moleculars per a estudis QSAR. Dins d'aquest àmbit s'han fet diversos estudis de correlació d'interès farmacològic, toxicològic, així com de diverses propietats físiques.- Aplicació de l'energia d'interacció electró-electró, assimilat com a una forma d'autosemblança. Aquesta modesta contribució consisteix breument en prendre el valor d'aquesta magnitud, i per analogia amb la notació de l'autosemblança molecular quàntica, assimilar-la com a cas particular de d'aquesta mesura. Aquesta energia d'interacció s'obté fàcilment a partir de programari mecanoquàntic, i esdevé ideal per a fer un primer estudi preliminar de correlació, on s'utilitza aquesta magnitud com a únic descriptor. - Càlcul d'autosemblances, on la densitat ha estat modificada per a augmentar el paper d'un substituent. Treballs previs amb densitats de fragments, tot i donar molt bons resultats, manquen de cert rigor conceptual en aïllar un fragment, suposadament responsable de l'activitat molecular, de la totalitat de l'estructura molecular, tot i que les densitats associades a aquest fragment ja difereixen degut a pertànyer a esquelets amb diferents substitucions. Un procediment per a omplir aquest buit que deixa la simple separació del fragment, considerant així la totalitat de la molècula (calcular-ne l'autosemblança), però evitant al mateix temps valors d'autosemblança no desitjats provocats per àtoms pesats, és l'ús de densitats de Forats de fermi, els quals es troben definits al voltant del fragment d'interès. Aquest procediment modifica la densitat de manera que es troba majoritàriament concentrada a la regió d'interès, però alhora permet obtenir una funció densitat, la qual es comporta matemàticament igual que la densitat electrònica regular, podent-se així incorporar dins del marc de la semblança molecular. Les autosemblances calculades amb aquesta metodologia han portat a bones correlacions amb àcids aromàtics substituïts, podent així donar una explicació al seu comportament.Des d'un altre punt de vista, també s'han fet contribucions conceptuals. S'ha implementat una nova mesura de semblança, la d'energia cinètica, la qual consisteix en prendre la recentment desenvolupada funció densitat d'energia cinètica, la qual al comportar-se matemàticament igual a les densitats electròniques regulars, s'ha incorporat en el marc de la semblança. A partir d'aquesta mesura s'han obtingut models QSAR satisfactoris per diferents conjunts moleculars. Dins de l'aspecte del tractament de les matrius de semblança s'ha implementat l'anomenada transformació estocàstica com a alternativa a l'ús de l'índex Carbó. Aquesta transformació de la matriu de semblança permet obtenir una nova matriu no simètrica, la qual pot ser posteriorment tractada per a construir models QSAR. / The present work, even embraced by the Molecular Quantum Similarity Measures (MQSM) theory, is divided into three clearly defined frameworks:- Creation of Molecular IsoDensity Contours (MIDCOs) from fitted electronic densities.- Development of an alternative superposition method to replace the maximal similarity rule.- Quantitative Structure-Activity Relationships (QSAR).The objective in field of MIDCOs is the application of fitted density functions, initially developed to reduce the computational costs of calculating MQSM, in order to obtain MIDCOs. So, a graphical comparison is carried out using different fittings to different basis sets, derived from calculations carried out at ab initio level. In this way, the visual analogy between the density representations, along with the values of previously calculated similarity measures, which in turn are fully comparable, reinforces the usage of such fitted densities.Apart from the initial idea, two further studies were done to complement the simple density representations, these are the curvature analysis and the extension to macromolecules. The first step corresponds not only to verify the visual similarity between MIDCOs, but to ensure their coherence in their behaviour at curvature level, allowing to observe inflexion points in the representations and those regions where the density itself presents a convex or concave shape. This first study reveals that both fitted and ab initio densities behave in the same way. In the second study, the method was extended to larger molecules, up to 2500 atoms.Finally, some of the MEDLA philosophy is applied. Knowing that electronic density rapidly decays as it is measured further from nuclei, its calculation at large distances from the nearest nucleus can be avoided. In this way, a partition of the space was proposed, and the fitted density basis set is only calculated for each atom only in its vicinity. Using this procedure, the calculation time is reduced and the whole process becomes linear with the number of atoms of the studied molecule.In the chapter devoted to molecular superposition, the creation of an algorithm, along with its practical implementation, called Topo-Geometrical Superposition Algorithm (TGSA), able to direct those alignments that coincide with chemical intuition. The result is an informatics program, codified in Fortran 90, which aligns the molecules by pairs, considering only atomic numbers and coordinates. The complete absence of theoretical parameters allows developing a general superposition method, which provides an intuitive superposition, and it is also relevant, in a fast way without much user-supplied information. Major usage of TGSA has been devoted to provide an alignment to later compute similarity measures, which in turn do not customarily coincide with those values obtained from the maximal similarity rule, most if heavy atoms are present.Finally, in the last studied subject, devoted to the Quantum Similarity in the QSAR field, three different scopes are treated:1) Usage of similarity matrices. Here, the so-called similarity matrix, calculated from pairwise similarities in a molecular set, is latterly, and properly manipulated, used a source of molecular descriptors for QSAR studies. With in this framework, several correlation studies have been carried out, involving relevant pharmacological properties, as well as toxicity and physical properties.2) Application of the electron-electron repulsion energy. This simple contribution consists briefly of taking the value of this magnitude, and by analogy with the self-similarity notation, it is assimilated as a particular case of this measure. This interaction energy is easily obtainable from mecanoquantic software and becomes ideal in order to make a preliminary correlation study, where this magnitude is used as a single descriptor.3) Calculation of self-similarities, where the density has been modified to account a particular substituent. Previous studies using density fragments, even they provide valuable results, lack of conceptual rigour when isolating a fragment, supposed to be responsible for a particular molecular response, even those densities associated to a particular fragment are already different due to they belong to a common skeleton with different substitutions. A procedure able to fill the gap between usage of density fragments , which avoid the heavy atom effect, and the whole molecular density, which allows to compute a self-similarity, is proposed. It consists of using Fermi Hole density functions, where the holes are defined and averaged around a particular fragment. This procedure medifies the density in a way that is basically collapsed in this molecular bay, but allowing at the same time obtaining a a density function that behaves mathematically in the same way as a regular electronic density; hence it is included in the similarity framework. Those self-similarities computed using this procedure provide good correlations with substituted aromatic acids, allowing to provide an explanation for their acidic behaviour.From another point of view, conceptual contributions have been developed. A new similarity measure, Kinetic Energy-based, has been implemented, which consists of taking the recently developed Kinetic Energy density function, which has been incorporated into the similarity framework due to it mathematically behaves like a regular density function. Satisfactory QSAR models, derived from this new measure, have been obtained for several molecular systems. Within the similarity matrices field, it has been implemented a new scaling, called stochastic transformation, as an alternative to Carbó Index. This transformation of the matrix allows obtaining a new non-symmetric matrix, which can be later used as a source of descriptors to build QSAR model.

A high-order central essentially non-oscillatory (CENO) finite-volume scheme in combination with a block-based adaptive mesh refinement (AMR) algorithm is proposed for solution of hyperbolic and elliptic systems of conservation laws on body- fitted multi-block mesh. The spatial discretization of the hyperbolic (inviscid) terms is based on a hybrid solution reconstruction procedure that combines an unlimited high-order k-exact least-squares reconstruction technique following from a fixed central stencil with a monotonicity preserving limited piecewise linear reconstruction algorithm. The limited reconstruction is applied to computational cells with under-resolved solution content and the unlimited k-exact reconstruction procedure is used for cells in which the solution is fully resolved. Switching in the hybrid procedure is determined by a solution smoothness indicator. The hybrid approach avoids the complexity associated with other ENO schemes that require reconstruction on multiple stencils and therefore, would seem very well suited for extension to unstructured meshes. The high-order elliptic (viscous) fluxes are computed based on a k-order accurate average gradient derived from a (k+1)-order accurate reconstruction. A novel h-refinement criterion based on the solution smoothness indicator is used to direct the steady and unsteady refinement of the AMR mesh. The predictive capabilities of the proposed high-order AMR scheme are demonstrated for the Euler and Navier-Stokes equations governing two-dimensional compressible gaseous flows as well as for advection-diffusion problems characterized by the full range of Peclet numbers, Pe. The ability of the scheme to accurately represent solutions with smooth extrema and yet robustly handle under-resolved and/or non-smooth solution content (i.e., shocks and other discontinuities) is shown for a range of problems. Moreover, the ability to perform mesh refinement in regions of smooth but under-resolved and/or non-smooth solution content to achieve the desired resolution is also demonstrated.

A high-order central essentially non-oscillatory (CENO) finite-volume scheme in combination with a block-based adaptive mesh refinement (AMR) algorithm is proposed for solution of hyperbolic and elliptic systems of conservation laws on body- fitted multi-block mesh. The spatial discretization of the hyperbolic (inviscid) terms is based on a hybrid solution reconstruction procedure that combines an unlimited high-order k-exact least-squares reconstruction technique following from a fixed central stencil with a monotonicity preserving limited piecewise linear reconstruction algorithm. The limited reconstruction is applied to computational cells with under-resolved solution content and the unlimited k-exact reconstruction procedure is used for cells in which the solution is fully resolved. Switching in the hybrid procedure is determined by a solution smoothness indicator. The hybrid approach avoids the complexity associated with other ENO schemes that require reconstruction on multiple stencils and therefore, would seem very well suited for extension to unstructured meshes. The high-order elliptic (viscous) fluxes are computed based on a k-order accurate average gradient derived from a (k+1)-order accurate reconstruction. A novel h-refinement criterion based on the solution smoothness indicator is used to direct the steady and unsteady refinement of the AMR mesh. The predictive capabilities of the proposed high-order AMR scheme are demonstrated for the Euler and Navier-Stokes equations governing two-dimensional compressible gaseous flows as well as for advection-diffusion problems characterized by the full range of Peclet numbers, Pe. The ability of the scheme to accurately represent solutions with smooth extrema and yet robustly handle under-resolved and/or non-smooth solution content (i.e., shocks and other discontinuities) is shown for a range of problems. Moreover, the ability to perform mesh refinement in regions of smooth but under-resolved and/or non-smooth solution content to achieve the desired resolution is also demonstrated.

The Bronx Cocked Back And Smoking is a collection of multifarious prose performances recounting the historical, personal, social, political and cultural constructs of a city birthed by violence. This body of work is accompanied by video, audio, photography, and theatre performance texts. St. Mary’s Housing project, in the Bronx, is the foundation where most of this literary work takes place. The modern day Griot (storyteller) is a Poet, guiding his audience through the social inequalities and disparities that plague St. Mary’s community. The Poet shares personal traumatic insights while simultaneously utilizing writing as a form of survival to the conditions of the Bronx. This multi-platform performance highlights the metaphorical and physical concerns with the cycle of violence. This question is answered through the Poet’s choice by selecting the pen over the gun.

"The sick body needs a doctor friend sick souls." (Menandros)