The thesis deals with recent problems of waste management in the Czech Republic. In connection with the existing software implementation, the author focuses on the gradual development of advanced mathematical programming models, which generalize existing approaches. The author applies acquired knowledge in the areas of network flows, linear, integer, and stochastic programming. The important role is played by modifications and transformations of the discussed models. They are further used to obtain the experimental results for real-world input data by implementation in GAMS.

This thesis is focused on the optimization of distributed IP flow information collector. Nowadays, the centralized collector is a frequently used solution but is already reaching its performance limits in large scale and high-speed networks. The implementation of the distributed collector is in its early phase and it is necessary to look for solutions that will use it to its full potential. Therefore this thesis proposes a shared nothing architecture without a single point of failure. Using the above proposed architecture, the distributed collector is tolerant to the failure of at least one node. A distributed flow data analysis software, whose performance scales linearly with the number of nodes, is also part of this thesis.

L’allocation de la ressource de manière optimale, dans un système dynamique étendu, consiste à la répartir et à l’acheminer aux bons endroits, aux bons moments et en bonne quantité. Les flux transportés sont caractérisés par des non-linéarités et sont soumis à des retards lors de leur transfert, mais aussi, à des déformations importantes lorsque la ressource est un fluide. Dans ce travail, nous proposons de prendre en compte, dans la modélisation de ces systèmes, l’ensemble de ces contraintes pour une gestion optimale de transport de fluide. Le système est modélisé par un réseau de transport étendu afin de représenter l’évolution de la ressource au cours du temps et d’intégrer les retards inhérents aux transferts des flux. Afin d’introduire dans le graphe la dynamique des écoulements des fluides à surface libre, nous définissons des sommets de répartition permettant la modélisation des phénomènes de propagation des flux. Les objectifs de gestion sont représentés par des coûts sur les arcs. L’allocation optimale de la ressource est obtenue par la recherche du flot de coût minimal sur le réseau de transport. A cette fin, un algorithme d’optimisation prenant en compte les contraintes additionnelles issues des sommets de répartition est proposé. Les méthodes et algorithmes développés sont appliqués au cas des systèmes hydrographiques et à la problématique de l'allocation de la ressource en eau associée. Cette dernière est devenue cruciale en raison des effets négatifs de l'anthropisation des espaces naturels, du changement climatique et de l’augmentation des besoins. Il s’agit de partager la ressource en eau entre différents usagers, conformément à un ensemble d’objectifs et de priorités. L'allocation de la ressource en eau est réalisée en trois étapes principales : le diagnostic de l'état de la ressource disponible sur le système hydrographique à l'instant initial, incluant la prévision de son évolution sur l'horizon de gestion ; la détermination des actions à réaliser sur le système hydraulique pour allouer la ressource en respectant les contraintes et les objectifs ; la surveillance des données mesurées fournissant des indicateurs reconstitués de l’état du système. Les performances de la démarche proposée sont évaluées sur divers systèmes hydrographiques soumis à de multiples régimes hydrologiques. / Optimal allocation of the resource, in a large scale system, consists in distributing it and delivering it to the right places, at the right time and in the right quantity. The transported flows are characterized by nonlinearities and are subject to delays during their transfer, but also to significant deformations when the resource is a fluid. In this work, we propose to take into account, all these constraints in the modeling of these systems, for an optimal management of fluid transport. The system is modeled by an expanded flow network in order to represent the evolution of the resource over time and to integrate the delays that are inherent in flow transfers. In order to introduce the flow dynamics of open-channel flows into the graph, we define distribution nodes allowing to model the flow propagation phenomena. The water allocation objectives are represented by costs on the network’s arcs. The optimal allocation of the resource is obtained by the search for the minimal cost flow on the network. To this end, an optimization algorithm taking into account the additional constraints resulting from the distribution nodes is proposed. The methods and algorithms developed, are applied to the case of hydrographic systems and to the water resources management problem. The latter has become crucial due to the negative effects of anthropisation of natural areas, climate change and increasing needs. Water allocation consists in sharing the water resource between different users, according to a combination of objectives and priorities. The allocation of the water resource is carried out in three main steps: the diagnosis of the state of the available resource on the hydrographic system at the initial time step, including the forecast of its evolution over the management horizon; the determination of operations to be carried out on the hydraulic system to allocate the resource according to the constraints and objectives; the monitoring of the measured data in order to provide reconstructed indicators of the system’s state. The performances of the proposed approach are evaluated on various hydrographic systems, subjected to multiple hydrological regimes.

Un sistema de gestión de sequías apropiado requiere de la anticipación de los posibles efectos que un episodio de este tipo tenga sobre el sistema de recursos hídricos. Esta tarea sin embargo resulta más complicada de lo que parece. En primer lugar, debido al alto grado de incertidumbre existente en la predicción de variables hidrológicas futuras. Y en segundo, debido al riesgo de sobrerreacción en la activación de medidas de mitigación generando falsa sensación de escasez, o sequía artificial. A este respecto, los planes especiales de sequía proveen de herramientas para la gestión eficiente de situaciones con escasez de recursos y la preparación de cara a futuros eventos. De todos modos, las diferentes estrategias de operación seguidas en cada sistema de recursos hídricos hacen que las herramientas que en algunos casos resultaron altamente útiles no lo sean tanto cuando se aplican en sistemas distintos. Debido a la falta de tiempo y/o al exceso de confianza en los trabajos realizados por terceros, con excelentes resultados en sus respectivos casos, a veces se cae en el error de implementar metodologías no del todo apropiadas en sistemas con requisitos completamente distintos. El desarrollo y utilización de metodologías generalizadas aplicables a diferentes sistemas y capaces de proporcionar resultados adaptados a cada caso es, por tanto, muy deseable. Este es el caso de las herramientas de modelación de sistemas de recursos hídricos generalizadas. Estas permiten homogeneizar los procesos mientras siguen siendo los suficientemente adaptables para proporcionar resultados apropiados para cada caso de estudio. Esta tesis presenta una serie de herramientas destinadas a avanzar en el análisis y comprensión de los sistemas de recursos hídricos, haciendo énfasis en la prevención de sequías y la gestión de riesgos. Las herramientas desarrolladas incluyen: un modelo de optimización generalizado para esquemas de recursos hídricos, con capacidad para la representación detallada de cualquier sistema de recursos hídricos, y una metodología de análisis de riesgo basada en la optimización de Monte Carlo con múltiples series sintéticas. Con estas herramientas es posible incluir tanto la componente superficial como la subterránea del sistema estudiado dentro del proceso de optimización. La optimización está basada en la resolución iterativa de redes de flujo. Se probó la consistencia y eficiencia de diferentes algoritmos de resolución para encontrar un balance entre la velocidad de cálculo, el número de iteraciones, y la consistencia de los resultados, aportando recomendaciones para el uso de cada algoritmo dadas las diferencias entre los mismos. Las herramientas desarrolladas se aplican en dos casos de estudio reales en la evaluación y posibilidad de complementación de los sistemas de monitorización y alerta temprana de sequías existentes en los mismos. En el primer caso, se propone un enfoque alternativo para la monitorización de la sequía en el sistema de operación anual del río Órbigo (España), complementándolo con la utilización de la metodología de análisis de riesgo. En el segundo caso, las herramientas se emplean en un sistema con una estrategia de operación completamente distinta. Se estudia como el análisis de riesgo de la gestión óptima puede ayudar a la activación anticipada de los escenarios de sequía en los sistemas de los ríos Júcar y Turia, cuya operación es hiperanual. En esta ocasión, el sistema de indicadores existente goza de una gran confianza por parte de los usuarios. La metodología de análisis de riesgo es, sin embargo, capaz de anticipar los eventos de sequía con mayor alarma, aspecto que es deseable si se quiere evitar que los episodios en desarrollo vayan a más. En ambos casos se muestra como la evaluación anticipada de las posibles situaciones futuras del sistema permiten una definición confiable de los escenarios de sequía con suficiente antelación para la activación efectiva de medidas de prevención y/o mitigación en caso de ser necesarias. La utilización de indicadores provenientes de modelos frente a indicadores basados en datos observados es complementaria y ambos deberían utilizarse de forma conjunta para mejorar la gestión preventiva de los sistemas de recursos hídricos. El empleo de modelos de optimización en situaciones de incertidumbre hidrológica es muy apropiado gracias a la no necesidad de definir reglas de gestión para obtener los mejores resultados del sistema, y teniendo en cuenta que las reglas de operación habituales pueden no ser completamente adecuadas en estas ocasiones. / Haro Monteagudo, D. (2014). Methodology for the optimal management design of water resources system under hydrologic uncertainty [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/45996

<p dir="ltr">This research involves numerous network intrusion techniques through novel applications of graph representation learning and image representation learning. The methods are tested on multiple publicly available network flow datasets.</p>

In Chapter 2, we propose several two-timescale simulation-based actor-critic algorithms for solution of infinite horizon Markov Decision Processes (MDPs) with finite state-space under the average cost criterion. On the slower timescale, all the algorithms perform a gradient search over corresponding policy spaces using two different Simultaneous Perturbation Stochastic Approximation (SPSA) gradient estimates. On the faster timescale, the differential cost function corresponding to a given stationary policy is updated and averaged for enhanced performance. A proof of convergence to a locally optimal policy is presented. Next, a memory efficient implementation using a feature-vector representation of the state-space and TD (0) learning along the faster timescale is discussed. A three-timescale simulation based algorithm for solution of infinite horizon discounted-cost MDPs via the Value Iteration approach is also proposed. An approximation of the Dynamic Programming operator T is applied to the value function iterates. A sketch of convergence explaining the dynamics of the algorithm using associated ODEs is presented. Numerical experiments on rate based flow control on a bottleneck node using a continuous-time queueing model are presented using the proposed algorithms. Next, in Chapter 3, we develop three simulation-based algorithms for finite-horizon MDPs (FHMDPs). The first algorithm is developed for finite state and compact action spaces while the other two are for finite state and finite action spaces. Convergence analysis is briefly sketched. We then concentrate on methods to mitigate the curse of dimensionality that affects FH-MDPs severely, as there is one probability transition matrix per stage. Two parametrized actor-critic algorithms for FHMDPs with compact action sets are proposed, the ‘critic’ in both algorithms learning the policy gradient. We show w.p1convergence to a set with the necessary condition for constrained optima. Further, a third algorithm for stochastic control of stopping time processes is presented. Numerical experiments with the proposed finite-horizon algorithms are shown for a problem of flow control in communication networks. Towards stochastic optimization, in Chapter 4, we propose five algorithms which are variants of SPSA. The original one measurement SPSA uses an estimate of the gradient of objective function L containing an additional bias term not seen in two-measurement SPSA. We propose a one-measurement algorithm that eliminates this bias, and has asymptotic convergence properties making for easier comparison with the two-measurement SPSA. The algorithm, under certain conditions, outperforms both forms of SPSA with the only overhead being the storage of a single measurement. We also propose a similar algorithm that uses perturbations obtained from normalized Hadamard matrices. The convergence w.p.1 of both algorithms is established. We extend measurement reuse to design three second-order SPSA algorithms, sketch the convergence analysis and present simulation results on an illustrative minimization problem. We then propose several stochastic approximation implementations for related algorithms in flow-control of communication networks, beginning with a discrete-time implementation of Kelly’s primal flow-control algorithm. Convergence with probability1 is shown, even in the presence of communication delays and stochastic effects seen in link congestion indications. Two relevant enhancements are then pursued :a) an implementation of the primal algorithm using second-order information, and b) an implementation where edge-routers rectify misbehaving flows. Also, discrete-time implementations of Kelly’s dual algorithm and primal-dual algorithm are proposed. Simulation results a) verifying the proposed algorithms and, b) comparing stability properties with an algorithm in the literature are presented.

The purpose of this paper is to increase the routing efficiency of two previously separate commodity transports. By combining them in a common, multi-commodity network flow (MCNF). A Mixed Integer Linear Programming (MILP) model is used to minimize the mileage that is needed to fulfill demand in the different destinations of the transport network. Input needed for the model was mileage between destinations, which was obtained from open data. And the demand of respective commodity was received from documents and an estimation. To solve the stated problem approximations and simplifications was needed because it showed a NP-complete problem. The aim is to produce a result that shows a lower mileage than a reference measure from the present situation with separate transports. The result showed an optimized solution of 1939 km. Which was a difference of 1941 km from the reference measures, that summarized to 3880 km. Despite this the result from the model shows an effective optimization. Which makes the use of MILP for minimizing mileage inside a MCNF problem, a useful approach for solving the stated problem. / Syftet med arbetet var att effektivisera körsträckor för två tidigare separata transporter av olika produkter. Genom att kombinera dem till en gemensam transport i ett multi-commodity network flow (MCNF). Med en Mixed Integer Linear Programming (MILP) modell minimeras de körsträckor som krävs för att fylla efterfrågan i transportnätverkets adresser. In-data som krävdes för att en modell skulle kunna utföras var körsträckor mellan olika adresser, vilket hämtades från öppen data. Samt efterfrågan på produkter som erhölls från dokument och estimering.  Då problemet som skulle lösas visade på hög beräkningskomplexitet behövde ett antal approximationer och förenklingar verkställas. Målet var att visa på ett resultat där körsträckor hade förminskats relativt till ett referensmått från nuläget. Där resultatet visade på en optimerad lösning på 1939 km. Vilket var en differens på 1941 km från de referensmåttet som summerades till 3880 km. Modellens resultat visar trots det en effektiv optimering. Vilket gör att användningen av MILP för att minimera körsträckor inom MCNF problem, är ett effektivt tillvägagångssätt att lösa det motiverade problemet.