Spelling suggestions: "subject:"tecnologies"" "subject:"thecnologies""
41 |
Ensemble Case Based Learning for Multi-Agent SystemsOntañón Villar, Santi 20 June 2005 (has links)
Esta monografía presenta un marco de trabajo para el aprendizaje en un escenario de datos distribuidos y con control descentralizado. Hemos basado nuestro marco de trabajo en Sistemas Multi-Agente (MAS) para poder tener control descentralizado, y en Razonamiento Basado en Casos (CBR), dado que su naturaleza de aprendizaje perezoso lo hacen adecuado para sistemas multi-agentes dinámicos. Además, estamos interesados en agentes autónomos que funcionen como ensembles. Un ensemble de agentes soluciona problemas de la siguiente manera: cada agente individual soluciona el problema actual individualmente y hace su predicción, entonces todas esas predicciones se agregan para formar una predicción global. Así pues, en este trabajo estamos interesados en desarrollar estrategias de aprendizaje basadas en casos y en ensembles para sistemas multi-agente.Concretamente, presentaremos un marco de trabajo llamado Razonamiento Basado en Casos Multi-Agente (MAC), una aproximación al CBR basada en agentes. Cada agente individual en un sistema MAC es capaz de aprender y solucionar problemas individualmente utilizando CBR con su base de casos individual. Además, cada base decasos es propiedad de un agente individual, y cualquier información de dicha base de casos será revelada o compartida únicamente si el agente lo decide así. Por tanto, este marco de trabajo preserva la privacidad de los datos y la autonomía de los agentes para revelar información.Ésta tesis se centra en desarrollar estrategias para que agentes individuales con capacidad de aprender puedan incrementar su rendimiento tanto cuando trabajan individualmente como cuando trabajan como un ensemble. Además, las decisiones en un sistema MAC se toman de manera descentralizada, dado que cada agente tiene autonomía de decisión. Por tanto, las técnicas desarrolladas en este marco de trabajo consiguen un incremento del rendimiento como resultado de decisiones individuales tomadas de manera descentralizada. Concretamente, presentaremos tres tipos de estrategias: estrategias para crear ensembles de agentes, estrategias para realizar retención de casos en sistemas multi-agente, y estrategias para realizar redistribución de casos. / This monograph presents a framework for learning in a distributed data scenario with decentralized decision making. We have based our framework in Multi-Agent Systems (MAS) in order to have decentralized decision making, and in Case-Based Reasoning (CBR), since the lazy learning nature of CBR is suitable for dynamic multi-agent systems. Moreover, we are interested in autonomous agents that collaborativelywork as ensembles. An ensemble of agents solves problems in the following way: each individual agent solves the problem at hand individually and makes its individual prediction, then all those predictions are aggregated to form a global prediction. Therefore, in this work we are interested in developing ensemble case basedlearning strategies for multi-agent systems.Specifically, we will present the Multi-Agent Case Based Reasoning (MAC) framework, a multi-agent approach to CBR. Each individual agent in a MAC system is capable of individually learn and solve problems using CBR with an individual case base. Moreover, each case base is owned and managed by an individual agent, and any information is disclosed or shared only if the agent decides so. Thus, this framework preserves the privacy of data, and the autonomy to disclose data.The focus of this thesis is to develop strategies so that individual learning agents improve their performance both individually and as an ensemble. Moreover, decisions in the MAC framework are made in a decentralized way since each individual agent has decision autonomy. Therefore, techniques developed in this framework achieve an improvement of individual and ensemble performance as a result of individual decisions made in a decentralized way. Specifically, we will present three kind of strategies: strategies to form ensembles of agents, strategies to perform case retention in multi-agent systems, and strategies to perform case redistribution.
|
42 |
Study of relevant factors in the treatment of effluents by fungi for the degradation of emerging contaminantsBadia Fabregat, Marina 05 December 2014 (has links)
Els contaminants emergents són un ampli grup de compostos orgànics detectats en diversos compartiments ambientals. Tot i que la seva concentració normalment està compresa entre els ng/L fins a pocs µg/L (força inferior que els contaminants orgànics convencionals), poden representar una amenaça per a la salut humana i el medi ambient. D’entre tots els contaminants emergents, els principis actius dels fàrmacs (PhACs) i els compostos disruptors endocrins (EDCs) generen una especial preocupació. Per altra banda, està àmpliament acceptat que la seva principal font d’entrada al medi ambient són els efluents de les plantes depuradores, on els tractaments convencionals de llots actius no són capaços de degradar-ne la majoria. Per tant, s’han de buscar tractaments alternatius. Una d’aquestes alternatives podria ser l’ús de fongs ligninolítics, aprofitant el seu sistema enzimàtic que els hi confereix l’habilitat de degradar un rang molt ampli de contaminants.
Aquesta tesi avalua diferents aspectes relacionats amb la degradació de contaminants emergents per part de fongs. El fong de podridura blanca Trametes versicolor, àmpliament estudiat, és el que s’ha triat per a dur a terme els experiments d’aquesta tesi.
Primer de tot s’ha estudiat la degradació individual de determinats contaminants. Tenint en compte que la degradació dels EDCs ha estat menys estudiada que la dels PhACs, es van seleccionar sis EDCs pertanyents als grups dels filtres UV (benzofenona-3 (BP3), benzofenona-1 (BP1) i 3-(4-metilbenzilidè) càmfor (4-MBC)) i dels benzotriazols (1H-benzotriazol (BTZ) i toliltriazol, una mescla de 4-metilbenzotriazol (4-MBTZ) i 5-metilbenzotriazol (5-MBTZ)). S’ha fet, doncs, un seguiment de la seva degradació per part de T. versicolor, la toxicitat aguda i les activitats estrogènica i de tipus dioxina, s’han identificat els metabòlits generats pel fong i s’han suggerit els primers passos de la via de degradació.
A més a més, el destí de determinats contaminants (la BP3 i l’analgèsic i antiinflamatori diclofenac) durant la seva degradació per part del fong ha estat avaluada a través de compostos marcats amb l’isòtop estable 13C. La combinació d’anàlisis de la composició isotòpica del C del CO2 i de la biomassa total i el sondeig d’isòtops estables en aminoàcids (aa-SIP) han permès la discriminació entre simple transformació, mineralització oxidativa o incorporació del carboni a la biomassa. Pel que fa als dos compostos estudiats, els dos s’han mineralitzat però s’ha vist que només la BP3 s’utilitza com a font de carboni i és incorporada a la biomassa del fong.
Per una altra banda, es van tractar dos efluents reals (l’aigua residual d’un hospital veterinari i el concentrat d’osmosi inversa d’una planta pilot de tractament d’aigües residuals urbanes) en un bioreactor de fongs fluïditzat per polsos d’aire i operat sota diferents condicions operacionals (estèril/no estèril i discontinu/continu) en vistes a una possible implementació futura. Amb aquesta intenció, aquesta tesi apunta a la importància de l’addició externa de nutrients i al control de l’aeració, els quals haurien de ser optimitzats per a obtenir una eliminació eficient de contaminants per part del fong inoculat.
En aquesta tesi també es remarca la importància dels processos de conjugació i desconjugació. Per una banda, són una una restricció en l’avaluació de la degradació en efluents reals a causa de la seva absència en els mètodes analítics i, per l’altra, els conjugats representen uns metabòlits intermedis importants durant la degradació per part del fong dels contaminants seleccionats .
També es van realitzar anàlisis de biologia molecular (anàlisi dels àcids grassos dels fosfolípids (PLFA), PCR quantitativa (qPCR) i gel d’electroforesis en gradient desnaturalitzant (DGGE)) amb l’objectiu de trobar alguna correlació entre l’operació dels bioreactors i el comportament del fong inoculat i els altres microorganismes que es desenvolupen en els bioreactors no estèrils. Els resultats suggereixen que els paràmetres de seguiment clàssics (com poden ser l’activitat lacasa) podrien no ser uns bons indicadors de la supervivència i predominança del fong inoculat. / Emerging contaminants are a wide group of organic compounds detected in many environmental compartments. Even though their environmental concentration is usually in the range of ng L-1 to low µg L-1 (much lower than conventional organic pollutants), they still represent a threat to human health and the environment. Among emerging contaminants, pharmaceutically active compounds (PhACs) and endocrine disrupting compounds (EDCs) are of special concern. It is widely accepted that the main source to the environment are the effluents of wastewater treatment plants (WWTPs), where conventional activated sludge treatments are not able to degrade most of them. Therefore, alternative treatments should be found. One of those alternatives might be the use of ligninolytic fungi by taking advantage of their enzymatic system, that conferes them the ability to degrade a broad range of contaminants.
The present thesis assesses different factors related to the fungal degradation of emerging contaminants. The widely studied white-rot fungus Trametes versicolor has been chosen to carry out all the experiments of this thesis.
First of all, individual degradation of selected contaminants was studied. Taking into account that EDCs degradation has been less studied than PhACs, six EDCs belonging to the groups of UV filters (benzophenone-3 (BP3), benzophenone-1 (BP1) and 3-(4-methylbenzylidene) camphor (4-MBC)) and benzotriazoles (1H-benzotriazole (BTZ) and tolyltriazole, a mixture of 4-methylbenzotriazole (4-MBTZ) and 5-methylbenzotriazole (5-MBTZ)) were selected. Their degradation by T. versicolor, acute toxicity, estrogenic and dioxin-like activities were monitored, the fungal metabolites were identified and the first steps of the degradation pathway were suggested.
Moreover, the fate during fungal degradation of certain contaminants (BP3 and the analgesic and anti-inflammatory diclofenac) was assessed by means of compounds labelled with the stable isotope 13C. Combination of analyses of carbon isotopic composition of CO2, bulk biomass and amino acids-stable isotope probing (aa-SIP) allowed the distinction between simple transformation, oxidative mineralization or carbon incorporation into the biomass. Regarding the two studied compounds, both of them were mineralized, but only BP3 was found to be used as carbon source and incorporated in the fungal biomass.
On the other hand, two real effluents (veterinary hospital wastewater and a reverse osmosis concentrate from a pilot plant treating urban wastewater) were treated in fungal air-pulsed fluidized bioreactors under different operational conditions (sterile/non-sterile and batch/continuous) in view of a possible future implementation. With respect to that, the present thesis points out the importance of an external addition of nutrients and the control of aeration, which should be further optimized for an efficient removal of contaminants by the inoculated fungus.
The importance of conjugation and deconjugation processes is also highlighted in this thesis. They are a restriction in the assessment of emerging contaminants degradation in real effluents due to the absence of conjugates in the analytical methods and, at the same time, conjugates are important intermediate metabolites in the fungal degradation of the selected contaminants.
Molecular biology analyses (phospholipid fatty acids analysis (PLFA), real-time PCR (qPCR) and denaturing gradient gel electrophoresis (DGGE)) were performed as well with the aim of finding some correlation between the operation of the bioreactors and the performance of the inoculated fungus and the other microorganisms that could develop in the non-sterile bioreactors. Results suggest that the classical parameters monitored (i.e. laccase activity) might not be good indicators of inoculated fungus survival and predominance.
|
43 |
TDP-Shell: Entorno para acoplar gestores de colas y herramientas de monitorizaci on.Ivars Camañez, Vicente-José 06 September 2012 (has links)
Hoy en día la mayoría de aplicaciones distribuidas se ejecutan en clusters de ordenadores gestionados por un gestor de colas.
Por otro lado, los usuarios pueden utilizar las herramientas de monitorización actuales para detectar los problemas en sus aplicaciones distribuidas. Pero para estos usuarios, es un problema utilizar estas herramientas de monitorización cuando el cluster está controlado por un gestor de colas.
Este problema se debe al hecho de que los gestores de colas y las herramientas de monitorización, no gestionan adecuadamente los recursos que deben compartir al ejecutar y operar con aplicaciones distribuidas. A este problema le denominamos "falta de interoperabilidad" y para resolverlo se ha desarrollado un entorno de trabajo llamado TDP-Shell. Este entorno soporta, sin alterar sus códigos fuentes, diferentes gestores de colas, como Cóndor o SGE y diferentes herramientas de monitorización, como Paradyn, Gdb y Totalview. / Nowadays distributed applications are executed on computer clusters managed by a Batch Queue Systems. Users take advantage of Monitoring Tools to detect
run-time problems on their applications running on a distributed environment. But it is a challenge to use Monitoring Tools on a
cluster controlled by a Batch Queue System. This is due to the fact that Batch Queue Systems and Monitoring Tools do not
coordinate the management of the resources they share, when executing a distributed application. We call this problem "lack
of interoperability" and to solve it we have developed a framework called TDP-Shell. This framework supports different
Batch Queue Systems such as Condor and SGE, and different Monitoring Tools such as Paradyn, Gdb and Totalview,
without any changes on their source code.
This thesis describes the development of the TDP-Shell framework, which allows monitoring both sequential and distributed applications that are
executed on a cluster controlled by a Batch Queue System, as well as a new type of monitoring called "delayed".
|
44 |
Facing the Challenge of Automated Negotiation with HumansFàbregues, Àngela 13 December 2012 (has links)
El camp de recerca en negociació ha estat estudiat des de diferents perspectives. Entre elles: la teoria de jocs, la psicologia, els negocis, la neuro-economia, i la psico-farmacologia. L'estudi computacional de la negociació s'anomena negociació automàtica. La majoria de les feines sobre negociació automàtica assumeixen que els agents són racionals, i els problemes estàtics. En canvi, els éssers humans són racionalment limitats, i els problemes acostumen a ser dinàmics. Sovint resulta impossible explorar l'espai de negociació complet degut a l'esgotament del temps i al dinamisme del problema. En el moment en què es troba una solució òptima, aquesta ja ha deixat de ser òptima des de fa temps. Els actuals bancs de proves disponibles sobre negociació automàtica es troben amb els mateixos problemes. Els que pretenen ser compatibles amb agents humans assumeixen que aquests són racionals, o utilitzen dominis artificials que requereixen una instrucció intensiva dels éssers humans per tal que puguin participar en els experiments. Aquesta tesi contribueix a la negociació automàtica definint una arquitectura d'agent adequada per a negociar amb els humans, i un banc de proves que resol els problemes existents a l'hora d'incloure humans en els experiments.
L'arquitectura d'agent s'anomena HANA, permet múltiples negociacions bilaterals sobre accions a realitzar, i s'ocupa de la pre-negociació tot cercant bons conjunts d'accions i ofertes. Es tracta d'una arquitectura modular basada en un model ecològic de la racionalitat. L'estat mental de l'agent es representa amb graus de creences, desitjos dinàmics i intencions generals. Utilitzem una nova tècnica de cerca&negociació on la cerca i la negociació van de la mà: una proporcionant ofertes per a proposar, i l'altra compromisos per a podar l'espai de cerca, i informació per a afinar l'avaluació de les ofertes. Es defineixen diverses estratègies de negociació que es poden combinar dinàmicament. L'arquitectura és extensible permetent la incorporació de nous models de comportament.
El banc de proves s'anomena DipGame i es basa en un joc de taula molt popular on ser un bon negociador és crucial per a guanyar. Aquest banc de proves permet l'estudi de les relacions, les emocions i les coalicions que tenen lloc durant successives negociacions entre éssers humans. Hi ha moltes oportunitats d'estudi en diversos temes de recerca, tots ells vinculats a la negociació. L'estudi d'un tema o d'un altre es selecciona restringir el llenguatge utilitzat durant el joc. El banc de proves proporciona un marc pel desenvolupament d'agents i diverses eines de negociació per a la representació dels missatges i la comunicació entre ells. DipGame dóna suport a l'execució d'experiments utilitzant un programa anomenat GameManager, i facilita la inclusió dels éssers humans amb un altre programa anomenat ChatApp. A més, es dóna suport a l'anàlisi dels resultats amb un programa diferent anomenat DipTools.
Aquesta tesi es completa amb una definició formal del problema, una especificació formal del joc i l'aplicació del treball a la indústria dels jocs / The research field of negotiation has been studied from many different perspectives, among them: game theory, psychology, business, neuroeconomics, and psychopharmacology. The computational study of negotiations is denoted by automated negotiation. Most works on automated negotiation assume rational agents and static negotiation problems. However, humans are rationally bounded, and their negotiations are usually dynamic. It is often impossible to explore the complete negotiation space due to time limitations and the dynamics of the problem. By the time that an optimal solution is found, the solution is not optimal any more. Currently available testbeds on automated negotiation share the same shortcomings. Those testbeds that intend to involve humans in experiments assume that humans are rational, or are defined over artificial domains that require intense instruction of experiment participants. This thesis contributes to automated negotiation defining an agent architecture suitable to negotiate with humans, and a testbed that allows for an easy participation of humans in experiments.
We denote the agent architecture by HANA. It allows multiple bilateral negotiations about actions, and deals with pre-negotiation looking for good enough sets of actions and offers. It is a modular architecture based on an ecological model of rationality. The mental state of the agent is represented as graded beliefs, dynamic desires and general intentions. We use a novel search&negotiation technique where search and negotiation go hand in hand: the former providing offers to propose, and the later providing commitments for pruning the search space, and information for fine-tuning the evaluation of offers. Several negotiation strategies are provided that can be dynamically combined. The architecture is extensible, allowing the incorporation of new behavioural models.
The name of the testbed is DipGame. It is based on a popular board game where being a skilled negotiator is crucial for winning. DipGame allows the study of relationships, emotions, and coalitions that take place during successive negotiations involving humans. There are many research opportunities in different topics all of them connected to negotiation. The study of a topic or another is selected constraining the negotiation language used during the game. The testbed provides a framework for agent development, and several negotiation utilities for the representation of messages and communication among agents. It assists the execution of experiments using a graphical software application called GameManager. It facilitates the inclusion of humans with another application called ChatApp. Moreover, the analysis of results is supported by a different application called DipTools.
This thesis is completed with a formal definition of the problem, a formal specification of the game, and the application of the work to the game industry.
|
45 |
Planificación de DAGS en entornos oportunísticosLópez Hernández, Maria del Mar 13 September 2012 (has links)
Las aplicaciones tipo workflow se caracterizan por tener un elevado tiempo de cómputo y una elevada transferencia de datos. Como consecuencia, el tiempo de ejecución o makespan de un workflow es elevado. Con el propósito de reducir el makespan del workflow, las tareas se ejecutan en diferentes máquinas interconectadas a través de una red. Asignar correctamente las tareas del DAG a las máquinas disponibles del entorno de ejecución mejora el makespan. El encargado de realizar la asignación de las tareas del workflow a las máquinas es el planificador.
El problema de un planificador estático es que no tiene en cuenta los cambios ocurridos en el entorno de ejecución durante la ejecución del DAG. La solución a este problema ha sido el desarrollo de un nuevo planificador dinámico.
El planificador dinámico mejora el makespan del DAG debido a que considera los cambios ocurridos en el entorno de ejecución durante la ejecución del workflow, pero como contrapartida, genera overhead producido a consecuencia de reaccionar ante los cambios detectados. El objetivo de este trabajo es proporcionar estrategias que reducen el overhead del planificador dinámico, sin afectar al makespan del DAG. Para reducir el overhead, el algoritmo reacciona ante los cambios detectados durante la ejecución del DAG únicamente si anticipa que su makespan mejora.
La política dinámica desarrollada ha sido evaluada a través de ejecuciones simuladas y ejecuciones realizadas en un entorno oportunístico real. En la experimentación simulada se ha mejorado el makespan entre 5% y 30%, y en la experimentación real la mejora del makespan ha sido entre 5% y 15%. En lo que respecta al overhead, éste se ha reducido como mínimo un 20% respecto a otras políticas de planificación dinámicas. / Workflow applications exhibit both high computation times and data transfer rates. For this reason, the completion time or makespan of the workflow is high. To reduce completion time, tasks of a workflow ought to run on different machines interconnected by a network. Efficient assignment of tasks to machines within the runtime environment is an important aspect to achieve a good makespan. The manager making these assignment is the scheduler.
The main problem of a static scheduler is that it ignores changes that occur in the execution environment during workflow execution. To solve this problem, we developed a new dynamic scheduler.
Taking into account the changes that occur to the execution environment during the execution of the DAG improves
the makespan, but generates overhead as a result of reacting to the detected changes. The objective of this thesis was to reduce the overhead incurred by excessive self-adaptations, without affecting the makespan. To reduce overhead, the proposed dynamic algorithm self-adapts only when an improvement in makespan is expected.
The proposed policies have been evaluated by simulation and executed in a real environment. In simulated experiments we achieved a makespan improvement between 5% and 30%, while in real experiments the makespan improvement was between 5% and 15%. Regarding the overhead, our strategy incurred in at least 20% less overhead than other dynamic scheduling policies.
|
46 |
Performance Improvement Methodology based on Divisible Load Theory for Data Intensive ApplicationsRosas Mendoza, Claudia 16 July 2012 (has links)
L'augment de la quantitat de dades que necessiten ser processades actualment, representa
un dels majors reptes a l' ambit de la computaci o. Aix o ha perm es el creixement d'aplicacions
amb requeriments especials conegudes com aplicacions intensives en dades. En general, per
afavorir l'execuci o en paral lel de aquest tipus d'aplicacions, les dades d'entrada son partits en
trossos m es petits que poden ser processats individualment. No obstant aix o, en molts casos,
aquestes aplicacions mostren problemes graus de rendiment, deguts principalment a desequilibris
de c arrega, l' us ine cient dels recursos de c omput disponibles, i inadequades pol tiques de partici o
i distribuci o de les dades. A m es, l'impacte d'aquests problemes de rendiment es pot veure
acrescut pel comportament din amic de l'aplicaci o.
Aquest treball proposa una metodologia per a millorar, din amicament, el rendiment d'aplicacions
intensives en dades, basat en: (i) l'adaptaci o de la grand aria i nombre de les particions de
dades amb la nalitat de reduir el temp d'execuci o total; i (ii) l'adaptaci o del nombre de nodes de
c omput per aconseguir una execuci o e cient. Proposem observar el comportament de l'aplicaci o
per cada iteraci o (o consulta) i utilitzar les dades recollides per a ajustar din amicament el seu
rendiment. La metodologia assumeix que cada execuci o inclou m ultiples consultes relacionades
sobre una unica c arrega de treball partida.
L'ajust del factor de partici o de la c arrega de treball es fa mitjan cant la de nici o de la
grand aria inicial dels trossos de dades; la modi caci o de la pol tica de plani caci o (per a enviar
primerament els trossos amb major temps d'execuci o); la divisi o dels trossos amb major temps
d'execuci o; i el agrupament de trossos de dades amb temps de c omput massa curts. Els criteris
per a decidir si el trossos es divideixen o es agrupen estan basats en els temps d'execuci o associats
a cada tros (com el temps mitj a i la desviaci o est andard) aix com tamb e en el nombre de nodes
de c omputs que s'estan utilitzant. A m es a m es, el referent a l' us de recursos de c omput es va
abordar mitjan cant l'avaluaci o din amica del rendiment de l'aplicaci o, juntament amb l'estimaci o
i modi caci o del nombre de nodes de processament que es puguin utilitzar e cientment.
Hem avaluat la nostra proposta usant aplicacions intensives en dades reals i sint etiques. Aix
com tamb e hem analitzat les expressions anal tiques propostes mitjan cant simulaci o. Despr es
d'aplicar la nostra metodologia, hem obtingut resultats prometedors en la reducci o del temps
total d'execuci o i l' us e cient dels recursos.
Paraules claus: balanceig de c arrega; an alisi i sintonitzaci o din amic del rendiment;
aplicacions intensives en dades; c arrega arbitr ariament divisible. / La gran cantidad de datos que recientemente necesitan ser procesados, representa uno de los
mayores retos en el campo de la computaci on. Esto ha conllevado al crecimiento de aplicaciones
con requerimientos especiales conocidas como aplicaciones intensivas en datos. En general, para
facilitar la ejecuci on en paralelo de aplicaciones intensivas en datos, los datos de entrada son
divididos en trozos m as peque~nos que pueden ser procesados individualmente. Sin embargo,
en muchos casos, estas aplicaciones muestran graves problemas de rendimiento debidos principalmente
a desbalances de carga, uso ine ciente de los recursos de c omputo disponibles, e
inapropiadas pol ticas de partici on y distribuci on de los datos. Adem as, el impacto de dichos
problemas de rendimiento puede depender del comportamiento din amico de la aplicaci on.
Este trabajo propone una metodolog a para mejorar, din amicamente, el rendimiento de
aplicaciones intensivas en datos, en base a: (i) adaptar el tama~no y el n umero de las particiones
de datos con el n de reducir el tiempo de ejecuci on total; y (ii) adaptar el n umero de
nodos de c omputo para conseguir una ejecuci on e ciente. Proponemos monitorizar el comportamiento
de la aplicaci on para cada iteraci on (o consulta) y usar los datos recogidos para ajustar
din amicamente el rendimiento de la aplicaci on. La metodolog a asume que una sola ejecuci on
incluye m ultiples consultas relacionadas sobre una misma carga de trabajo particionada.
El ajuste del factor de partici on de la carga de trabajo es llevado a cabo a trav es de la
de nici on del tama~no inicial de los trozos de datos; la modi caci on de la pol tica de plani caci on,
para enviar primero los trozos de datos con los tiempos de procesamiento m as largos; la divisi on
de dichos trozos de datos; y el agrupamiento de trozos de datos con tiempos de c omputo muy
cortos. Los criterios para decidir dividir o agrupar trozos est an basados en los tiempos de
ejecuci on asociados a cada pieza (tiempo medio y desviaci on est andar) y en el n umero de elementos
de c omputo que est an siendo utilizados. Adicionalmente, lo inherente al uso de los
recursos se abord o mediante la evaluaci on din amica del rendimiento de la aplicaci on, junto con
la estimaci on y consiguiente modi caci on del n umero de nodos de procesamiento que pueden ser
utilizados e cientemente.
Hemos evaluado nuestra propuesta usando aplicaciones intensivas en datos reales y sint eticas.
As como tambi en hemos analizado las expresiones anal ticas propuestas a trav es de simulaci on.
Luego de aplicar nuestra metodolog a, hemos obtenido resultados prometedores en la reducci on
del tiempo total de ejecuci on y el uso e ciente de los recursos.
Palabras clave: balanceo de carga; an alisis y sintonizaci on din amico del rendimiento;
aplicaciones intensivas en datos; carga arbitrariamente divisible. / The recent large amount of data needing to be processed represents one of the major challenges
in the computational eld. This fact led to the growth of specially designed applications
known as data-intensive applications. In general, to ease the parallel execution of data-intensive
applications input data is divided into smaller data chunks that can be processed separately.
However, in many cases, these applications show severe performance problems mainly due to
load imbalance, ine cient use of available resources, and improper data partition policies. In
addition, the impact of these performance problems can depend on the dynamic behavior of the
application.
This work proposes a methodology to dynamically improve the performance of data-intensive
applications based on: (i) adapting the size and the number of data partitions to reduce overall
execution time; and (ii) adapting the number of processing nodes to achieve an e cient execution.
We propose to monitor the application behavior for each iteration (query) and use gathered
data to dynamically tune the performance of the application. The methodology assumes that a
single execution includes multiple related queries on the same partitioned workload.
The adaptation of the workload partition factor is addressed through the de nition of the
initial size for the data chunks; the modi cation of the scheduling policy to send rst data
chunks with large processing times; dividing of the data chunks with the biggest associated
computation times; and joining of data chunks with small computation times. The criteria
for dividing or gathering chunks are based on the chunks' associated execution time (average
and standard deviation) and the number of processing elements being used. Additionally, the
resources utilization is addressed through the dynamic evaluation of the application performance
and the estimation and modi cation of the number of processing nodes that can be e ciently
used.
We have evaluated our strategy using a real and a synthetic data-intensive application.
Analytical expressions have been analyzed through simulation. Applying our methodology, we
have obtained encouraging results reducing total execution times and e cient use of resources.
Keywords: load balancing; dynamic performance analysis and tuning; Data-intensive
applications; arbitrarily divisible load.
|
47 |
Many-to-Many High Order Matching. Applications to Tracking and Object SegmentationRubio Ballester, Jose C. 28 September 2012 (has links)
La correspondència de característiques és un problema fonamental de la Visió per Computador, que té múltiples aplicacions com el seguiment, la classificació i recuperació d’imatges, el reconeixement de formes i la visió estereoscòpica. En molts àmbits, és útil per representar l’estructura local de les carácterístiques en correspondència, per augmentar la precissió o per fer les correspondències invariants a certes transformacions (afins, homografies, etc...). No obstant això, la codificació d’aquest coneixement requereix complicar el model mitjançant l’establiment de relacions d’ordre alt entre els elements del model, i per tant l’augment de la complexitat del problema d’optimització.
La importància de les correspondències molts-a-molts es de vegades ignorada en la literatura. La majoria dels mètodes es limiten a realizar correspondències un-a-un, generalment validant en conjunts de dades sintètiques, o no realistes. En un entorn real, amb variacions d’escala, il.luminació i orientació de l’objecte d’interés, i amb la presència d’oclusions, desordre, i observacions sorolloses, les relacions molts-a-molts son necessàries per aconseguir resultats satisfactoris. Com a conseqüència, trovar la correspondència molts-a-molts més probable, implica un procés complicat d’optimització combinatòria.
En aquest treball dissenyem i demostrem algorismes de correspondència que calculen associacions molts-a-molts, i que poden ser aplicats a diversos problemes difícils de resoldre. El nostre objectiu és fer ús de representacios d’ordre alt per millorar el poder expressiu de la correspondència, alhora que ferm possible el procés d’inferència o l’optimització d’aquests models. Al llarg de la tesi, hem utilitzat eficaçment els models gràfics com la nostra representació preferida, ja que proporcionen un marc probabilístic elegant per abordar problemes de predicció estructurada.
Hem introdüit un algorisme de seguiment bassat en correspondències que es porten a terme entre els fotogrames d’una sequència de vídeo, per tal de resoldre el problema de segument de fars de cotxes durant la nit. També generalitzem aquest mateix algorisme per resoldre el problema de l’associació de dades aplicat a different escenaris de seguiment. Hem demostrat l’eficàcia d’aquest enfoc en seqüències de vídeo reals i demostrem que el nostre algorisme de seguiment es pot utilitzar per millorar la precisió d’un sistema de classificació de fars de cotxes.
A la segona part d’aquest treball, pasem desde correspondències no denses (punts) cap a correspondèencies denses (regions), i introdüim una nova representació jeràrquica d’imatges. Seguidament, fem ús d’aquest model per desenvolupar correspondències molts-a-molts d’ordre alt entre parelles d’imatges. Demostrem que l’ús de models d’ordre alt en comparació amb altres models més senzills no només millora l’exactitud dels resultats, sinó també la velocitat de convergència de l’algorisme d’inferència. Finalment, seguim explotant la idea de correspondència de regions per dissenyar un algorisme de co-segmentació completament no supervisat, que és capaç de competir amb altres mètodes supervisats de l’estat-de-l’art. El nostre mètode supera inconvenients típics d’alguns treballs passats, com evitar la necesitat d’aparences variades al fons de les imatges. La correspondència de regions en aquest cas s’aplica per explotar eficaçment la informació compartida entre les imatges. També extenem aquest treball per dur a terme co-segmentació de vídeos, sent la primera vegada que s’aborda aquest problema. / Feature matching is a fundamental problem in Computer Vision, having multiple applications such as tracking, image classification and retrieval, shape recognition and stereo fusion. In numerous domains, it is useful to represent the local structure of the matching features to increase the matching accuracy or to make the correspondence invariant to certain transformations (affine, homography, etc…). However, ncoding this knowledge requires complicating the model by establishing high-order relationships between the model elements, and therefore increasing the complexity of the optimization problem.
The importance of many-to-many matching is sometimes dismissed in the literature. Most methods are restricted to perform one-to-one matching, and are usually validated on synthetic, or non-realistic datasets. In a real challenging environment, with scale, pose and illumination variations of the object of interest, as well as the presence of occlusions, clutter, and noisy observations, many-to-many matching is necessary to achieve satisfactory results. As a consequence, finding the most likely many-to-many correspondence often involves a challenging combinatorial optimization process.
In this work, we design and demonstrate matching algorithms that compute many-to-many correspondences, applied to several challenging problems. Our goal is to make use of high-order representations to improve the expressive power of the matching, at the same time that we make feasible the process of inference or optimization of such models. We effectively use graphical models as our preferred representation because they provide an elegant probabilistic framework to tackle structured prediction problems.
We introduce a matching-based tracking algorithm which performs matching between frames of a video sequence in order to solve the difficult problem of headlight tracking at night-time. We also generalize this algorithm to solve the problem of data association applied to various tracking scenarios. We demonstrate the effectiveness of such approach in real video sequences and we show that our tracking algorithm can be used to improve the accuracy of a headlight classification system.
In the second part of this work, we move from single (point) matching to dense (region) matching and we introduce a new hierarchical image representation. We make use of such model to develop a high-order many-to-many matching between pairs of images. We show that the use of high-order models in comparison to simpler models improves not only the accuracy of the results, but also the convergence speed of the inference algorithm.
Finally, we keep exploiting the idea of region matching to design a fully unsupervised image cosegmentation algorithm that is able to perform competitively with state-of-the-art supervised methods. Our method also overcomes the typical drawbacks of some of the past works, such as avoiding the necessity of variate appearances on the image backgrounds. The region matching in this case is applied to effectively exploit inter-image information. We also extend this work to perform co-segmentation of videos, being the first time that such problem is addressed, as a way to perform video object segmentation.
|
48 |
Genetic Ensemble (G-Ensemble): An Evolutionary Computing Technique for Numerical Weather Prediction EnhancementIhshaish, Hisham W. Y. 12 September 2012 (has links)
El objetivo principal del presente trabajo es abordar el problema de precisión y tiempo de espera en la predicción meteorológica, la cual es habitualmente llevada a cabo por aplicaciones computaciones conocidas como modelos de predicción meteorológica numérica (Numerical Weather Prediction, NWP). Estos modelos han sido muy desarrollados en las últimas décadas y su rendimiento mejora constantemente con el aumento de la potencia de cómputo. Sin embargo, en la práctica, la comunidad científica aun esta dedicando considerables esfuerzos para reducir el problema ampliamente conocido como 'tiempo limitado de predicción' (weather limited predictability). Principalmente, los dos mayores retos son la voluntad de obtener predicciones meteorológicas más fiables y realizarlas más rápidamente.
Como en muchas otras áreas de la modelización medioambiental, los modelos NWP, la mayoría de del software de simulación trabaja con modelos sólidos y ampliamente aceptados. Por lo tanto, la necesidad de optimización de los parámetros de entrada del simulador representa un problema conocido y tratado en numerosas ocasiones por la comunidad científica. En estos entornos en particular no se puede disponer de parámetros de entrada correctos a tiempo. Se requiere utilizar una estrategia de estimación y optimización computacionalmente eficiente para minimizar la desviación entre el escenario predicho y el comportamiento real del fenómeno.
Basándose en lo mencionado previamente, esta tesis trata de:
1 Proveer un estudio de sensibilidad del efecto de los parámetros de entrada del modelo NWP en la calidad de la predicción.
2 Proponer un framework, el cual permita realizar búsquedas de los valores óptimos de los parámetros de entrada del modelo que, según nuestra hipótesis, proveerá una mejor calidad de predicción.
3 Reducir el tiempo de espera necesitado para obtener predicciones meteorológicas más fiables.
Para cumplir los objetivos de la propuesta presentada, se ha introducido un nuevo esquema de predicción meteorológica. Este nuevo esquema implementa un algoritmo de cómputo evolutivo, el cual se centra en la calibración de los parámetros de entrada del modelo NWP.
El esquema presentado se denomina Genetic Ensemble, compuesto por dos etapas: etapa de calibración y etapa de predicción. Mediante la etapa de calibración, esta aproximación aplica un Algoritmo Genético de forma iterativa, para encontrar los 'mejores' valores de los parámetros de entrada del modelo NWP que acto seguido, serán utilizados en la siguiente etapa de predicción. Han sido desarrolladas diversas estrategias del Genetic Ensemble, como la extensión para calibrar más de un nivel de parámetros de entrada, y también para evaluar estos valores utilizando diferentes estrategias.
Por otro lado, el esquema propuesto es paralelizado utilizando un paradigma Master/Worker, y es apto para ser ejecutado en plataformas de computación de altas prestaciones (HPC) gracias a las cuales el tiempo total de ejecución se reduce.
Este esquema ha sido evaluado ejecutando experimentos de predicción meteorológica correspondientes a una catástrofe muy conocida, el huracán Katrina en 2005. Los resultados obtenidos mostraron una mejora en la calidad de la predicción meteorológica y una reducción significativa del tiempo de ejecución total. / The main goal of the presented work is to tackle the problem of accuracy and waiting time in weather forecasting, which are normally conducted by computational applications known as Numerical Weather Prediction (NWP) models. These models have been strongly developed in the last decades and their performance constantly increases with the advances in computational power. However, in practice, many serious are still gaining considerable efforts by the scientific community in order to reduce what is widely known as 'weather limited predictability'. Mainly, the major two challenges are the willingness to get more reliable weather predictions, and to do it faster.
As in many other areas of environmental modeling, most simulation software works with well-founded and widely accepted models. Hence, the need for input parameter optimization to improve model output is a long¬known and often-tackled problem. Particularly, in such environments where correct and timely input parameters cannot be provided. Efficient computational parameter estimation and optimization strategies are required to minimize the deviation between the predicted scenario and the real phenomenon behaviour.
Based on the before mentioned, this thesis intends to:
1. Provide a sensitivity study of the effect of NWP model input parameters on prediction quality.
2. Propose a valid framework, which allows to search for the most 'optimal' values of model input parameters which, in our hypothesis, will provide better prediction quality.
3. Reduce the waiting time needed to get more reliable weather predictions.
To accomplish the objectives of the presented proposal, a new weather prediction scheme is introduced. This new scheme implements an evolutionary computing algorithm, which focuses on the calibration of input parameters in NWP models.
The presented scheme is called Genetic Ensemble, which is composed of two-phases: calibration phase and prediction phase. Through the calibration phase, the presented approach applies Genetic Algorithm operators iteratively, in order to find 'best' values of NWP model input parameters, which consequently, will be used in the consequent prediction phase. Many strategies of the Genetic Ensemble have been developed, as such, it s extended to calibrate more than one level of input parameters, and also to evaluate their values using different strategies.
On the other hand, the proposed scheme is paralleled using a Master/Worker programming paradigm, and is suitable to be executed in high performance computing (HPC) platforms, by which, execution time is intended to be reduced.
The presented scheme has been evaluated by running weather prediction experiments over a well-known weather catastrophe; Hurricane Katrina 2005. Obtained results showed both significant improvement in weather prediction quality, and a considerable reduction in the over all execution time.
|
49 |
Removal of water pollutants by adsorption on activated carbon prepared from olive-waste cakes and by biological treatment using ligninolytic fungiBaccar Ep Yangui, Rim 27 September 2013 (has links)
Se utilizan diferentes procesos para el tratamiento de las aguas residuales. Sin embargo, estas tecnologías son ineficaces, generan productos secundarios o son demasiado caras. El objetivo principal de esta tesis es la eliminación de diversos contaminantes del agua, incluyendo metales, tintes y productos farmacéuticos mediante dos tecnologías. La primera consiste en un tratamiento físico-químico de adsorción sobre carbón activo preparado a partir de un resido de la industria agroalimentaria. El segundo se trata de un tratamiento biológico con hongos.
En cuanto a la adsorción sobre carbón activo, en una primera etapa se consideran aspectos tales como la preparación del adsorbente, su caracterización y el estudio del impacto ambiental asociado a su producción. Para la preparación de carbón activo se realiza la activación química a partir de orujo de oliva, utilizando ácido fosfórico como agente deshidratante. Se varían los parámetros principales del proceso para optimizar las condiciones de la activación. El carbón activo preparado, se caracteriza teniendo en cuenta sus propiedades de adsorción, su estructura química y su morfología. Los resultados muestran que el adsorbente más eficaz es el que se obtiene bajo las siguientes condiciones: una concentración igual a 60% de H3PO4, una relación de impregnación de 1,75, y una temperatura de pirolisis de 450°C. El adsorbente preparado en estas condiciones presenta buenas características en comparación con los que se encuentran en la literatura. Para minimizar el impacto ambiental, ciertas modificaciones podrían incorporarse en el proceso de preparación del adsorbente tales como la recuperación del gas derivado de la etapa de pirolisis y su utilización como fuente de energía, y la recuperación de ácido fosfórico después de lavar el carbón activado.
Después de establecer las condiciones óptimas se evalúa la eficiencia del carbón activo para la eliminación de los contaminantes inorgánicos y orgánicos. Para los metales, cogiendo Cu2 + como un modelo, los ensayos de adsorción en columna muestran la alta capacidad del carbón activo para reducir KMnO4 en óxido insoluble de manganeso (MnO2) que impregna la superficie del adsorbente, cuya presencia mejora significativamente los resultados de la adsorción de Cu2+ sobre el carbón activo.
En cuanto a los contaminantes orgánicos, el estudio muestra la eficacia del carbón activado para eliminar colorantes de los efluentes sintéticos y reales y productos farmacéuticos de soluciones de compuestos puros y formando parte de una mezcla de fármacos. En la mayoría de los casos los modelos de Langmuir y pseudo-primero orden
presentan el mejor ajuste para la isoterma y la cinética, respectivamente. La temperatura afecta la adsorción de colorantes, sin embargo, la variación de pH no tiene ninguna influencia. Al contrario que en la adsorción de los fármacos.
En cuanto al proceso biológico adaptado, se ha comprobado el potencial de tres hongos ligninolíticos (Trametes versicolor, Ganoderma lucidum y Irpex lacteus) para la decoloración de un colorante de la industria de curtidos. Los resultados indican que Trametes versicolor es la mejor cepa tanto en términos de extensión y rapidez en la decoloración. Tanto en procesos en discontinuo como en discontinuos repetidos en un reactor fluidizado por pulsos de aire y con reuso de biomasa muestra que la capacidad de decoloración del hongo es del 86-89% y no disminuye durante los discontinuos repetidos a pesar de la baja actividad enzimática detectada. Se ha evidenciado que la lacasa es una enzima involucrada en la biodegradación y que el fenómeno de adsorción que ocurre en la biomasa fúngica.
Finalmente, la combinación del tratamiento mediante hongos y la adsorción en adsorbentes de bajo coste puede ser una estrategia adecuada para depurar efluentes complejos. / Different processes are used for the treatment of wastewaters. However, they are either frequently ineffective, or they generate secondary products or worse, they are too expensive. The main objective of this dissertation is the removal of various contaminants in water including metals, dyes and pharmaceuticals products via two environmentally- friendly technologies. The first consists in a physico-chemical treatment- by adsorption on activated carbon prepared from olive-waste cakes. The second is about a biological treatment using white-rot fungi.
First, the adsorbent preparation, its characterization and the study of the environmental impact associated with its production are considered. Chemical activation of the feedstock olive-waste cakes, using phosphoric acid as dehydrating agent, is adopted for activated carbon preparation and main process parameters (such as acid concentration, impregnation ratio, temperature of pyrolysis step) are varied to optimize the best conditions. The activated carbon prepared under the optimal conditions is then fully characterized considering its adsorption properties as well as its chemical structure and morphology. The results show that the most efficient adsorbent is that obtained under the following optimal conditions: an acid concentration equal to 60% H3PO4, an impregnation ratio of 1.75, and a pyrolysis temperature of 450 °C. The adsorption characteristics of the adsorbent prepared under such conditions presents good characteristics compared with the previous reports for activated carbon in the literature. To minimize the environmental impact, certain modifications could be incorporated in the process of adsorbent preparation such as recovery of the gas derived from the pyrolysis step, its reuse as an energy source, and the recovery of phosphoric acid after activated carbon washing.
After establishing the optimal conditions, the efficiency of the optimal activated carbon for the removal of inorganic and organic pollutants is then evaluated. For heavy metals, considering the adsorption of Cu2+ ions as a model, column adsorption tests show the high capacity of the activated carbon to reduce KMnO4 into insoluble manganese (IV) oxide (MnO2) which impregnated the sorbent surface. The results also indicate that the adsorption of Cu2+ can be significantly improved by the presence of MnO2 fixed on activated carbon. Concerning the organic pollutants, the study shows the effectiveness of the activated carbon to remove dyes from individual and real effluents and
pharmaceutical products from single and mixture solutions. Many models are used to understand the adsorption behavior and in the most cases Langmuir and pseudo-second order models present the best fit for the isotherm and kinetics, respectively. Temperature is found to affect the adsorption of dyes, however, the pH variation has no influence. The opposite case is found for drugs adsorption.
Regarding the biological process adapted, the potential of three white-rot fungi (WRF) (Trametes versicolor, Ganoderma lucidum and Irpex lacteus) to decolorize the commercial tannery dye − Black Dycem – is investigated in solid and liquid media. The results indicate that Trametes versicolor is the best strain both in terms of extent and rapidity of decolorization. The experiment, performed in single and repeated batches in an air-pulsed bioreactor with biomass reuse of the fungus Trametes versicolor, shows that the decolorization capability of the fungus does not decrease during the repeated batches and the fungus is able to remove 86−89% of the dye despite the low enzyme activity detected. The results also show that the biodegradation mechanism plays a noticeable role in the decolorization process of the dye by means of laccase activity in addition to the adsorption phenomenon occurring on the fungal surface.
Finally a combination of fungal treatment and adsorption on low cost adsorbents could be a suitable strategy to remove pollutants from complex effluents.
|
50 |
Diagnostically lossless compression strategies for x-ray angiography imagesXu, Zhongwei 22 July 2015 (has links)
En las últimas décadas se han producido mejoras significativas en las técnicas de imagen médica.
Hoy en día, el uso de estas técnicas es habitual en la mayoría de sistemas sanitarios, y las
imágenes producidas forman parte integral de las fichas de los pacientes.
De entre las modalidades de imagen médica habitualmente empleadas, los rayos X es una de las más
populares gracias a su bajo coste, alta resolución y su excelente capacidad para penetrar dentro
de los tejidos. Dentro de la familia de la imagen de rayos X, las angiografías de rayos X
--las cuales emplean cateterización minimamente invaisva-- se emplean rutinariamente
para detectar irregularidades en el sistema vascular. Las imágenes de angiografías de rayos X
se pueden clasificar en dos typos: angiografía de rayos X general (GXA) ,las cuales presentan
los vasos sanguíneos de diferentes partes del cuerpo como brazos, piernas, pies, etc.,
y las secuencias de video de angiogramas coronarios (CAVSs), las cuales muestran solo
los árboles de los vasos coronarios para el diagnóstico de enfermedades cardiovasculares.
Dadas las diferencias en cuanto a función, estos dos tipos de imagen presentan características
muy diferentes. Las imágenes GXA suelen poseer una alta resolución espacial, pero una baja resolución
temporal. Por otro lado, las CAVSs suelen tener una resolución espacial más baja pero una
resolución temporal mucho mayor.
Debido al número creciente de estudios médicos que emplean angiogramas de rayos X,
surge una necesidad de almacenar y compartir las imágenes producidas, por lo que la
compresión de las mismas se está convirtiendo en una tarea crítica.
La compresión con pérdida tiene la ventaja de una gran capacidad de reducción del tamaño
del fichero comprimido, pero en general se rechaza en la comunidad médico debido a que los
cambios introducidos en las imágenes podrían afectar al proceso de diagnóstico.
Por otro lado, la compresión sin pérdida garantiza una fidelidad de datos perfecta, pero
resulta en ratios de compresión menores. Por última. la compresión sin pérdida en el diagnóstico
se está convirtiendo en la opción preferida dado que permite obtener ratios de compresión mejores
que la compresión puramente sin pérdida, sin sacrificar excesiva precisión en los procesos
de diagnóstico. En la compresión sin pérdida en el diagnóstico, los datos clínicamente relevantes
se comprimen sin pérdida, mientras que los datos irrelevantes para el diagnóstico se comprimen
con algo de pérdida. En este escenario, identificar las zonas relevantes y no relevantes para
el diagnóstico es la primera etapa, y además la más importante en este tipo de compresión.
En esta tesis se desarrollan dos estrategias de compresión sin pérdida en el diagnóstico.
La primera se propone para imágenes GXA. La segunda, para CAVSs.
La técnica para imágenes GXA identifica primero el área focal relevante y después se aplican
métodos de supresión de fondo (background) para mejorar el rendimiento de la compresión.
La técnica para imágenes CAVSs se ha implementado para reconocer los cuadros (frames)
que no contienen estructuras de vasos sanguíneos visibles. Estos cuadros se comprimen
con pérdida, mientras que el resto se comprimen sin pérdida.
Se han probado varias técnicas de compresión para cada tipo de imágenes, incluyendo
standars compatibles con DICOM como JPEG2000, JPEG-LS, H.264/AVC,
y el último estandard de compresión de vídeo HEVC. En JPEG2000, la compresión
multicomponente y la compresión progresiva también se han evaluado.
Los resultados experimentales indican que las dos técnicas arriba descritas
son capaces de detectar los datos relevantes para el diagnóstico.
En cuanto a los resultados de compresión, la técnica propuesta para imágenes GXA
obtiene reducciones de tamaño de hasta el 34% y mejoras en la reconstrucción progresiva
de hasta 20~dB de SNR. La técnica para CAVSs produce resultados de compresión
un 19% mejores, en comparación con las técnicas de compresión sin pérdida. / The past several decades have witnessed a major evolution in medical imaging techniques, making medical images become commonplace in healthcare systems and an integral part of a patient medical record. Among the existing medical imaging modalities, X-ray imaging is one of the most popular technologies due to its low cost, high resolution and excellent capability to penetrate deep within tissue. In particular, X-ray angiographies --which use minimally invasive catheterization-- and X-ray imaging are widely used to identify irregularities in the vascular system. X-ray angiography images can be classified into two types: general X-ray angiography (GXA) images, which present blood vessels in several body parts like arms, legs, foots, etc.; and coronary angiogram video squences (CAVSs), which only focus on coronary vessel trees for diagnosing cardiovascular diseases. Because of the differences in functions, these two types of images have different features: GXA images normally have high spatial resolutions (the
width and height sizes) but low temporal resolution (the number of frames), while CAVSs usually have lower spatial resolutions but higher temporal resolution.
Due to the increasing number of medical studies using X-ray angiography images and the need to store and share them, compression of these images is becoming critical. Lossy compression has the advantage of high data reduction capability, but it is rarely accepted by medical communities because of the modification of data that may affect the diagnosis process. Lossless compression guarantees perfect reconstruction of the medical signal, but results in low compression ratios. Diagnostically lossless compression is becoming the preferred choice, as it provides an optimal trade-off between compression performance and diagnostic accuracy. In diagnostically lossless compression, the clinically relevant data is encoded without any loss while the irrelevant data is encoded with loss. In this scenario, identifying and distinguishing the clinically relevant from the clinically irrelevant data in medical images is the first and usually most important stage in diagnostically lossless compression methods.
In this thesis, two diagnostically lossless compression strategies are developed. The first one is proposed for GXA images. The second one if proposed for CAVSs. For GXA images, the clinically relevant focal area in each frame is first identified; and then a background-suppression approach is employed to increase the data redundancy of the images and hence improve the compression performance. For CAVSs, a frame-identification procedure is implemented to recognise the diagnostically unimportant frames that do not contain visible vessel structures; then, lossy compression is applied to these frames, and lossless compression is applied to the other frames.
Several compression techniques have been investigated for both types of images, including the DICOM-compliant standards JPEG2000, JPEG-LS and H.264/AVC, and the latest advanced video compression standard HEVC. For JPEG2000, multicomponent-transform and progressive lossy-to-lossless coding are also tested. Experimental results suggest that both the focal-area-identification and frame-identification processes are automatic in computation and accurate in clinically relevant data identification. Regarding the compression performance, for GXA images, when compared to the case of coding with no background-suppression, the diagnostically lossless compression method achieves average bit-stream reductions of as much as 34\% and improvements on the reconstruction quality of up to 20 dB-SNR for progressive decoding; for CAVSs, the frame-identification followed by selective lossy \& lossless compression strategy achieves bit-stream reductions of more than 19\% on average as compared to lossless compression.
|
Page generated in 0.1764 seconds