Spelling suggestions: "subject:"comerç"" "subject:"comerços""
91 |
On the automatic detection of otolith features for fish species identification and their age estimationSória Pérez, José A. (José Antonio) 21 January 2013 (has links)
This thesis deals with the automatic detection of features in signals, either extracted from photographs or captured by means of electronic sensors, and its possible application in the detection of morphological structures in fish otoliths so as to identify species and estimate their age at death. From a more biological perspective, otoliths, which are calcified structures located in the auditory system of all teleostean fish, constitute one of the main elements employed in the study and management of marine ecology. In this sense, the application of Fourier descriptors to otolith images, combined with component analysis, is habitually a first and a key step towards characterizing their morphology and identifying fish species. However, some of the main limitations arise from the poor interpretation that can be obtained with this representation and the use that is made of the coefficients, as generally they are selected manually for classification purposes, both in quantity and representativity. The automatic detection of irregularities in signals, and their interpretation, was first addressed in the so-called Best-Basis paradigm. In this sense, Saito's Local discriminant Bases algorithm (LDB) uses the Discrete Wavelet Packet Transform (DWPT) as the main descriptive tool for positioning the irregularities in the time-frequency space, and an energy-based discriminant measure to guide the automatic search of relevant features in this domain. Current density-based proposals have tried to overcome the limitations of the energy-based functions with relatively little success. However, other measure strategies more consistent with the true classification capability, and which can provide generalization while reducing the dimensionality of features, are yet to be developed. The proposal of this work focuses on a new framework for one-dimensional signals. An important conclusion extracted therein is that such generalization involves a mesure system of bounded values representing the density where no class overlaps. This determines severely the selection of features and the vector size that is needed for proper class identification, which must be implemented not only based on global discriminant values but also on the complementary information regarding the provision of samples in the domain. The new tools have been used in the biological study of different hake species, yielding good classification results. However, a major contribution lies on the further interpretation of features the tool performs, including the structure of irregularities, time-frequency position, extension support and degree of importance, which is highlighted automatically on the same images or signals. As for aging applications, a new demodulation strategy for compensating the nonlinear growth effect on the intensity profile has been developed. Although the method is, in principle, able to adapt automatically to the specific growth of individual specimens, preliminary results with LDB-based techniques suggest to study the effect of lighting conditions on the otoliths in order to design more reliable techniques for reducing image contrast variation. In the meantime, a new theoretic framework for otolith-based fish age estimation has been presented. This theory suggests that if the true fish growth curve is known, the regular periodicity of age structures in the demodulated profile is related to the radial length the original intensity profile is extracted from. Therefore, if this periodicity can be measured, it is possible to infer the exact fish age omitting feature extractors and classifiers. This could have important implications in the use of computational resources anc current aging approaches. / El eje principal de esta tesis trata sobre la detección automática de singularidades en señales, tanto si se extraen de imágenes fotográ cas como si se capturan de sensores electrónicos, así como su posible aplicación en la detección de estructuras morfológicas en otolitos de peces para identi car especies, y realizar una estimación de la edad en el momento de su muerte.
Desde una vertiente más biológica, los otolitos, que son estructuras calcáreas alojadas en el sistema auditivo de todos los peces teleósteos, constituyen uno de los elementos principales en el estudio y la gestión de la ecología marina. En este sentido, el uso combinado de descriptores de Fourier y el análisis de componentes es el primer paso y la clave para caracterizar su morfología e identi car especies marinas. Sin embargo, una de las limitaciones principales de este sistema de representación subyace en la interpretación limitada que se puede obtener de las irregularidades, así como el uso que se hace de los coe cientes en tareas de clasi cación que, por lo general, acostumbra a seleccionarse manualmente tanto por lo que respecta a la cantidad y a su importancia.
La detección automática de irregularidades en señales, y su interpretación, se abordó por primera bajo el marco del Best-Basis paradigm. En este sentido, el algoritmo Local Discriminant Bases (LDB) de N. Saito utiliza la Transformada Wavelet Discreta (DWT) para describir el posicionamiento de características en el espacio tiempo-frecuencia, y una medida discriminante basada en la energía para guiar la búsqueda automática de características en dicho dominio. Propuestas recientes basadas en funciones de densidad han tratado de superar las limitaciones que presentaban las medidas de energía con un éxito relativo. No obstante, todavía están por desarrollar nuevas estrategias más
consistentes con la capacidad real de clasi cación y que ofrezcan mayor generalización al reducir la dimensión de los datos de entrada.
La propuesta de este trabajo se centra en un nuevo marco para señales unidimensionales.
Una conclusión principal que se extrae es que dicha generalización pasa por un marco de medidas de valores acotados que re ejen la densidad donde las clases no se solapan. Esto condiciona severamente el proceso de selección de características y el tamaño del vector necesario para identi car las clases correctamente, que se ha de establecer no sólo en base a valores discriminantes globales sino también en la información complementaria sobre la disposición de las muestras en el dominio.
Las nuevas herramientas han sido utilizadas en el estudio biológico de diferentes especies de merluza, donde se han conseguido buenos resultados de identi cación. No obstante, la contribución principal subyace en la interpretación que dicha herramienta hace de las características seleccionadas, y que incluye la estructura de las irregularidades, su posición temporal-frecuencial, extensión en el eje y grado de relevancia, el cual, se resalta automáticamente sobre la misma imagen o señal.
Por lo que respecta a la determinación de la edad, se ha planteado una nueva estrategia de demodulación para compensar el efecto del crecimiento no lineal en los per les de intensidad. Inicialmente, aunque el método implementa un proceso de optimización capaz de adaptarse al crecimiento individual de cada pez automáticamente, resultados preliminares obtenidos con técnicas basadas en el LDB sugieren estudiar el efecto de las condiciones lumínicas sobre los otolitos con el n de diseñar algoritmos que reduzcan la variación del contraste de la imagen más ablemente.
Mientras tanto, se ha planteado una nueva teoría para estimar la edad de los peces en base a otolitos. Esta teoría sugiere que si la curva de crecimiento real del pez se conoce, el período regular de los anillos en el per l demodulado está relacionado con la longitud total del radio donde se extrae el per l original. Por tanto, si dicha periodicidad es medible, es posible determinar la edad exacta sin necesidad de utilizar extractores de características o clasi cadores, lo cual tendría implicaciones importantes en el uso de recursos computacionales y en las técnicas actuales de estimación de la edad. / L'eix principal d'aquesta tesi tracta sobre la detecció automàtica d'irregularitats en senyals, tant si s'extreuen de les imatges fotogrà ques com si es capturen de sensors electrònics, així com la seva possible aplicació en la detecció d'estructures morfològiques en otòlits de peixos per identi car espècies, i realitzar una estimació de l'edat en el moment de la seva mort.
Des de la vesant més biològica, els otòlits, que son estructures calcàries que es troben en el sistema auditiu de tots els peixos teleostis, constitueixen un dels elements principals en l'estudi i la gestió de l'ecologia marina. En aquest sentit, l'ús combinat de descriptors de Fourier i l'anàlisi de components es el primer pas i la clau per caracteritzar la seva morfologia i identi car espècies marines. No obstant, una de les limitacions principals d'aquest sistema de representació consisteix en la interpretació limitada de les irregularitats que pot desenvolupar, així com l'ús que es realitza dels coe cients en tasques de classi cació, els quals, acostumen a ser seleccionats manualment tant pel que
respecta a la quantitat com la seva importància. La detecció automàtica d'irregularitats en senyals, així com la seva interpretació, es
va tractar per primera vegada sota el marc del Best-Basis paradigm. En aquest sentit, l'algorisme Local Discriminant Bases (LDB) de N. Saito es basa en la Transformada Wavelet Discreta (DWT) per descriure el posicionament de característiques dintre de l'espai temporal-freqüencial, i en una mesura discriminant basada en l'energia per guiar la cerca automàtica de característiques dintre d'aquest domini. Propostes més recents basades en funcions de densitat han tractat de superar les limitacions de les mesures d'energia amb un èxit relatiu. No obstant, encara s'han de desenvolupar noves estratègies que siguin més consistents amb la capacitat real de classi cació i ofereixin més
generalització al reduir la dimensió de les dades d'entrada.
La proposta d'aquest treball es centra en un nou marc per senyals unidimensionals. Una de las conclusions principals que s'extreu es que aquesta generalització passa per establir un marc de mesures acotades on els valors re ecteixin la densitat on cap classe es solapa. Això condiciona bastant el procés de selecció de característiques i la mida del vector necessari per identi car les classes correctament, que s'han d'establir no només en base a valors discriminants globals si no també en informació complementària sobre la disposició de les mostres en el domini. Les noves eines s'han utilitzat en diferents estudis d'espècies de lluç, on s'han obtingut bons resultats d'identi cació. No obstant, l'aportació principal consisteix en la interpretació que l'eina extreu de les característiques seleccionades, i que inclou l'estructura de les irregularitats, la seva posició temporal-freqüencial, extensió en l'eix i grau de rellevància, el qual, es ressalta automàticament sobre les mateixa imatge o senyal.
En quan a l'àmbit de determinació de l'edat, s'ha plantejat una nova estratègia de demodulació de senyals per compensar l'efecte del creixement no lineal en els per ls d'intensitat. Tot i que inicialment aquesta tècnica desenvolupa un procés d'optimització capaç d'adaptar-se automàticament al creixement individual de cada peix, els resultats amb el LDB suggereixen estudiar l'efecte de les condicions lumíniques sobre els otòlits amb la nalitat de dissenyar algorismes que redueixin la variació del contrast de les imatges més ablement.
Mentrestant s'ha plantejat una nova teoria per realitzar estimacions d'edat en peixos en base als otòlits. Aquesta teoria suggereix que si la corba de creixement és coneguda, el període regular dels anells en el per l d'intensitat demodulat està relacionat amb la longitud total de radi d'on s'agafa el per l original. Per tant, si la periodicitat es pot mesurar, es possible conèixer l'edat exacta del peix sense usar extractors de
característiques o classi cadors, la qual cosa tindria implicacions importants en l'ús de recursos computacionals i en les tècniques actuals d'estimació de l'edat.
|
92 |
Fine-motion planning for robotic assembly under modelling and sensing uncertaintiesRosell Gratacòs, Jan 13 October 1998 (has links)
This thesis proposes a fine-motion planner for assembly tasks in the plane considering two degrees of freedom of translation and one of rotation, taking into account modelling and sensing uncertainties and the effect of friction. The proposed planner is based on a two-phase approach. First, uncertainty is not considered and a nominal solution path is searched in a graph representing the free configuration space, which has been obtained with an exact cell decomposition method. Then, uncertainty is considered and the arcs of the solution path are evaluated in order that the possible contacts occurring during the traversing of the arc do not provoke a failure of the task execution. When this is not possible, the planner finds a patch plan in contact-space in an analogous way as the nominal solution path in free-space.This work:- introduces the parametrized translational configuration space, which is an embedding of the rotational degree of freedom into the translational configuration space, for the analysis of the geometric constraints of planar assembly tasks.- makes a thorough analysis of the sources of uncertainty that affect an assembly task. Modelling and sensing uncertainties have been considered. Although modelling uncertainty is an important source of uncertainty that affects assembly tasks, it has usually been overlooked by most of the researchers. In this work, this source of uncertainty has been meticulously studied, by analyzing the effects of both positioning uncertainty and manufacturing tolerances. The dependence between sources of uncertainty is also taken into account.- includes a force analysis using the dual representation of forces, which allows to consider in an easy way both the geometric uncertainties that affect the possible raction forces arising at the contact situations, as well as the sensor uncertainties. Friction has been considered and modelled with the generalized friction cone. The suitability of this model for this kind of tasks has been validated from the experiments. - synthesizes the robot motions using a force-compliant control based on the generalized damping model. Task execution includes uncertainty reduction routines in order to adapt the robot commands to the actual geometry of the task.
|
93 |
Gestion informatica en la dirección clinica hospitalaria. aplicación a un servicio de urologíaUria González-Tova, Juan 31 March 2004 (has links)
La evolución y transformación de los sistemas públicos de salud han hecho necesaria una descentralización y una mayor autonomía en la gestión hospitalaria para poder mantener los compromisos de eficacia, eficiencia y calidad en las prestaciones sanitarias.· La autonomía en la gestión ha de llegar al nivel de cada Servicio o Unidad funcional, implicando de mayor manera al profesional sanitario en el análisis de su actividad diaria y los diferentes parámetros que la componen, para una mejora continua en la calidad de la actividad asistencial, facilitando así mismo un desarrollo satisfactorio de su papel como profesional.La presente Tesis expone el desarrollo de una aplicación informática original en su concepto, para ser aplicada por una Dirección clínica, en este caso a un Servicio de Urología (pero aplicable por cualquier Servicio), que permita un completo análisis desde el punto de vista clínico, económico y científico del conjunto del Servicio o de manera especifica del personal que lo compone. La filosofía de la aplicación es que utilizando el sistema informático como herramienta diaria de trabajo para todo el personal implicado en la labor diaria de un Servicio de Urología y sin suponer ningún tipo de trabajo adicional o duplicación de tareas, se recoja de manera fácil, automatizada e instantánea toda la información que podamos necesitar para el análisis tanto clínico como económico del Servicio. La información está disponible en la red y puede ser consultada "on-line" por los Servicios que colaboran con el Servicio de Urología o por los estamentos directivos del Hospital, pudiendo volcar en sus bases de datos todos aquellos parámetros necesarios para la gestión del Hospital en su conjunto.Se quiere destacar que tomando al paciente como eje único y final de todos los actos que se llevan a cabo en un Servicio, se obtienen por contabilidad analítica los datos microeconómicos a partir de los cuales se pueden ofrecer los resultados para que los estamentos gestores dispongan de los datos suficientes para elaborar la macroeconomía sanitaria de un área, provincia o Estado La aplicación informática que se desarrolla en esta Tesis, se organiza en torno a una estación clínica central, que tiene como eje principal al paciente, ya sea en el área de Ingresos, de Consulta Externas o de Urgencias. Desde la pantalla de cada enfermo se accede a la Historia Clínica, los Servicios Centrales y las pruebas complementarias de manera directa, sin claves ni pasos intermedios. Consideramos fundamental este tipo de estructuración modular en la que desde un único punto de origen se pueden obtener todos los datos que necesitemos para el correcto proceso asistencial del enfermo, sin necesidad de cambiar aplicativos ni menús.Se ha desarrollado un entorno cliente-servidor, en Visual Basic 6.0, sobre tecnología ADO, por lo que el programa es escalable y conectable a cualquier tipo de origen de datos, dentro de la Intranet hospitalaria. El Servicio de informática ha colaborado con un modulo que realiza una consulta al servidor central Oracle (SIAH) y con solo introducir el numero de historia o de episodio clínico, devuelve un recordset de solo lectura con los datos de filiación del paciente. Es la forma de evitar errores de trascripción sintáctica que dificultarían la búsqueda de la filiación correcta del cliente. En un segundo paso se esta migrando a Oracle y a la plataforma de programación .NETEsta Tesis intenta ser una aproximación desde el punto de vista de un Clínico, a como debería de informatizarse un Servicio de Urología para poder llevar a cabo una gestión clínica y contable lo más automatizada y precisa posible, en base a los modelos y parámetros vigentes. / The evolution and transformation of the public health systems have made necessary the decentralization and a major autonomy in the hospital management to be able to support the commitments of efficacy, efficiency and quality in the sanitary benefits. The autonomy in the management has to come at the level of every Service or functional Unit involving in a major way to all the sanitary professionals in the analysis of their daily activities and the different parameters that compose it, for a constant improvement in the quality of the medical assistance, facilitating likewise a satisfactory development of their role as professionals.The present Thesis exposes the development of a computer application, original in its concept, to be applied by a clinical Direction, in this case to a service of Urology (but applicable for any Service), that allows a complete analysis from the clinical, scientist and economic point of view over the set of the Service or the personnel that composes it.The philosophy of the application is that using the computer system as the daily tool of work for the whole personnel involved in the daily work of the service of Urology and without supposing any type of additional work or duplication of tasks, there is gathered from easy, automated and instantaneous way all the information that we prune to need for the analysis so much clinical as economically of the Service.The information is available in the net and can be consulted "on-line" by the Services that collaborate with the Service of Urology or for the managerial estates of the Hospital, being able to overturn in their information databases all those necessary parameters for the management of the HospitalWe would like to emphasize that taking to the patient as the axis of all the acts that are carried out in a Service, there are obtained by analytical accounting the microeconomic information from which obtain the results to the managing estates, in order to have the necessary information to elaborate the sanitary macroeconomics of an area, province or StateThe computer application that develops in this Thesis, one organizes around a clinical central station, which takes as the principal axis to the patient, as well in the income area as in emergency or in consulting room. From the screen of every patient one accedes to the Clinical History, the Central Services and the complementary tests in a direct way, without keys or intermediate steps. We consider fundamental this type of modular structure where from an only point there can be obtained all the information that we need for the correct medical assistance of the patient, without need to change applications not even menus.We have developed a client-server environment with Visual Basic 6.0 and technology ADO, to make the program scalable and connectable to any type of information system, inside the hospital Intranet. The Service of computer science has collaborated with a module that realizes a consultation to the central Oracle server (SIAH) and with only to introduce the number of history or of clinical episode, returns an only read recordset with the filiation of the patient. It is the way of avoiding mistakes of syntactic transcription. In a second step we perform a migration to Oracle and to the programming platform .NETThis Thesis tries to be an approximation from the point of view of a clinical professional, to the computerization of a service of Urology in order to be able to carry out a clinical and countable management in the most automated and precise way, on the basis of the valid models and parameters.
|
94 |
Optical Flow in Driver Assistance SystemsOnkarappa, Naveen 23 October 2013 (has links)
El moviment és un atribut perceptiu del cervell humà molt important. La percepció visual que fa el cervell del moviment és el procés d’inferir la velocitat i direcció dels elements d’un escenari mitjançant entrades visuals. Anàlogament, la visió per computador s’assisteix mitjançant informació del moviment de l’escena. En visió per computador, la detecció de moviment és útil per a resoldre problemes com per exemple segmentació, estimació de la profunditat, estimació de l’estructura a partir del moviment, compressió de dades o navegació entre d’altres. Aquests problemes són comuns a diferents aplicacions, com ara vídeo vigilància, navegació de robots i sistemes avançats d’assistència a la conducció (Advanced Driver Assistance Systems, ADAS). Una de les tècniques més utilitzades per a detectar moviment, és el càlcul d’optical flow. El treball tractat en aquesta tesi pretén que les formulacions d’optical flow siguin més apropiades als requeriments i condicions dels escenaris de conducció. En aquest context, es proposa una nova representació de l’espai-variant anomenada representació reverse log-polar, i es demostra que, quan s’utilitza per a ADAS, té un rendiment millor que la tradicional representació log-polar. La representació espai-variant redueix la quantitat de dades necessàries que han de ser processades. Una altra contribució important està relacionada amb l’anàlisi de la influència de les característiques específiques d’escenaris de conducció per a la precisió de l’optical flow. S’han considerat característiques tals com la velocitat del vehicle i la textura de la carretera. D’aquest estudi s’infereix que, el pes del terme de regularització s’ha d’adaptar segons una mesura d’error i per a diferents velocitats i textures de la carretera. També es mostra que la representació polar d’optical flow funciona molt millor per a escenaris de conducció on el moviment principal són translacions. Degut als requeriments d’aquest estudi, i per la manca de bases de dades es presenta una nova base de dades sintètica que conté: i) seqüències amb diferents velocitats i textures en un escenari urbà; ii) seqüències amb moviments complexos de la càmera col·locada al vehicle; i iii) seqüències amb altres vehicles en moviment dintre la mateixa escena. L’optical flow corresponent a cada seqüència s’obté mitjançant la tècnica de ray-tracing. A més a més, es presenten algunes aplicacions per a optical flow en escenaris ADAS. Per començar, proposem una tècnica robusta basada en RANSAC per estimar la línia de l’horitzó. Després, presentem una estimació de l’egomotion per a comparar la representació espai-variant proposada amb les representacions clàssiques. Com a contribució final, es proposa una modificació del terme de regularització que millora notablement els resultats per a aplicacions d’ADAS. Aquesta adaptació s’avalua mitjançant tècniques d’optical flow d’última generació. Els experiments realitzats amb una base de dades pública (KITTI) validen els avantatges d’utilitzar la modificació proposada. / La percepción del movimiento es uno de los más importantes atributos del cerebro humano. La percepción visual del movimiento consiste en inferir velocidad y dirección de los elementos móviles que interactúan en una escena, mediante la interpretación de diferentes entradas visuales. Análogamente, la visión por computador hace uso de la información del movimiento en la escena. La detección de movimiento en visión por computador es útil para resolver problemas tales como: segmentación, estimación de profundidad, compresión, navegación, entre otros. Estos problemas son comunes en distintas aplicaciones, por ejemplo: video vigilancia, navegación de robots y sistemas avanzados de asistencia a la conducción (ADAS). Una de las técnicas más utilizadas para detectar movimiento es la estimación del flujo óptico. El trabajo abordado en esta tesis busca formulaciones del flujo óptico más adecuadas a las necesidades y condiciones de los escenarios de conducción. En este contexto, se propuso una novedosa representación del espacio, llamada representación inversa log-polar, la cual se demuestra que tiene un desempeño mejor que la tradicional representación logpolar para aplicaciones ADAS. Las representaciones de espacio-variante reducen la cantidad de datos a ser procesados. Otra contribución importante está relacionada con el análisis de la influencia de las características específicas de los escenarios de conducción en la precisión del flujo óptico estimado. Características tales como la velocidad del vehículo y la textura de la carretera son consideradas en el estudio. De este estudio, se infiere que el peso del término de regularización tiene que ser adaptado de acuerdo con la medida de error requerida y para diferentes velocidades y texturas de la carretera. También se concluye que la representación polar del flujo óptico es la más apropiada en escenarios de conducción, donde el movimiento predominante es la translación. Debido a las exigencias de tal estudio, y por falta de las bases de datos necesarias, se presenta un nuevo conjunto de datos sintéticos el cual contiene: i) secuencias de diferentes velocidades y texturas en un escenario urbano; ii) secuencias con movimientos complejos de la cámara dispuesta en el vehículo; y iii) secuencias con otros vehículos en movimiento en la escena. El flujo óptico correspondiente a cada secuencia es obtenido mediante una técnica de ray-tracing. Adicionalmente, se presentan algunas aplicaciones de flujo óptico en ADAS. Primeramente se propone una técnica robusta basada en RANSAC para estimar la línea de horizonte. Seguidamente se presenta una estimación del egomotion para comparar la representación de espacio-variante propuesta con los esquemas clásicos. Como contribución final, se propone una modificación en el término de regularización que mejora notablemente los resultados en las aplicaciones ADAS. Los resultados experimentales en una base de datos pública (KITTI) validan las ventajas de la utilización de la modificación propuesta. / Motion perception is one of the most important attributes of the human brain. Visual motion perception consists in inferring speed and direction of elements
in a scene based on visual inputs. Analogously, computer vision is assisted by motion cues in the scene. Motion detection in computer vision is useful in solving problems such as segmentation, depth from motion, structure from motion, compression, navigation and many others. These problems are common in several applications, for instance, video surveillance, robot navigation and advanced driver assistance systems (ADAS). One of the most widely used techniques for motion detection is the optical flow estimation. The work in this thesis attempts to make optical flow suitable for the requirements and conditions of driving scenarios. In this context, a novel space-variant representation called reverse log-polar representation is proposed that is shown to be better than the traditional log-polar space-variant representation for ADAS. The space-variant representations reduce the amount of data to be processed. Another major contribution in this research is related to the analysis of the influence of specific characteristics from driving scenarios on the optical flow accuracy. Characteristics such as vehicle speed and road texture are considered in the aforementioned analysis. From this study, it is inferred that the regularization weight has to be adapted according to the required error measure and for different speeds and road textures. It is also shown that polar represented optical flow suits driving scenarios where predominant motion is translation. Due to the requirements of such a study and by the lack of needed datasets a new synthetic dataset is presented; it contains: i) sequences of different speeds and road textures in an urban scenario; ii) sequences with complex motion of an on-board camera; and iii) sequences with additional moving vehicles in the scene. The ground-truth optical flow is generated by the ray-tracing technique. Further, few applications of optical flow in ADAS are shown. Firstly, a robust RANSAC based technique to estimate horizon line is proposed. Then, an egomotion estimation is presented to compare the proposed space-variant representation with the classical one. As a final contribution, a modification in the regularization term is proposed that notably improves the results in the ADAS applications. This adaptation is evaluated using a state of the art optical flow technique. The experiments on a public dataset (KITTI) validate the advantages of using the proposed modification.
|
95 |
Reinforcement learning of visual descriptors for object recognitionPiñol Naranjo, Mónica 04 July 2014 (has links)
El sistema visual humà és capaç de reconéixe l'objecte que hi ha en una imatge encara que l'objecte estigui parcialment oclòs, des de diferents punts de vista, en diferents colors i amb independència de la distància a la que es troba l'objecte de la càmera. Per poder realitzar això, l'ull obté l'imatge i extreu unes caracterítiques que són enviades al cervell i és allà on es classifica l'objecte per poder identificar-lo. En el reconeixement d'objectes, la visió per computador intenta imitar el sistema humà. Així, s'utilitza un algoritme per detectar característiques representatives de l'escena (detector), un altre algoritme per descriure les característiques extretes (descriptor) i finalment la informació es enviada a un tercer algoritme per fer la classificació (aprenentatge). Escollir aquests algoritmes és molt complicat i tant mateix una àrea d'investigació molt activa. En aquesta tesis ens hem enfocat en la selecció/aprenentatge del millor descriptor per a cada imatge. A l'actualitat hi ha molts descriptors a l'estat de l'art però no sabem quin es el millor, ja que no depèn sols d'ell mateix sinó també depen de les característiques de les imatges (base de dades) i dels algoritmes de classificació. Nosaltres proposem un marc de treball basat en l'aprenentatge per reforç i la bossa de característiques per poder escollir el millor descriptor per a cada imatge. El sistema permet analitzar el comportament de diferents classiicadors i conjunts de descriptors. A més el sistema que proposem per a la millora del reconeixement/classificació pot ser utilizat en altres àmbits de la visió per computador, com per exemple el video retrieval / The human visual system is able to recognize the object in an image even if the object is partially occluded, from various points of view, in different colors, or with independence of the distance to the object. To do this, the eye obtains an image and extracts features that are sent to the brain, and then, in the brain the object is recognized. In computer vision, the object recognition branch tries to learns from the human visual system behaviour to achieve its goal. Hence, an algorithm is used to identify representative features of the scene (detection), then another algorithm is used to describe these points (descriptor) and finally the extracted information is used for classifying the object in the scene. The selection of this set of algorithms is a very complicated task and thus, a very active research field. In this thesis we are focused on the selection/learning of the best descriptor for a given image. In the state of the art there are several descriptors but we do not know how to choose the best descriptor because depends on scenes that we will use (dataset) and the algorithm chosen to do the classification. We propose a framework based on reinforcement learning and bag of features to choose the best descriptor according to the given image. The system can analyse the behaviour of different learning algorithms and descriptor sets. Further- more the proposed framework for improving the classification/recognition ratio can be used with minor changes in other computer vision fields, such as video retrieval.
|
96 |
Focused structural document image retrieval in digital mailroom applicationsGao, Hongxing 16 January 2015 (has links)
Aquesta tesi doctoral presenta un marc de treball genèric per a la cerca de documents
digitals partint d'un document de mostra de referencia, on el criteri de similitud pot ser tant a
nivell de pàgina com a nivell de subparts d'interès. Combinem la tècnica d'indexació estructural
amb correspondències entre parells de regions locals d'interès, on aquestes contenen
informació tant estructural com visual, i detallem la combinació adient usada d'aquests dos
tipus d'informació per ser usada com a únic criteri de similitud a l'hora de fer la cerca.
Donat que l'estructura d'un document està lligada a les distàncies entre els seus continguts,
d'entrada presentem un detector eficient que anomenem Distance Transform based Maximally
Stable Extremal Regions (DTMSER). El detector proposat és capàs d'extreure eficientment
l'estructura del document en forma de dendrograma (arbre jeràrquic) de regions d'interès a
diferents escales, les quals guarden una gran similitud amb els caracters, paraules i paràgrafs. Els
experiments realitzats proven que l'algorisme DTMSER supera els mètodes de referència, amb
l'avantatge de requerir menys regions d'interès.
A continuació proposem un mètode basat en parells de descriptors Bag‐of‐Words (BoW) que
permet representar el dendrograma descrit anteriorment i resultat de l'algorisme DTMSER. El
nostre mètode consisteix en representar cada document en forma de llista de parelles de
regions d'interès, on cada parella representa una aresta del dendograma i defineix una relació
d'inclusió entre ambdues regions. L'histograma de característiques és generat a partir de les
parelles de regions d'interès, de manera que el mètode proposat reflecteix la inclusió de regions.
Els experiments realitzats demostren que el nostre mètode supera àmpliament altres variants
exteses de BoW com poden ver les convencionals o les espacio‐piramidals.
Per tal d'englobar diferents situacions on es pot requerir una la cerca de documents digitals,
proposem usar directament parelles de regions d'interès, les quals inclouen informació tant
estructural com visual. Amb aquest objectiu introduim en aquest camp tècniques d'indexació
estructural per millorar el temps de càlcul de les similituds de parelles de regions. Apliquem la
nostra proposta al cas de cerques de pàgines senceres, on té més pes la similitud estructural. Els
experiments corresponents mostren que la nostra proposta supera la majoria de mètodes BoW
de referència. La nostra proposta presenta un clar avantantge: podem fer cerques de subparts
de documents. Apliquem el nostre mètode en la cerca de subparts en dos casos: prioritzant la
similitud estructural i mantenint estructura y aparença similars . Els resultats obtinguts en els
experiments són excel∙lents en tots dos casos. Donat que el nostre mètode té el valor afegit de
ser el primer marc de treball capàs de realizar cerques de subparts, podem afirmar que és
mereixedor de formar part de l’estat de l’art en el camp de cerques.
També proposem un mètode de verificació de línies per comprovar la consistència espacial dels
parells assignats de regions d'interès. Per reduir la càrreca computacional de la nostra proposta
definim una simplificació pràctica en dos passos. Primer obtenim candidats a regions d'interès
per posteriorment usar‐les per dividir les correspondències entre regions en varis subgrups, i
finalment realitzar la verificació de línies en cada grup, i alhora es puleixen les regions d'interès.
Els experiments demostren que, en comparació amb el mètode estandar (basat en RANSAC), la
nostra proposta de verificació de línies és més exhaustiva i va acompanyada d’una lleugera
disminució de precisió, la qual cosa es preferible en determinats casos de cerca. / In this work, we develop a generic framework that is able to handle the document retrieval
problem in various scenarios such as searching for full page matches or retrieving the
counterparts for specific document areas, focusing on their structural similarity or letting their
visual resemblance to play a dominant role. Based on the spatial indexing technique, we
propose to search for matches of local key‐region pairs carrying both structural and visual
information from the collection while a scheme allowing to adjust the relative contribution of
structural and visual similarity is presented.
Based on the fact that the structure of documents is tightly linked with the distance among
their elements, we firstly introduce an efficient detector named Distance Transform based
Maximally Stable Extremal Regions (DTMSER). We illustrate that this detector is able to
efficiently extract the structure of a document image as a dendrogram (hierarchical tree) of
multi‐scale key‐regions that roughly correspond to letters, words and paragraphs. We
demonstrate that, without benefiting from the structure information, the key‐regions extracted
by the DTMSER algorithm achieve better results comparing with state‐of‐the‐art methods while
much less amount of key‐regions are employed.
We subsequently propose a pair‐wise Bag of Words (BoW) framework to efficiently embed
the explicit structure extracted by the DTMSER algorithm. We represent each document as a list
of key‐region pairs that correspond to the edges in the dendrogram where inclusion relationship
is encoded. By employing those structural key‐region pairs as the pooling elements for
generating the histogram of features, the proposed method is able to encode the explicit
inclusion relations into a BoW representation. The experimental results illustrate that the pairwise
BoW, powered by the embedded structural information, achieves remarkable
improvement over the conventional BoW and spatial pyramidal BoW methods.
To handle various retrieval scenarios in one framework, we propose to directly query a series
of key‐region pairs, carrying both structure and visual information, from the collection. We
introduce the spatial indexing techniques to the document retrieval community to speed up the
structural relationship computation for key‐region pairs. We firstly test the proposed framework
in a full page retrieval scenario where structurally similar matches are expected. In this case, the
pair‐wise querying method achieves notable improvement over the BoW and spatial pyramidal
BoW frameworks. Furthermore, we illustrate that the proposed method is also able to handle
focused retrieval situations where the queries are defined as a specific interesting partial areas
of the images. We examine our method on two types of focused queries: structure‐focused and
exact queries. The experimental results show that, the proposed generic framework obtains
nearly perfect precision on both types of focused queries while it is the first framework able to
tackle structure‐focused queries, setting a new state of the art in the field.
Besides, we introduce a line verification method to check the spatial consistency among the
matched key‐region pairs. We propose a computationally efficient version of line verification
through a two step implementation. We first compute tentative localizations of the query and
subsequently employ them to divide the matched key‐region pairs into several groups, then line
verification is performed within each group while more precise bounding boxes are computed.
We demonstrate that, comparing with the standard approach (based on RANSAC), the line
verification proposed generally achieves much higher recall with slight loss on precision on
specific queries.
|
97 |
Hierarchical region based processing of images and video sequences: application to filtering, segmentation and information retrievalGarrido Ostermann, Luís 14 June 2002 (has links)
Este trabajo estudia la utilidad de representaciones jerárquicas basadas en regiones para el procesado de imagen y de secuencias de vídeo. Las representaciones basadas en regiones ofrecen una forma de realizar un primer nivel de abstracción y reducir el número de elementos a procesar con respecto a la representación clásica basada en el pixel. En este trabajo se revisan las dos representaciones que han demostrado ser de utilidad para el procesado basado en regiones, a saber el grafo de regiones adyacentes y el árbol, y se discute por qué las representaciones basadas en árboles son más adecuadas para nuestro propósito. De hecho, los árboles permiten la representación de la imagen de forma jerárquica y pueden ser aplicadas sobre éste técnicas eficientes y complejas. En este trabajo se discuten dos cuestiones principales: cómo puede ser creada la representación jerárquica a partir de una imagen determinada y cómo se puede manipular o procesar el árbol.Se han desarrollado dos representaciones basadas en árboles: el Árbol de Máximos, y el Árbol de Particiones Binario. El Árbol de Máximos estructura de forma compacta las componentes conexas que surgen de todos los posibles conjuntos de niveles de una imagen de nivel de gris. Es una representación adecuada para la implementación de operadores conexos antiextensivos, desde operadores clásicos (por ejemplo, filtro de área) hasta operadores nuevos (como el filtro de movimiento desarrollado en este trabajo). El Árbol de Particiones Binario estructura el conjunto de regiones que se obtiene durante la ejecución de un algoritmo de fusión basado en regiones. Desarrollado para superar alguno de los inconvenientes impuestos por el árbol de Máximos -- en particular la falta de flexibilidad de la creación del árbol y la auto-dualidad de la representación del árbol --, ha demostrado ser una representación apta para un gran número de aplicaciones, tal y como se muestra en este trabajo.Las estrategias de procesado se basan en técnicas de poda. Las técnicas de poda eliminan algunas ramas del árbol basándose en un algoritmo de análisis aplicado a los nodos del árbol. Las técnicas de poda aplicadas al árbol de Máximos permiten obtener operadores anti-extensivos, mientras que para el caso del árbol de Particiones Binario se obtienen operadores auto-duales si éste ha sido creado de forma auto-dual. Las técnicas de poda desarrolladas en este trabajo están dirigidas hacia las siguiente aplicaciones: filtrado, segmentación y recuperación de datos basada en el contenido.Las aplicaciones de filtrado (en el contexto de los operadores conexos) y segmentación están basados en el mismo principio: los nodos del árbol son analizados de acuerdo a un criterio determinado, y la decisión de eliminar o preservar un nodo se basada normalmente en un umbral aplicado sobre la anterior medida del criterio. La poda se realiza entonces de acuerdo con la ésta decisión. Como resultado, la imagen asociada al árbol podado representa una versión filtrada o segmentada de la imagen original de acuerdo con el criterio seleccionado. Alguno de los criterios discutidos en este trabajo están basados, por ejemplo, en área, movimiento, marcador & propagación o una estrategia de tasa-distorsión. El problema de la falta de robustez de las estrategias clásicas para criterios no crecientes es estudiado y solucionado gracias a un algoritmo de optimización basado en el algoritmo de Viterbi.La recuperación de imágenes basada en el contenido es la tercera aplicación en la que nos hemos centrado en este trabajo. Las representaciones jerárquicas basadas en regiones son particularmente adecuadas para este propósito ya que permiten representar la imagen a diferentes escalas de resolución, y por lo tanto las regiones asociadas a una imagen pueden ser descritas a diferentes escalas de resolución. En este trabajo nos centramos en un sistema de recuperación de imágenes que soporta preguntas de bajo nivel basadas en descriptores visuales y relaciones espaciales. Para ello, se adjuntan descriptores de región a los nodos del árbol. Se discuten dos tipos de preguntas: pregunta basada en una región, en el que la pregunta esta formada por una región, y pregunta basada en múltiples regiones, en el que la pregunta esta formada por un conjunto de regiones. En el primero la recuperación se realiza utilizando descriptores visuales, mientras que en el segundo se utilizan descriptores visuales y relaciones espaciales. Además, se presenta una estrategia de realimentación por relevancia para eludir la necesidad de establecer manualmente el peso asociado a cada uno de los descriptores.Un aspecto importante que se ha tenido en cuenta a lo largo de este trabajo es la implementación eficiente de los algoritmos desarrollados tanto para la creación como el procesado del árbol. En el caso de la creación del árbol, la eficiencia se obtiene principalmente gracias al uso de colas jerárquicas, mientras que en el procesado se utilizan algoritmos basados en estrategias recursivas para obtener algoritmos eficientes. / This work discusses the usefulness of hierarchical region based representations for image and video processing. Region based representations offer a way to perform a first level of abstraction and reduce the number of elements to process with respect to the classical pixel based representation. In this work the two representations that have demonstrated to be useful for region based processing are reviewed, namely region adjacency graphs and trees, and it is discussed why tree based representations are better suited for our purpose. In fact, trees allow representing the image in a hierarchical way and efficient and complex processing techniques can be applied on it. Two major issues are discussed in this work: how the hierarchical representation may be created from a given image and how the tree may be manipulated or processed.Two tree based representations have been developed: the Max-Tree, and the Binary Partition Tree. The Max-Tree structures in a compact way the connected components that arise from all possible level sets from a gray-level image. It is suitable for the implementation of anti-extensive connected operators, ranging from classical ones (for instance, area filter) to new ones (such as the motion filter developed in this work). The Binary Partition Tree structures the set of regions that are obtained during the execution of a region merging algorithm. Developed to overcome some of the drawbacks imposed by the Max-Tree -- in particular the lack of flexibility of the tree creation and the self-duality of the tree representation --, it has demonstrated to be a representation useful for a rather large range of applications, as it is shown in this work.Processing strategies are focused on pruning techniques. Pruning techniques remove some of the branches of the tree based on an analysis algorithm applied on the nodes of the tree. Pruning techniques applied on the Max-Tree lead to anti-extensive operators, whereas self-dual operators are obtained on the Binary Partition Tree, if the tree is created in a self-dual manner. The pruning techniques that have been developed in this work are directed to the following applications: filtering, segmentation and content based image retrieval.The filtering (in the context of connected operators) and segmentation applications are based on the same principle: the nodes of the tree are analyzed according to a fixed criterion, and the decision to remove or preserve a node usually relies on a threshold applied on the former measured criterion. Pruning is then performed according to the previous decision. As a result, the image associated to the pruned tree represents a filtered or segmented version of the original image according to the selected criterion. Some of the criteria that are discussed in this work are based, for instance, on area, motion, marker & propagation or a rate-distortion strategy. The problem of the lack of robustness of classical decision approaches of non-increasing criteria is discussed and solved by means of an optimization strategy based on the Viterbi algorithm.Content based image retrieval is the third application we have focused on in this work. Hierarchical region based representations are particularly well suited for this purpose since they allow to represent the image at different scales of resolution, and thus the regions of the image can be described at different scales of resolution. In this work we focus on an image retrieval system which supports low level queries based on visual descriptors and spatial relationships. For that purpose, region descriptors are attached to the nodes of the tree. Two types of queries are discussed: single region query, in which the query is made up of one region and, multiple region query, in which the query is made up of a set of regions. In the former visual descriptors are used to perform the retrieval whereas visual descriptors and spatial relationships are used in the latter case. Moreover, a relevance feedback approach is presented to avoid the need of manually setting the weights associated to each descriptor.An important aspect that has been taken into account throughout this work is the efficient implementation of the algorithms that have been developed for both creation and processing of the tree. In the case of the tree creation, efficiency has been obtained mainly due to the use of hierarchical queues, whereas in the processing step analysis algorithms based on recursive strategies are used to get efficient algorithms.
|
98 |
Categorical Data Protection on Statistical Datasets and Social NetworksMarés Soler, Jordi 15 November 2013 (has links)
L’augment continu de la publicació de dades amb contingut sensible ha incrementat
el risc de violar la privacitat de les persones i/o institucions. Actualment
aquest augment és cada cop mes ràpid degut a la gran expansió d’Internet.
Aquest aspecte fa molt important la comprovació del rendiment dels mètodes de
protecció utilitzats. Per tal de fer aquestes comprovacions existeixen dos tipus
de mesures a tenir en compte: la pèrdua d’informació i el risc de revelació.
Una altra àrea on la privacitat ha incrementat el seu rol n’és el de les xarxes
socials. Les xarxes socials han esdevingut un ingredient essencial en la comunicació entre persones en l’actual món modern. Permeten als usuaris expressar i
compartir els seus interessos i comentar els esdeveniments diaris amb tota la gent
amb la qual estan connectats. Així doncs, el ràpid augment de la popularitat de
les xarxes socials ha resultat en l’adopció d’aquestes com a àrea d’interès per a
comunitats específiques. No obstant, el volum de dades compartides pot ser molt
perillós en termes de privacitat. A més de la informació explícita compartida
mitjanant els ”posts” de cada usuari, existeix informació semàntica implícita
amagada en el conjunt de d’informació compartida per cada usuari. Per aquestes
i altres raons, la protecció de les dades pertanyents a cada usuari ha de ser
tractada.
Així doncs, les principals contribucions d’aquesta tesi són:
• El desenvolupament de mètodes de protecció basats en algorismes evolutius
els quals busquen de manera automatitzada millors proteccions en termes
de pèrdua d’informació i risc de revelació.
• El desenvolupament d’un mètode evolutiu per tal d’optimitzar la matriu
de probabilitats de transició amb la qual es basa el mètode Post-
Randomization Method per tal de generar proteccions millors.
• La definició d’un mètode de protecció per a dades categ`oriques basat en
l’execució d’un algorisme de clustering abans de protegir per tal d’obtenir
dades protegides amb millor utilitat.
• La definició de com es pot extreure tant informació implícita com explicita
d’una xarxa social real com Twitter, el desenvolupament d’un mètode de
protecció per xarxes socials i la definició de noves mesures per avaluar la
qualitat de les proteccions en aquests escenaris. / The continuous growth of public sensitive data has increased the risk of breaking
the privacy of people or institutions in those datasets. This growing is, nowadays,
even faster because of the expansion of the Internet. This fact makes very
important the assessment of the performance of all the methods used to protect
those datasets. In order to check the performance there exist two kind of
measures: the information loss and the disclosure risk.
Another area where privacy has an increasing role is the one of social networks.
They have become an essential ingredient of interpersonal communication
in the modern world. They enable users to express and share common interests,
comment upon everyday events with all the people with whom they are connected.
Indeed, the growth of social media has been rapid and has resulted in
the adoption of social networks to meet specific communities of interest.However,
this shared information space can prove to be dangerous in respect of user privacy
issues. In addition to explicit ”posts” there is much implicit semantic
information that is not explicitly given in the posts that the user shares. For
these and other reasons, the protection of information pertaining to each user
needs to be supported.
This thesis shows some new approaches to face these problems. The main
contributions are:
• The development of an approach for protecting microdata datasets based
on evolutionary algorithms which seeks automatically for better protections
in terms of information loss and disclosure risk.
• The development of an evolutionary approach to optimize the transition
matrices used in the Post-Randomization masking method which performs
better protections.
• The definition of an approach to deal with categorical microdata protection
based on a pre-clustering approach achieving protected data with better
utility.
• The definition of a way to extract both implicit and explicit information
from a real social network like Twitter as well as the development of a
protection method to deal with this information and some new measures
to evaluate the protection quality.
|
99 |
Contributions to Record Linkage for Disclosure Risk AssessmentNin Guerrero, Jordi 16 June 2008 (has links)
Cada dia una gran quantitat de dades són recollides pels instituts d'estadística. Aquest fet combinat amb el creixement que ha experimentat Internet en els darrers anys fa que hom es pregunti si les seves dades confidencials són emmagatzemades i distribuïdes d'una manera privada i segura.En aquest marc, els mètodes de protecció de dades tenen una gran importància, convertint-se en crucial anonimitzar les dades abans de la seva publicació. Quan anonimitzem un conjunt de dades amb un mètode de protectió, s'ha d'avaluar el grau de privadesa de les noves dades protegides. Les tècniques de re-identificació, com l'enllaç de registres, són unes de les tècniques més utilitzades per avaluar la seguretat d'un mètode de protecció.Aquesta tesi aplica mètodes d'enllaç de registres al càlcul del risc de revelació dels diferents mètodes de protecció de dades. L'objectiu d'aquest procés és avaluar la seguretat d'un mètode de protecció d'una forma pràctica i real. Les principals contribucions d'aquesta tesis són:· La definició de tres mètodes d'enllaç de registres dissenyats per avaluar el risc de revelació de dos dels mètodes d'anonimització més utilitzats: la microagregació i l'intercanvi de rangs.· La formalització d'una mesura empírica que avalua el risc de revelació de la microagregació multi variable.· El desenvolupament de noves variants dels mètodes de protecció clàssics que són resistents a les tècniques d'enllaç de registres definides dins d'aquesta tesi.· L'estudi de nous escenaris on el risc de revelació encara existeix. Concretament, hem definit un mètode de re-identificació basat en funcions d'agregació que permet re-identificar individus quan l'intrús no té accés a les dades originals abans d'ésser protegides. També hem desenvolupat un marc per a l'avaluació de mètodes de protecció quan aquests s'apliquen a series temporals. En aquest darrer escenari hem definit una serie de mesures per avaluar la pèrdua d'informació i el risc de revelació. / Every day, a large amount of data is collected by statistical agencies. This fact combined with the growth that the Internet has experimented during the recent years makes one wonders whether its confidential data is stored and distributed in a secure way.In this framework, data protection methods have a great importance, becoming crucial to anonymize confidential attributes before releasing them in a private and secure manner. When a protection method is applied, a new and challenging problem arises. This problem is the evaluation of the privacy provided by such method. Re-identification techniques, as record linkage methods, are one of the most common techniques for evaluating the security of a protection method.This thesis applies record linkage techniques to the calculation of the disclosure risk of a protection method. The aim of this application is to evaluate the security of a protection method in a real and fair way. The main contributions are:· The definition of three specific record linkage techniques for evaluating two of the most common protection methods: rank swapping and microaggregation.· The definition of an empirical disclosure risk measure for microaggregation.· The development of new variants of rank swapping and microaggregation resistant to record linkage methods and disclosure risk measures defined in this thesis. · The study of new disclosure risk scenarios. In particular, we have developed a record linkage method which applies aggregation functions to re-identify individuals when the intruder has no access to any of the original attributes of the protected data. We have also developed a framework for the evaluation of protection methods when they are applied to time series data.
|
100 |
Privacy protection methods for documents and risk evaluation for microdataAbril Castellano, Daniel 21 January 2015 (has links)
La capacitat de recollir i emmagatzemar informació per agencies d'estadística, governs o individus ha creat grans oportunitats d'anàlisi de les dades i la creació de models basats en el coneixent. A més, amb el creixement d'Internet moltes companyies han decidit canviar els seus antics models de negoci per uns basats en la venta i l'explotació de les dades personals, les qual en molts dels casos contenen informació confidencial. Aquest fet ha creat la necessitat de desenvolupar mètodes per a la difusió de dades amb contingut confidencial amb fins de mineria de dades, assegurant que la informació confidencial no pugui ser vinculada als individus als qual pertanyen. D'aquesta manera, les dades prèviament protegides poden ser transferides, publicades o venudes a terceres parts assegurant la confidencialitat dels individus que hi apareixen i a la vegada sent útils per aquells que les vulguin analitzar.
Una àrea d'aplicació molt clara són els documents de text els quals avui dia omplen la major part de la xarxa. Els documents de text són especialment difícils de protegir. A causa de la seva complicada estructura és difícil detectar les parts que poden contenir informació sensible. En aquesta tesi s'ha distingit dos models diferents de protecció de documents. Per una banda, s'ha considerat la protecció de col·leccions de documents, de manera que aquests conjunts de textos puguin ser analitzats utilitzant tècniques clàssiques de mineria de textos i d'aprenentatge automàtic. Per l'altra banda, s'ha considerat la protecció individualitzada de cada document. La sanitització de documents és el procés habitual mitjançant el qual les parts sensibles o confidencials d'un text són detectades i eliminades. L'aplicació manual d'aquesta tècnica és molt habitual per a la declassificació i possible difusió de documents governamentals confidencials. D'aquesta manera, els governs demostren que estan a favor del dret a la llibertat d'informació, mentre que la seguretat nacional no es veu compromesa.
Aquesta tesi presenta un conjunt de proteccions i avaluacions per a la protecció de textos. A més, introdueix un mètode d'aprenentatge supervisat per l'avaluació del risc de revelació per mètodes de protecció de microdades. Les principals contribucions d'aquesta tesi són les següents:
* El desenvolupament d'un mètode semiautomàtic per ajudar a la declassificació de documents confidencials.
* La formalització de mesures específiques per a l'avaluació del risc de revelació i la informació perduda en aplicar mètodes de protecció per sanitització.
* El desenvolupament de dos mètodes basats en el principi de k-anonimitat per la protecció de col·leccions de documents representades com un model d'espai vectorials. El primer mètode explota la distribució dels vectors mentre que el segon es basa en les possibles relacions semàntiques dels vectors de paraules.
* L'estudi de mètodes avançats per avaluar el risc de revelació d'informació sensible sobre microdades després de ser protegides. En particular, es proposa un mètode d'aprenentatge supervisat per a l'enllaç de registres basat en distàncies. Aquest mètode es basa en l'aprenentatge dels paràmetres proporcionats per una funció. Diferents tipus de funcions han estat utilitzades per tal d'estudiar la seva eficàcia en l'avaluació del risc. / The capability to collect and store digital information by statistical agencies, governments or individuals has created huge opportunities to analyze and build knowledge-based models. With the rise of Internet many services and companies have exploited these opportunities collecting huge amounts of data, which most of the cases are considered confidential. This causes the need to develop methods that allow the dissemination of confidential data for data mining purposes while preserving individuals' private information. Thus, personal data could be collected, transferred or sold to third parties ensuring the individuals' confidentiality, but still being statistically useful.
Internet is full of unstructured textual data like posts or documents with a large content of information that can be extracted and analyzed. Documents are especially difficult to protect due to their lack of structure. In this thesis we distinguish two different models to protect documents. On the one hand, we consider the protection of a collection of documents, so this set of documents can be analyzed by means of text mining and machine learning techniques. On the other hand, we consider the protection of single documents by means of the documents' sanitization. This is the process of detecting and removing the parts of the text considered sensitive. When dealing with governmental classified information, sanitization attempts to reduce the sensitiveness of the document, possibly yielding a non-classified document. In this way, governments show they uphold the freedom of information while the national security is not jeopardised.
This thesis presents a set of different methods and experiments for the protection of unstructured textual data protection and besides, it introduces an advanced method to evaluate the security of microdata protection methods. The main contributions are:
* The development of a new semi-automatic method to assist documents' declassification.
* The definition of two specific metrics for evaluating the information loss and disclosure risk of sanitized documents.
* The development of two cluster-based approaches based on the k-anonymity principle to anonymize vector space models. One exploits the sparsity and the other exploits the possible semantic relations of those vectors.
* The study of advanced methods to evaluate the disclosure risk of microdata protection methods. In particular, we have developed a general supervised metric learning approach for distance-based record linkage. Moreover, we have reviewed the suitability of a set of parameterized distance functions that can be used together with the supervised approach.
|
Page generated in 0.08 seconds