La reconnaissance d’objets est une tâche complexe au cours de laquelle le cerveau doit assembler de manière cohérente tous les éléments d’un objet accessible à l’œil afin de le reconnaître. La construction d’une représentation corticale de l’objet se fait selon un processus appelé « bottom-up », impliquant notamment les régions occipitales et temporales. Un mécanisme « top-down » au niveau des régions pariétales et frontales, facilite la reconnaissance en suggérant des identités potentielles de l’objet à reconnaître. Cependant, le mode de fonctionnement de ces mécanismes est peu connu. Plusieurs études ont démontré une activité gamma induite au moment de la perception cohérente de stimuli, lui conférant ainsi un rôle important dans la reconnaissance d’objets. Cependant, ces études ont utilisé des techniques d’enregistrement peu précises ainsi que des stimuli répétitifs. La première étude de cette thèse vise à décrire la dynamique spatio-temporelle de l’activité gamma induite à l’aide de l’électroencéphalographie intracrânienne, une technique qui possède des résolutions spatiales et temporelles des plus précises. Une tâche d’images fragmentées a été conçue dans le but de décrire l’activité gamma induite selon différents niveaux de reconnaissance, tout en évitant la répétition de stimuli déjà reconnus. Afin de mieux circonscrire les mécanismes « top-down », la tâche a été répétée après un délai de 24 heures. Les résultats démontrent une puissante activité gamma induite au moment de la reconnaissance dans les régions « bottom-up ». Quant aux mécanismes « top-down », l’activité était plus importante aux régions occipitopariétales. Après 24 heures, l’activité était davantage puissante aux régions frontales, suggérant une adaptation des procédés « top-down » selon les demandes de la tâche. Très peu d’études se sont intéressées au rythme alpha dans la reconnaissance d’objets, malgré qu’il soit bien reconnu pour son rôle dans l’attention, la mémoire et la communication des régions neuronales distantes. La seconde étude de cette thèse vise donc à décrire plus précisément l’implication du rythme alpha dans la reconnaissance d’objets en utilisant les techniques et tâches identiques à la première étude. Les analyses révèlent une puissante activité alpha se propageant des régions postérieures aux régions antérieures, non spécifique à la reconnaissance. Une synchronisation de la phase de l’alpha était, quant à elle, observable qu’au moment de la reconnaissance. Après 24 heures, un patron similaire était observable, mais l’amplitude de l’activité augmentait au niveau frontal et les synchronies de la phase étaient davantage distribuées. Le rythme alpha semble donc refléter des processus attentionnels et communicationnels dans la reconnaissance d’objets. En conclusion, cette thèse a permis de décrire avec précision la dynamique spatio-temporelle de l’activité gamma induite et du rythme alpha ainsi que d’en apprendre davantage sur les rôles potentiels que ces deux rythmes occupent dans la reconnaissance d’objets. / Recognizing objects is a complex task requiring the brain to assemble visual information in such a way that coherent perception can happen. Building a visual cerebral representation is done through a bottom-up process, involving mainly occipital and temporal areas. A top-down mechanism from parietal and frontal areas, is thought to facilitate recognition by taking into account expectations and generating possible candidates. However, the precise mechanisms by which all these processes are done are still unclear. Studies investigating induced gamma response were able to link this activity to coherent perception of objects, suggesting a significant role of this activity in object recognition. However, these studies used imprecise recording techniques and stimuli repetition. The first study of this thesis aimed at describing with more precision the induced gamma activity using intracranial encephalography and a fragmented images paradigm in which only new stimuli are presented. Moreover, the task was presented again 24 hours later to circumscribe top-down mechanisms. Results show that the induced gamma activity is highest at recognition in regions involved in bottom-up processes. Top-down mechanism involved occipito-parietal areas when images were presented for the first time. When images were presented again 24 hours later, frontal areas mediated top-down facilitation, suggesting that top-down mechanisms vary according to task demand. Alpha rhythm has been less clearly related to visual perception, but is nevertheless well known to be involved in attention, memory and long-distance brain communication. The second study of this thesis investigated the role of alpha rhythm in object recognition, using the same technique and task as in the first study. Time-frequency analysis revealed a strong alpha activity unspecific to recognition, which was propagating from posterior to anterior regions. Phase coherence analysis, however, showed significant phase synchronisation specific to recognition. A similar pattern of alpha activity was found 24 hours later. However, the activity was stronger in frontal regions and the phase synchronisation was more distributed. Alpha rhythm is thus thought to be involved in attentional and communicational mechanisms of object recognition. In conclusion, this thesis was able to describe the precise spatio-temporal dynamics of induced gamma and alpha activity and suggest potential roles of these rhythms in response to object recognition.

Virtual reconstruction of historic sites, planning of restorations and attachments of new building parts, as well as forest inventory are few examples of fields that benefit from the application of 3D surveying data. Originally using 2D photo based documentation and manual distance measurements, the 3D information obtained from multi camera and laser scanning systems realizes a noticeable improvement regarding the surveying times and the amount of generated 3D information. The 3D data allows a detailed post processing and better visualization of all relevant spatial information. Yet, for the extraction of the required information from the raw scan data and for the generation of useable visual output, time-consuming, complex user-based data processing is still required, using the commercially available 3D software tools. In this context, the automatic object recognition from 3D point cloud and depth data has been discussed in many different works. The developed tools and methods however, usually only focus on a certain kind of object or the detection of learned invariant surface shapes. Although the resulting methods are applicable for certain practices of data segmentation, they are not necessarily suitable for arbitrary tasks due to the varying requirements of the different fields of research. This thesis presents a more widespread solution for automatic scene reconstruction from 3D point clouds, targeting street scenarios, specifically for the task of traffic accident scene analysis and documentation. The data, obtained by sampling the scene using a mobile scanning system is evaluated, segmented, and finally used to generate detailed 3D information of the scanned environment. To realize this aim, this work adapts and validates various existing approaches on laser scan segmentation regarding the application on accident relevant scene information, including road surfaces and markings, vehicles, walls, trees and other salient objects. The approaches are therefore evaluated regarding their suitability and limitations for the given tasks, as well as for possibilities concerning the combined application together with other procedures. The obtained knowledge is used for the development of new algorithms and procedures to allow a satisfying segmentation and reconstruction of the scene, corresponding to the available sampling densities and precisions. Besides the segmentation of the point cloud data, this thesis presents different visualization and reconstruction methods to achieve a wider range of possible applications of the developed system for data export and utilization in different third party software tools.

No description available.

Cette thèse est consacrée au problème de la reconnaissance visuelle des objets basé sur l'ordinateur, qui est devenue un sujet de recherche très populaire et important ces dernières années grâce à ses nombreuses applications comme l'indexation et la recherche d'image et de vidéo , le contrôle d'accès de sécurité, la surveillance vidéo, etc. Malgré beaucoup d'efforts et de progrès qui ont été fait pendant les dernières années, il reste un problème ouvert et est encore considéré comme l'un des problèmes les plus difficiles dans la communauté de vision par ordinateur, principalement en raison des similarités entre les classes et des variations intra-classe comme occlusion, clutter de fond, les changements de point de vue, pose, l'échelle et l'éclairage. Les approches populaires d'aujourd'hui pour la reconnaissance des objets sont basé sur les descripteurs et les classiffieurs, ce qui généralement extrait des descripteurs visuelles dans les images et les vidéos d'abord, et puis effectue la classification en utilisant des algorithmes d'apprentissage automatique sur la base des caractéristiques extraites. Ainsi, il est important de concevoir une bonne description visuelle, qui devrait être à la fois discriminatoire et efficace à calcul, tout en possédant certaines propriétés de robustesse contre les variations mentionnées précédemment. Dans ce contexte, l’objectif de cette thèse est de proposer des contributions novatrices pour la tâche de la reconnaissance visuelle des objets, en particulier de présenter plusieurs nouveaux descripteurs visuelles qui représentent effectivement et efficacement le contenu visuel d’image et de vidéo pour la reconnaissance des objets. Les descripteurs proposés ont l'intention de capturer l'information visuelle sous aspects différents. Tout d'abord, nous proposons six caractéristiques LBP couleurs de multi-échelle pour traiter les défauts principaux du LBP original, c'est-à-dire, le déffcit d'information de couleur et la sensibilité aux variations des conditions d'éclairage non-monotoniques. En étendant le LBP original à la forme de multi-échelle dans les différents espaces de couleur, les caractéristiques proposées non seulement ont plus de puissance discriminante par l'obtention de plus d'information locale, mais possèdent également certaines propriétés d'invariance aux différentes variations des conditions d’éclairage. En plus, leurs performances sont encore améliorées en appliquant une stratégie de l'image division grossière à fine pour calculer les caractéristiques proposées dans les blocs d'image afin de coder l'information spatiale des structures de texture. Les caractéristiques proposées capturent la distribution mondiale de l’information de texture dans les images. Deuxièmement, nous proposons une nouvelle méthode pour réduire la dimensionnalité du LBP appelée la combinaison orthogonale de LBP (OC-LBP). Elle est adoptée pour construire un nouveau descripteur local basé sur la distribution en suivant une manière similaire à SIFT. Notre objectif est de construire un descripteur local plus efficace en remplaçant l'information de gradient coûteux par des patterns de texture locales dans le régime du SIFT. Comme l'extension de notre première contribution, nous étendons également le descripteur OC-LBP aux différents espaces de couleur et proposons six descripteurs OC-LBP couleurs pour améliorer la puissance discriminante et la propriété d'invariance photométrique du descripteur basé sur l'intensité. Les descripteurs proposés capturent la distribution locale de l’information de texture dans les images. Troisièmement, nous introduisons DAISY, un nouveau descripteur local rapide basé sur la distribution de gradient, dans le domaine de la reconnaissance visuelle des objets. [...] / This thesis is dedicated to the problem of machine-based visual object recognition, which has become a very popular and important research topic in recent years because of its wide range of applications such as image/video indexing and retrieval, security access control, video monitoring, etc. Despite a lot of e orts and progress that have been made during the past years, it remains an open problem and is still considered as one of the most challenging problems in computer vision community, mainly due to inter-class similarities and intra-class variations like occlusion, background clutter, changes in viewpoint, pose, scale and illumination. The popular approaches for object recognition nowadays are feature & classifier based, which typically extract visual features from images/videos at first, and then perform the classification using certain machine learning algorithms based on the extracted features. Thus it is important to design good visual description, which should be both discriminative and computationally efficient, while possessing some properties of robustness against the previously mentioned variations. In this context, the objective of this thesis is to propose some innovative contributions for the task of visual object recognition, in particular to present several new visual features / descriptors which effectively and efficiently represent the visual content of images/videos for object recognition. The proposed features / descriptors intend to capture the visual information from different aspects. Firstly, we propose six multi-scale color local binary pattern (LBP) features to deal with the main shortcomings of the original LBP, namely deficiency of color information and sensitivity to non-monotonic lighting condition changes. By extending the original LBP to multi-scale form in different color spaces, the proposed features not only have more discriminative power by obtaining more local information, but also possess certain invariance properties to different lighting condition changes. In addition, their performances are further improved by applying a coarse-to-fine image division strategy for calculating the proposed features within image blocks in order to encode spatial information of texture structures. The proposed features capture global distribution of texture information in images. Secondly, we propose a new dimensionality reduction method for LBP called the orthogonal combination of local binary patterns (OC-LBP), and adopt it to construct a new distribution-based local descriptor by following a way similar to SIFT.Our goal is to build a more efficient local descriptor by replacing the costly gradient information with local texture patterns in the SIFT scheme. As the extension of our first contribution, we also extend the OC-LBP descriptor to different color spaces and propose six color OC-LBP descriptors to enhance the discriminative power and the photometric invariance property of the intensity-based descriptor. The proposed descriptors capture local distribution of texture information in images. Thirdly, we introduce DAISY, a new fast local descriptor based on gradient distribution, to the domain of visual object recognition.

No description available.

The main goal of this work is creating client-server application with image processing and cryptographic verification of image source and creation time. The work focuses on creating a mobile client application on the Android platform that securly takes photos by mobile device camera, processes captured images and provides a digital signature, timestamp and GPS location. The main part of the work is secure key exchange, encrypted communication, data and energy efficiency of the client-server application. The server application is implemented on the Java EE platform and processes the received image, performs object detection, object recognition in the image and provides a timestamp from a trusted server. Then taken photo can be considered as a trusted electronic document usable as valid evidence for the judical or administrative proceedings.

Virtual reconstruction of historic sites, planning of restorations and attachments of new building parts, as well as forest inventory are few examples of fields that benefit from the application of 3D surveying data. Originally using 2D photo based documentation and manual distance measurements, the 3D information obtained from multi camera and laser scanning systems realizes a noticeable improvement regarding the surveying times and the amount of generated 3D information. The 3D data allows a detailed post processing and better visualization of all relevant spatial information. Yet, for the extraction of the required information from the raw scan data and for the generation of useable visual output, time-consuming, complex user-based data processing is still required, using the commercially available 3D software tools. In this context, the automatic object recognition from 3D point cloud and depth data has been discussed in many different works. The developed tools and methods however, usually only focus on a certain kind of object or the detection of learned invariant surface shapes. Although the resulting methods are applicable for certain practices of data segmentation, they are not necessarily suitable for arbitrary tasks due to the varying requirements of the different fields of research. This thesis presents a more widespread solution for automatic scene reconstruction from 3D point clouds, targeting street scenarios, specifically for the task of traffic accident scene analysis and documentation. The data, obtained by sampling the scene using a mobile scanning system is evaluated, segmented, and finally used to generate detailed 3D information of the scanned environment. To realize this aim, this work adapts and validates various existing approaches on laser scan segmentation regarding the application on accident relevant scene information, including road surfaces and markings, vehicles, walls, trees and other salient objects. The approaches are therefore evaluated regarding their suitability and limitations for the given tasks, as well as for possibilities concerning the combined application together with other procedures. The obtained knowledge is used for the development of new algorithms and procedures to allow a satisfying segmentation and reconstruction of the scene, corresponding to the available sampling densities and precisions. Besides the segmentation of the point cloud data, this thesis presents different visualization and reconstruction methods to achieve a wider range of possible applications of the developed system for data export and utilization in different third party software tools.

It was analyzed if instructions on a head-worn Augmented Reality display (AR-HWD) are better for manual industrial assembly tasks than instructions on a stationary screen. A prototype was built which consisted of virtual instruction screens for two example assembly tasks. In a comparison study participants performed the tasks with instructions through an AR-HWD and alternatively through a stationary screen. Questionnaires, interviews and observation notes were used to evaluate the task performances and the user experience. The study revealed that the users were excited and enjoyed trying the technology. The perceived usefulness at the current state was diverse, but the users saw a huge potential in AR-HWDs for the future. The task accuracy with instructions on the AR-HWD was equally good as with instructions on the screen. AR-HWDs are found to be a better approach than a stationary screen, but technological limitations need to be overcome and workers need to train using the new technology to make its application efficient.

Die Stadtbiotopkartierung hat sich in Deutschland als die Methode zur Schaffung einer ökologischen Datenbasis für den urbanen Raum etabliert. Sie dient der Untersuchung naturschutzfachlicher Fragen, der Vertretung der Belange des Naturschutzes in zahlreichen räumlichen Planungsverfahren und ganz allgemein einer ökologisch orientierten Stadtplanung. Auf diese Weise kommen die Städte ihrem gesetzlichen Auftrag nach, Natur und Landschaft zu schützen, zu pflegen und zu entwickeln (§ 1 BNatSchG), den es explizit auch innerhalb der besiedelten Fläche zu erfüllen gilt. Ein Großteil der heute bestehenden 228 Stadtbiotoptypenkarten ist in der Etablierungsphase der Methode in den 80er Jahren entstanden und wurde häufig durch Landesmittel gefördert. Der Anteil der Städte, die jemals eine Aktualisierung durchgeführt haben, wird jedoch auf unter fünf Prozent geschätzt. Dies hängt vor allem mit dem hohen Kosten- und Zeitaufwand der Datenerhebung zusammen, die durch visuelle Interpretation von CIR-Luftbildern und durch Feldkartierungen erfolgt. Um die Aktualisierung von Stadtbiotoptypenkarten zu vereinfachen, wird in der vorliegenden Arbeit das Automatisierungspotenzial von Stadtbiotopkartierungen durch Nutzung von Fernerkundungsdaten untersucht. Der Kern der Arbeit besteht in der Entwicklung einer Methode, die einen wichtigen Arbeitsschritt der Stadtbiotopkartierung automatisiert durchführt: Die Erkennung des Biotoptyps von Biotopen. Darüber hinaus zeigt die Arbeit das Automatisierungspotenzial bei der flächenhaften Erhebung von quantitativen Parametern und Indikatoren zur ökologischen Bewertung von Stadtbiotopen auf. Durch die automatische Biotoptypenerkennung kann die Überprüfung und Aktualisierung einer Biotoptypenkarte in weiten Teilen der Stadt automatisiert erfolgen, wodurch der Zeitaufwand reduziert wird. Das entwickelte Verfahren kann in den bestehenden Ablauf der Stadtbiotopkartierung integriert werden, indem zunächst die Kartierung ausgewählter Biotoptypen automatisch erfolgt und die verbleibenden Flächen der Stadt durch visuelle Luftbildinterpretation und Feldbegehung überprüft und zugeordnet werden. Die thematische Einteilung der Biotoptypen orientiert sich im urbanen Raum in erster Linie an der anthropogenen Nutzung, da diese den dominierenden Faktor für die biologische Ausstattung der Biotope darstellt. Die entwickelte Methode eignet sich vor allem zur Erkennung von baulich geprägten Biotopen, da die Nutzung - und dadurch der Biotoptyp einer Fläche - durch eine automatische Analyse der Geoobjekte innerhalb der Biotopfläche ermittelt werden kann. Die Geoobjekte wiederum können durch eine Klassifizierung von multisensoralen Fernerkundungsdaten (hyperspektrale Flugzeugscannerdaten und digitale Oberflächenmodelle) identifiziert werden. Die Analyse der Geoobjekte und der urbanen Oberflächenarten innerhalb der Biotopfläche erfolgt anhand von räumlichen, morphologischen und quantitativen Merkmalen. Auf Basis dieser Merkmale wurden zwei Varianten eines automatischen Biotopklassifizierers entwickelt, die unter Verwendung von Fuzzy Logik und eines neu entwickelten, paarweise arbeitenden Maximum Likelihood Klassifizierers (pMLK) implementiert wurden. Für die bisher implementierten 10 Biotoptypen, die zusammen etwa die Hälfte des Stadtgebiets abdecken, wurde eine Erkennungsgenauigkeit von über 80 % ermittelt. Der pMLK wurde erfolgreich in zwei Städten (Berlin, Dresden) erprobt, wodurch seine Übertragbarkeit nachgewiesen werden konnte.

Die Objekterkennung ist ein natürlicher Prozess im Menschlichen Gehirn. Sie ndet im visuellen Kortex statt und nutzt die binokulare Eigenschaft der Augen, die eine drei- dimensionale Interpretation von Objekten in einer Szene erlaubt. Kameras ahmen das menschliche Auge nach. Bilder von zwei Kameras, in einem Stereokamerasystem, werden von Algorithmen für eine automatische, dreidimensionale Interpretation von Objekten in einer Szene benutzt. Die Entwicklung von Hard- und Software verbessern den maschinellen Prozess der Objek- terkennung und erreicht qualitativ immer mehr die Fähigkeiten des menschlichen Gehirns. Das Hauptziel dieses Forschungsfeldes ist die Entwicklung von robusten Algorithmen für die Szeneninterpretation. Sehr viel Aufwand wurde in den letzten Jahren in der zweidimen- sionale Objekterkennung betrieben, im Gegensatz zur Forschung zur dreidimensionalen Erkennung. Im Rahmen dieser Arbeit soll demnach die dreidimensionale Objekterkennung weiterent- wickelt werden: hin zu einer besseren Interpretation und einem besseren Verstehen von sichtbarer Realität wie auch der Beziehung zwischen Objekten in einer Szene. In den letzten Jahren aufkommende low-cost Verbrauchersensoren, wie die Microsoft Kinect, generieren Farb- und Tiefendaten einer Szene, um menschenähnliche visuelle Daten zu generieren. Das Ziel hier ist zu zeigen, wie diese Daten benutzt werden können, um eine neue Klasse von dreidimensionalen Objekterkennungsalgorithmen zu entwickeln - analog zur Verarbeitung im menschlichen Gehirn. / Object recognition is a natural process of the human brain performed in the visual cor- tex and relies on a binocular depth perception system that renders a three-dimensional representation of the objects in a scene. Hitherto, computer and software systems are been used to simulate the perception of three-dimensional environments with the aid of sensors to capture real-time images. In the process, such images are used as input data for further analysis and development of algorithms, an essential ingredient for simulating the complexity of human vision, so as to achieve scene interpretation for object recognition, similar to the way the human brain perceives it. The rapid pace of technological advancements in hardware and software, are continuously bringing the machine-based process for object recognition nearer to the inhuman vision prototype. The key in this eld, is the development of algorithms in order to achieve robust scene interpretation. A lot of recognisable and signi cant e ort has been successfully carried out over the years in 2D object recognition, as opposed to 3D. It is therefore, within this context and scope of this dissertation, to contribute towards the enhancement of 3D object recognition; a better interpretation and understanding of reality and the relationship between objects in a scene. Through the use and application of low-cost commodity sensors, such as Microsoft Kinect, RGB and depth data of a scene have been retrieved and manipulated in order to generate human-like visual perception data. The goal herein is to show how RGB and depth information can be utilised in order to develop a new class of 3D object recognition algorithms, analogous to the perception processed by the human brain.