L'objectif principal de cette thèse est le développement d'algorithmes événementiels pour la détection et le suivi d'objets. Ces algorithmes sont spécifiquement conçus pour travailler avec une sortie produite par des caméras neuromorphiques. Ce type de caméras sont un nouveau type de capteurs bio inspirés, dont le principe de fonctionnement s'inspire de la rétine: chaque pixel est indépendant et génère des événements de manière asynchrone lorsqu'un changement de luminosité suffisamment important est détecté à la position correspondante du plan focal. Cette nouvelle façon d'encoder l'information visuelle requiert de nouvelles méthodes pour la traiter. D'abord, un suiveur (tracker) plan est décrit. Cet algorithme associe à un objet une série de formes simples reliées par des ressorts. Le système mécanique virtuel résultant est mis à jour pour chaque événement. Le chapitre suivant présente un algorithme de détection de lignes et de segments, pouvant constituer une caractéristique (feature) événementielle de bas niveau. Ensuite, deux méthodes événementielles pour l'estimation de la pose 3D sont présentées. Le premier de ces algorithmes 3D est basé sur l'hypothèse que l'estimation de la pose est toujours proche de la position réelle, et requiert donc une initialisation manuelle. Le deuxième de ces algorithmes 3D est conçu pour surmonter cette limitation. Toutes les méthodes présentées mettent à jour l'estimation de la position (2D ou 3D) pour chaque événement. Cette thèse montre que la vision événementielle permet de reformuler une vaste série de problèmes en vision par ordinateur, souvent donnant lieu à des algorithmes plus simples mais toujours précis. / The main goal of this thesis is the development of event-based algorithms for visual detection and tracking. This algorithms are specifically designed to work on the output of neuromorphic event-based cameras. This type of cameras are a new type of bioinspired sensors, whose principle of operation is based on the functioning of the retina: every pixel is independent and generates events asynchronously when a sufficient amount of change is detected in the luminance at the corresponding position on the focal plane. This new way of encoding visual information calls for new processing methods. First, a part-based shape tracking is presented, which represents an object as a set of simple shapes linked by springs. The resulting virtual mechanical system is simulated with every incoming event. Next, a line and segment detection algorithm is introduced, which can be employed as an event-based low level feature. Two event-based methods for 3D pose estimation are then presented. The first of these 3D algorithms is based on the assumption that the current estimation is close to the true pose of the object, and it consequently requires a manual initialization step. The second of the 3D methods is designed to overcome this limitation. All the presented methods update the estimated position (2D or 3D) of the tracked object with every incoming event. This results in a series of trackers capable of estimating the position of the tracked object with microsecond resolution. This thesis shows that event-based vision allows to reformulate a broad set of computer vision problems, often resulting in simpler but accurate algorithms.

<div>Event-Based cameras, also known as neuromophic cameras or dynamic vision sensors, are an imaging modality that attempt to mimic human eyes by asynchronously measuring contrast over time. If the contrast changes sufficiently then a 1-bit event is output, indicating whether the contrast has gone up or down. This stream of events is sparse, and its asynchronous nature allows the pixels to have a high dynamic range and high temporal resolution. However, these events do not encode the intensity of the scene, resulting in an inverse problem to estimate intensity images from the event stream. Hybrid event-based cameras, such as the DAVIS camera, provide a reference intensity image that can be leveraged when estimating the intensity at each pixel during an event. Normally, inverse problems are solved by formulating a forward and prior model and minimizing the associated cost, however, for this problem, the Plug and Play (P&P) algorithm is used to solve the inverse problem. In this case, P&P replaces the prior model subproblem with a denoiser, making the algorithm modular, easier to implement. We propose an idealized forward model that assumes the contrast steps measured by the DAVIS camera are uniform in size to simplify the problem. We show that the algorithm can swiftly reconstruct the scene intensity at a user-specified frame rate, depending on the chosen denoiser’s computational complexity and the selected frame rate.</div>

Image classification using data from neuromorphic vision sensors is a challenging task that affects the use of dynamic vision sensor cameras in real- world environments. One impeding factor is noise in the neuromorphic event stream, which is often generated by the dynamic vision sensors themselves. This means that effective noise filtration is key to successful use of event- based data streams in real-world applications. In this paper we harness two feature representations of neuromorphic vision data in order to apply conventional frame-based image tools on the neuromorphic event stream. We use a standard noise filter to evaluate the effectiveness of noise filtration using a popular dataset converted to neuromorphic vision data. The two feature representations are the best-of-class standard Histograms of Averaged Time Surfaces (HATS) and a simpler grid matrix representation. To evaluate the effectiveness of the noise filter, we compare classification accuracies using various noise filter windows at different noise levels by adding additional artificially generated Gaussian noise to the dataset. Our performance metrics are reported as classification accuracy. Our results show that the classification accuracy using frames generated with HATS is not significantly improved by a noise filter. However, the classification accuracy of the frames generated with the more traditional grid representation is improved. These results can be refined and tuned for other datasets and may eventually contribute to on- the- fly noise reduction in neuromorphic vision sensors. / Händelsekameror är en ny typ av kamera som registrerar små ljusförändringar i kamerans synfält. Sensorn som kameran bygger på är modellerad efter näthinnan som finns i våra ögon. Näthinnan är uppbyggd av tunna lager av celler som omvandlar ljus till nervsignaler. Eftersom synsensorer efterliknar nervsystemet har de getts namnet neuromorfiska synsensorer. För att registrera små ljusförändringar måste dessa sensorer vara väldigt känsliga vilket även genererar ett elektroniskt brus. Detta brus försämrar kvalitén på signalen vilket blir en förhindrande faktor när dessa synsensorer ska användas i praktiken och ställer stora krav på att hitta effektiva metoder för brusredusering. Denna avhandling undersöker två typer av digitala framställningar som omvandlar signalen ifrån händelsekameror till något som efterliknar vanliga bilder som kan användas med traditionella metoder för bildigenkänning. Vi undersöker brusreduseringens inverkan på den övergripande noggrannhet som uppnås av en artificiell intelligens vid bildigenkänning. För att utmana AIn har vi tillfört ytterligare normalfördelat brus i signalen. De digitala framställningar som används är dels histogram av genomsnittliga tidsytor (eng. histograms of averaged time surfaces) och en matrisrepresentation. Vi visar att HATS är robust och klarar av att generera digitala framställningar som tillåter AIn att bibehålla god noggrannhet även vid höga nivåer av brus, vilket medför att brusreduseringens inverkan var försumbar. Matrisrepresentationen gynnas av brusredusering vid högre nivåer av brus.

Driving is one of the most common and preferred forms of transport used in our actual society. However, according to studies, it is also one of the most dangerous. One solution to increase safety on the road is applying technology to automate and prevent avoidable human errors. Nevertheless, despite the efforts to obtain reliable systems, we have yet to find a reliable and safe enough solution for solving autonomous driving. One of the reasons is that many drives are done in conditions far from the ideal, with variable lighting conditions and fast-paced, unpredictable environments. This project develops and evaluates an algorithm that takes the input of dynamic vision sensors (DVS) and runs on neuromorphic spiking neural networks (SNN) to obtain a robust road lane tracking system. We present quantitative and qualitative metrics that evaluate the performance of lane recognition in low light conditions against conventional algorithms. This project is motivated by the main advantages of neuromorphic vision sensors: recognizing a high dynamic range and allowing a high-speed image capture. Another improvement of this system is the computational speed and power efficiency that characterize neuromorphic hardware based on spiking neural networks. The results obtained show a similar accuracy of this new algorithm compared to previous implementations on conventional hardware platforms. Most importantly, it accomplishes the proposed task with lower latency and computing power requirements than previous algorithms. / Att köra bil är ett av de vanligaste och mest populära transportsätten i vårt samhälle. Enligt forskningen är det också ett av de farligaste. En lösning för att öka säkerheten på vägarna är att med teknikens hjälp automatisera bilkörningen och på så sätt förebygga misstag som beror på den mänskliga faktorn. Trots ansträngningarna för att få fram tillförlitliga system har man dock ännu inte hittat en tillräckligt tillförlitlig och säker lösning för självkörande bilar. En av orsakerna till det är att många körningar sker under förhållanden som är långt ifrån idealiska, med varierande ljusförhållanden och oförutsägbara miljöer i höga hastigheter. I det här projektet utvecklar och utvärderar vi en algoritm som tar emot indata från dynamiska synsensorer (Dynamic Vision Sensors, DVS) och kör datan på neuromorfiska pulserande neuronnät (Spiking Neural Networks, SNN) för att skapa ett robust system för att läsa av vägbanan. Vi presenterar en kvantitativ och kvalitativ utvärdering av hur väl systemet läser av körbanans linjer i svagt ljus, och jämför därefter resultaten med dem för tidigare algoritmer. Detta projekt motiveras av de viktigaste fördelarna med neuromorfiska synsensorer: brett dynamiskt omfång och hög bildtagningshastighet. En annan fördel hos detta system är den korta beräkningstiden och den energieffektivitet som kännetecknar neuromorfisk hårdvara baserad på pulserande neuronnät. De resultat som erhållits visar att den nya algoritmen har en liknande noggrannhet som tidigare algoritmer på traditionella hårdvaruplattformar. I jämförelse med den traditionella tekniken, utför algoritmen i den föreliggande studien sin uppgift med kortare latenstid och lägre krav på processorkraft. / La conducción es una de las formas de transporte más comunes y preferidas en la actualidad. Sin embargo, diferentes estudios muestran que también es una de las más peligrosas. Una solución para aumentar la seguridad en la carretera es aplicar la tecnología para automatizar y prevenir los evitables errores humanos. No obstante, a pesar de los esfuerzos por conseguir sistemas fiables, todavía no hemos encontrado una solución suficientemente fiable y segura para resolver este reto. Una de las razones es el entorno de la conducción, en situaciones que distan mucho de las ideales, con condiciones de iluminación variables y entornos rápidos e imprevisibles. Este proyecto desarrolla y evalúa un algoritmo que toma la entrada de sensores de visión dinámicos (DVS) y ejecuta su computación en redes neuronales neuromórficas (SNN) para obtener un sistema robusto de seguimiento de carriles en carretera. Presentamos métricas cuantitativas y cualitativas que evalúan el rendimiento del reconocimiento de carriles en condiciones de poca luz, frente a algoritmos convencionales. Este proyecto está motivado por la validación de las ventajas de los sensores de visión neuromórficos: el reconocimiento de un alto rango dinámico y la captura de imágenes de alta velocidad. Otra de las mejoras que se espera de este sistema es la velocidad de procesamiento y la eficiencia energética que caracterizan al hardware neuromórfico basado en redes neuronales de impulsos. Los resultados obtenidos muestran una precisión similar entre el nuevo algoritmo en comparación con implementaciones anteriores en plataformas convencionales. Y lo que es más importante, realiza la tarea propuesta con menor latencia y requisitos de potencia de cálculo.