The focus of this thesis is the cooperation of cameras and projectors in projection of data into a scene. It describes the means and theory necessary to achieve such cooperation, and suggests tasks for demonstration. A part of this project is also a program capable of using a camera and a projector to obtain necessary parameters of these devices. The program can demonstrate the quality of this calibration by projecting a pattern onto an object according to its current pose, as well as reconstruct the shape of an object with structured light. The thesis also describes some challenges and observations from development and testing of the program.

This thesis deals with optical devices and methods image processing for recognizing hand gestures. The types of gestures, possible applications, contact based devices and vision based devices are described in thesis. Next, a review of hand detection, features extraction and gesture classification is provided. Proposed gesture recognition system consists of infrared camera FLIR A655sc, infrared FLIR Lepton module, webcam Logitech S7500, method for hand gesture analysis and a database of gestures for classification. For each of the devices, gesture recognition is evaluated in terms of speed and accuracy in different environments. The proposed method was implemented in MATLAB.

L'une des tâches les plus importantes en robotique mobile est la détection d'obstacles pendant les déplacements du robot. Pour résoudre cette tâche, de nombreuses approches ont été proposées; cependant les propositions applicables dans un milieu structuré, dynamique et fortement encombré du fait de la présence humaine, sont limitées. Dans ce cadre, nous présentons dans ces travaux un système visuel reprogrammable dédié à la détection d'obstacles. Le système est composé de plusieurs micro-caméras disposées autour du robot mobile et d'un système reprogrammable. Le nombre de micro-caméras est grand (4 dans la version courante, 8 dans la version finale) et la performance en temps réel requis dans ce contexte, ne peut pas être satisfaite par un processeur standard. Cela rend obligatoire la conception et la mise en oeuvre d'une architecture dédiée pour le traitement des images. Le parallélisme fourni par les FPGAs permet de répondre aux contraintes de performance et de minimiser l'énergie et le coût unitaire du système. L'objectif est de construire et mettre à jour une grille d'occupation robot-centrée lors de la navigation du robot. Cette opération doit être exécutée à 30Hz, afin de réduire la latence entre l'acquisition des images et la détection des obstacles. La détection des zones du sol occupées est faite par l'algorithme de classification AdaBoost en utilisant un vecteur d'attributs. Les attributs utilisés sont la couleur et la texture. Pour la couleur, nous utilisons l'espace de couleur CIE-Lab, car cela permet d'avoir une plus grande immunité au changement de l'éclairage. Les attributs de texture sont obtenues par une méthode adaptée de la technique des histogrammes de sommes et différences. Cette adaptation réduit considérablement les ressources nécessaires pour calculer les attributs de texture, tout en fournissant un modèle riche de chacun des objets présents dans une scène acquise par une des micro-caméras. Chaque pixel dans l'image est classifié pour savoir s'il appartient ou pas au sol, en fonction de ces attributs couleur-texture. Une fois le pixel classé, il est projeté sur le plan du sol pour enrichir la grille d'occupation courante de l'environnement. Plusieurs paramètres de notre approche ont été sélectionnés afin de développer un système avec le meilleur compromis entre les performances et les ressources consommées. Les graphiques de performances de la classification ainsi que les ressources consommées par les architectures implantées sont présentés. Les architectures ont été développées en VHDL avec les outils Altera; des comparaisons sont présentées avec une approche fondée sur des outils de synthèse haut-niveau (Gaut, labview...). Finalement ces architectures ont été portées et évaluées sur un kit Stratix3 connecté à 4 caméras et embarqué sur un robot mobile. / One of the more important tasks to be executed on a mobile robot, concerns thedetection of obstacles during the robot motions. Many methods have been proposed for this function: nevertheless their performances are limited when applied in a structured environment made highly dynamic and cluttered due to humans. This document presents a visual and flexible system for obstacle detection in such an environment. The system is made of several micro-cameras fixed all around the robot body, and of a programmable electronic board. The camera number must be large enough (4 in the current version, 8 in the future one), so that real-time performances mandatory for such a function, cannot be reached from a standard multipurpose processor. It makes compulsory to design and to implement a hardware architecture devoted for image processing. The execution of parallel processes on FPGAs allows to reach real-time performances, while minimizing the required energy and the system cost. The system objective consists in building and updating a robot-centered occupancy grid while the robot is navigating. This function must be executed at 30Hz, in order to minimize the latency between image acquisition and obstacle detection.The detection of occupied ground areas is given by a classification algorithm, using an AdaBoost classifier on characteristic vectors. These vectors are built from color and texture attributes. For the color, the CIE-Lab space has been selected because it allows a better invariance according to the light variations. For the texture, an original method has been proposed adapting the Unser approach based on sum and difference histograms. This approach has been modified in order to reduce significantly the resources required to compute the texture attributes, while providing a fine model for every object detected on a scene acquired by each micro-camera. Each pixel in every image is classified as Ground or Obstacle, with respect to its color and texture attributes. Once a pixel is classified, it is projected on the ground plane in order to update the current occupancy grid built to represent the environment. Many parameters for our approach have been selected in order to develop a system with the better trade-off between performances and consumed resources. Every proposed architecture is evaluated using curves between classification performances and required resources. These architectures have been developed in VHDL using the Altera tool boxes; this classical approach has been compared with a method based on tools providing high level synthesis (Gaut, labview...). Finally all architectures avec been implemented and evaluated on a Stratix3 development kit connected to four cameras, and embedded on a mobile robot.

L’adoption grandissante des caméras portatives par les organisations policières dans les dernières années a visé plusieurs objectifs. Il est généralement attendu que l’utilisation de la technologie puisse contribuer à rendre les organisations plus transparentes, à assurer une plus grande imputabilité des policiers, ou encore à réduire l’utilisation de la force à l’endroit des citoyens. En étant activées lors des interventions policières, les caméras portatives permettraient aussi la production d’enregistrements qui pourront être utilisés tout au long de la chaîne judiciaire, que ce soit lors d’enquêtes ou de procédures judiciaires. Toutefois, la littérature scientifique s’étant largement intéressée aux impacts des caméras portatives sur les interactions entre les policiers et les citoyens, les conséquences de leur utilisation sur les tribunaux demeurent un aspect toujours sous-étudié. La présente thèse vise à mieux comprendre l’apport des enregistrements de caméras portatives au traitement des causes criminelles par les tribunaux. Quatre objectifs spécifiques sont visés : 1) explorer les représentations que se font les acteurs judiciaires de la valeur probante des images de caméras portatives ; 2) mieux comprendre le rôle des images de caméras portatives dans les pratiques des acteurs judiciaires ; 3) mettre en lumière les éléments pouvant affecter le recours aux images de caméras portatives ; et 4) évaluer l’impact de la disponibilité des images de caméras portatives sur le traitement des causes criminelles par les tribunaux, et plus particulièrement sur les verdicts de culpabilité et le temps de traitement des dossiers. Le point de départ de la thèse est un projet pilote de caméras portatives mené par le Service de police de la Ville de Montréal, et une méthodologie mixte conjuguant des entretiens menés auprès de procureurs et d’avocats de la défense (N = 22) à l’analyse statistique de données issues de dossiers judiciaires (N = 525) permet de répondre aux objectifs énoncés. D’un point de vue empirique, il est soutenu que l’apport des images de caméras portatives au processus judiciaire représente une forme de paradoxe, où la forte valeur probante étant associée aux images par les acteurs judiciaires ne correspond pas totalement à l’utilisation qui en est faite ni aux impacts qui sont observés sur le traitement des dossiers. Bien qu’une baisse significative du temps de traitement soit observée pour certains dossiers, plusieurs facteurs semblent mettre un frein à l’utilisation des images par les acteurs judiciaires. D’un point de vue théorique, la thèse propose d’approfondir les réflexions sur le pouvoir de l’image dans le processus judiciaire. En empruntant la notion de savoir autoritaire, il est soutenu que le paradoxe observé dans l’apport de l’image au processus judiciaire puisse s’expliquer par la source même de la supériorité de la preuve. Au-delà de leur contribution potentielle à la découverte des faits, les images de caméras portatives sont utilisées dans un contexte où la productivité du tribunal demeure un objectif central, ce qui peut amener les acteurs judiciaires à accorder une priorité à d’autres formes d’information, dont la version des policiers. / The growing adoption of body-worn cameras by police organizations in recent years has served several objectives. It is generally expected that the use of this technology will help make organizations more transparent, ensure greater accountability for police officers, or even reduce the use of force against citizens. By being activated during police interventions, body-worn cameras would also allow the production of recordings that can be used throughout the judicial chain, whether during investigations or legal proceedings. However, scientific literature having been mainly interested in the impacts of body-worn cameras on interactions between police officers and citizens, the consequences of their use on courts remain an aspect that is still understudied. This thesis aims to better understand the contribution of body-worn camera recordings to the processing of criminal cases by courts. Four specific objectives are targeted: 1) to explore the representations that judicial actors have of the evidentiary value of body-worn camera recordings; 2) to better understand the role of body-worn camera recordings in the practices of judicial actors; 3) to highlight the elements that may affect the use of body-worn camera recordings; and 4) to assess the impacts of the availability of body-worn camera recordings on the processing of criminal cases by courts, and more particularly on guilty verdicts and case processing times. The starting point of the thesis is a body-worn camera pilot project led by the Service de police de la Ville de Montréal, and a mixed methods design combining interviews conducted with prosecutors and defence lawyers (N = 22) with statistical analysis of data from court cases (N = 525) is used to meet the stated objectives. From an empirical standpoint, it is argued that the contribution of body- worn camera recordings to the judicial process represents a form of paradox, where the high evidentiary value being associated with images by the judicial actors does not fully correspond to the use that is made of it or the impacts that are observed on case processing. Although a significant reduction in processing time is observed for some cases, several factors seem to put a brake on the use of recordings by judicial actors. From a theoretical standpoint, the thesis proposes to deepen the reflections on the power of images in the judicial process. By borrowing the notion of authoritative knowledge, it is argued that the paradox observed in the contribution of body-worn camera recordings to the judicial process could be explained by the very source of their superiority. Beyond their potential contribution to the discovery of the facts, body-worn camera recordings are used in a context where productivity remains a central objective to the court, which can lead judicial actors to prioritize other forms of information, including police officers’ versions.

La caméra portative est de plus en plus convoitée en tant que solution pour améliorer les pratiques policières. Dans cette optique, ce projet propose de contribuer au développement des connaissances sur l’impact du visionnement de vidéos de caméras portatives sur la rédaction de rapport, puisqu’il existe actuellement peu d’études et de directives claires sur les politiques qui décrivent les meilleures pratiques de rédaction de rapport. Cette étude vise donc à étendre les résultats de recherches sur les caméras portatives sur la qualité des rapports policiers. Trois objectifs spécifiques sont visés : 1) évaluer l’impact du visionnement prérapport sur la qualité des rapports policiers, et plus particulièrement en évaluant la qualité globale, la précision et l’exhaustivité des rapports ; 2) évaluer l’impact de la rédaction de rapport en deux temps, notamment en ce qui concerne la précision et le type de modifications apportées aux rapports complémentaire ; 3) analyser l’impact que peuvent avoir le sexe, le rôle dans l’intervention et l’expérience sur la qualité des rapports policiers, indépendamment des conditions expérimentales. 361 participants ont donc participé à des simulations d’interventions policières à l’École nationale de police du Québec. Le scénario d’intervention policière impliquait des acteurs et nécessitait l’utilisation de force mortelle par arme à feu afin de conclure l’intervention. Par la suite, les rapports policiers des participants ont été évalués selon quatre conditions expérimentales liées aux caméras portatives (1 — sans caméra, 2 — caméra sans visionnement, 3 — caméra avec visionnement, 4 — rédactions en deux temps). Les résultats soutiennent que le fait de porter une caméra corporelle améliore légèrement la qualité de rapports policiers. De plus, le visionnement prérapport est le meilleur prédicteur de la précision des rapports policiers, car il diminue la présence d’erreurs factuelles, en plus d’avoir un faible impact sur l’exhaustivité des détails. La rédaction de rapport en deux étapes obtient les meilleurs résultats pour la précision des rapports en plus d’améliorer l’exhaustivité, tout en respectant le principe d’objectivité des rapports selon la perception des policiers. Finalement, l’expérience en tant que policier est un prédicteur important de la qualité d’un rapport. / Body-worn cameras are coveted as a solution to improve police practices. Thereby, this project proposes to contribute to the development of knowledge on the impact of of viewing body-worn cameras footage on police report writing, since there are currently few studies and a lack of clear guidelines on policies for best practices in report writing. This study therefore aims to extend the research results of body-worn cameras on the quality of police reports. Three specific objectives are targeted: 1) to examine the effect that viewing body-worn cameras footage has on the quality of police reports, and more specifically by evaluating the overall quality, accuracy and the number of details of reports; 2) to assess the implication of the two-step writing process, particularly in regard to the accuracy and the type of modifications revised in complementary reports; 3) to analyze the impact that gender, role in the intervention and experience can have on the quality of police reports, regardless of experimental conditions. 361 participants took part in simulations of police interventions at the École nationale de police du Québec. The police intervention scenario involved actors and required the use of lethal force by firearm in order to conclude the intervention. Afterwards, the police reports of the participants were evaluated according to four experimental conditions related to body-worn cameras (1- without camera, 2- camera without viewing, 3- camera with viewing, 4- two-step writing). The results support that wearing a body- worn camera slightly improves the quality of police reports. In addition, pre-report viewing is the best predictor of the accuracy of police reports, because it reduces the presence of factual errors, in addition to having a small impact on the number of details. The two-step report writing obtains the best results for the precision of the reports and for improving the exhaustivity, while respecting the principle of objectivity of the reports according to the perception of the police officers. Finally, experience as a police officer is an important predictor of the quality of a report.

IP cameras have been around for a while and have been a growing part of the IoT scene. There is a variety of IP cameras being used in enterprises and homes with the main reason being for surveillance. This naturally attracts attackers to potentially take control of the camera feeds and or disable them completely. We tested the security of home surveillance cameras in different price categories, ranging from 350 SEK to 800 SEK, to research if the security of the cameras differs depending on the price. In addition, we also focused on two different vendors with the goal of discerning whether they have implemented different security measures. The method used to solve our task was to find and exploit existing vulnerabilities from similar devices and potentially find new ones ourselves. Even though existing vulnerabilities were mostly patched, there was still valuable information in the exploits. This showed that some vendors were aware of existing vulnerabilities and had the drive to patch them. Our work resulted in finding two vulnerabilities in one of the vendor’s cameras, which was disclosed to the affected vendor. The disclosure process resulted in an announcement in the support page[29]. MITRE also confirmed two CVE ID’s from our request, CVE-2021-41503[31] and CVE-2021-41504[32]. Our conclusion is that there are still critical security risks when it comes to the camera’s various features and other IoT devices that are yet to be exposed. / IP-kameror har funnits ett tag och har blivit en del av IoT-scenen. Det finns en mängd olika IP-kameror som används i företag och hem med den främsta anledningen till övervakning. Detta lockar naturligtvis angripare att eventuellt använda kameraflödena eller inaktivera dem helt. Vi testade säkerheten för hemövervakningskameror i olika priskategorier, från 350 SEK till 800 SEK, för att undersöka om kamerans säkerhet skiljer sig åt beroende på pris. Vi fokuserade också på två olika leverantörer med målet att se om de har genomfört olika säkerhetsåtgärder. Metoden som användes för att lösa vår uppgift var att hitta och prova befintliga sårbarheter från liknande enheter och eventuellt hitta nya själva. Även om befintliga sårbarheter var för det mesta lösta så var det fortfarande värdefull information vi kunde ta del av. Detta visar att vissa leverantörer är medvetna om befintliga sårbarheter och har drivet att korrigera dem. Vårt arbete resulterade i att vi hittade två sårbarheter i en av leverantörens kameror, vilket informerades till den berörda leverantören. Avslöjandeprocessen resulterade i ett tillkännagivande på supportsidan[29]. MITRE bekräftade också två CVE IDs från vår begäran, CVE-2021-41503[31] och CVE-2021-41504[32] Vår slutsats är att det fortfarande finns några kritiska säkerhetsrisker avseende kamerornas funktioner och andra IoT-enheter som kan exponeras.

Relational database management systems build on the closed world assumption requiring upfront modeling of a usually stable schema. However, a growing number of today's database applications are characterized by self-descriptive data. The schema of self-descriptive data is very dynamic and prone to frequent changes; a situation which is always troublesome to handle in relational systems. This demo presents the relational database management system FRDM. With flexible relational tables FRDM greatly simplifies the management of self-descriptive data in a relational database system. Self-descriptive data can reside directly next to traditionally modeled data and both can be queried together using SQL. This demo presents the various features of FRDM and provides first-hand experience of the newly gained freedom in relational database systems.

No description available.

Approved for public release; distribution in unlimited. / Traditionally, digital imaging systems rely on the use of dedicated photodetectors to capture specific wavelengths in the visible spectrum. These photodetectors, which are commonly made of silicon, are arranged as arrays to capture the red, green and blue wavelengths. The signal captured by the individual photodetectors must then be interpolated and integrated to obtain the closest color match and the finest possible resolution with reference to the actual object. The use of spatially separated detectors to sense primary colors reduces the resolution by a factor of three compared to black and white imaging. The FOVEON detector technology greatly improves the color and resolution of the image through its vertically arranged, triple well photodetector. This is achieved by exploiting the variation of absorption coefficient of silicon with wavelength in the visible spectrum. Hence, in a silicon detector, the shorter wavelength (e.g. blue) would be mainly absorbed at a shallow depth. A longer wavelength (e.g. red) would penetrate the material deeper than the shorter wavelengths and be primarily absorbed at a greater depth. By producing a layered silicon detector, all three primary colour wavelengths of red, green and blue can be captured simultaneously. This thesis aims to study the FOVEON camera's ability to image light from the near Infrared (NIR) to the Ultra-Violet (UV) range of the electromagnetic spectrum. The imaged obtained using a set of bandpass filters show that the camera has response both in the UV as well as NIR regions. / Major, Singapore Armed Forces

La réalité augmentée consiste en l'insertion d'éléments virtuels dans une scène réelle, observée à travers un écran. Les systèmes de réalité augmentée peuvent prendre des formes différentes pour obtenir l'équilibre désiré entre trois critères : précision, latence et robustesse. On identifie trois composants principaux : localisation, reconstruction et affichage. Nous nous concentrons sur l'affichage et la reconstruction. Pour certaines applications, l'utilisateur ne peut être isolé de la réalité. Nous proposons un système sous forme de "tablette augmentée" avec un écran semi transparent, au prix d'un étalonnage adapté. Pour assurer l'alignement entre augmentations et réalité, il faut connaître les poses relatives de l'utilisateur et de la scène observée par rapport à l'écran. Deux dispositifs de localisation sont nécessaires et l'étalonnage consiste à calculer la pose de ces dispositifs par rapport à l'écran. Le protocole d'étalonnage est le suivant : l'utilisateur renseigne les projections apparentes dans l'écran de points de référence d'un objet 3D connu ; les poses recherchées minimisent la distance 2D entre ces projections et celles calculées par le système. Ce problème est non convexe et difficile à optimiser. Pour obtenir une estimation initiale, nous développons une méthode directe par l'étalonnage intrinsèque et extrinsèque de caméras virtuelles. Ces dernières sont définies par leurs centres optiques, confondus avec les positions de l'utilisateur, ainsi que leur plan focal, constitué par l'écran. Les projections saisies par l'utilisateur constituent alors les observations 2D des points de référence dans ces caméras virtuelles. Un raisonnement symétrique permet de considérer des caméras virtuelles centrées sur les points de référence de l'objet, "observant" les positions de l'utilisateur. Ces estimations initiales sont ensuite raffinées par ajustement de faisceaux. La reconstruction 3D est basée sur la triangulation de correspondances entre images. Ces correspondances peuvent être éparses lorsqu'elles sont établies par détection, description et association de primitives géométriques ou denses lorsqu'elles sont établies par minimisation d'une fonction de coût sur toute l'image. Un champ dense de correspondance est préférable car il permet une reconstruction de surface, utile notamment pour une gestion réaliste des occultations en réalité augmentée. Les méthodes d'estimation d'un tel champ sont basées sur une optimisation variationnelle, précise mais sensible aux minimums locaux et limitée à des images peu différentes. A l'opposé, l'emploi de descripteurs discriminants peut rendre les correspondances éparses très robustes. Nous proposons de combiner les avantages des deux approches par l'intégration d'un coût basé sur des correspondances éparses de primitives à une méthode d'estimation variationnelle dense. Cela permet d'empêcher l'optimisation de tomber dans un minimum local sans dégrader la précision. Notre terme basé correspondances éparses est adapté aux primitives à coordonnées non entières, et peut exploiter des correspondances de points ou de segments tout en filtrant implicitement les correspondances erronées. Nous proposons aussi une détection et gestion complète des occultations pour pouvoir mettre en correspondance des images éloignées. Nous avons adapté et généralisé une méthode locale de détection des auto-occultations. Notre méthode produit des résultats compétitifs avec l'état de l'art, tout en étant plus simple et plus rapide, pour les applications de flot optique 2D et de stéréo à large parallaxe. Nos contributions permettent d'appliquer les méthodes variationnelles à de nouvelles applications sans dégrader leur performance. Le faible couplage des modules permet une grande flexibilité et généricité. Cela nous permet de transposer notre méthode pour le recalage de surfaces déformables avec des résultats surpassant l'état de l'art, ouvrant de nouvelles perspectives. / Augmented reality is the process of inserting virtual elements into a real scene, observed through a screen. Augmented Reality systems can take different forms to get the desired balance between three criteria: accuracy, latency and robustness. Three main components can be identified: localization, reconstruction and display. The contributions of this thesis are focused on display and reconstruction. Most augmented reality systems use non-transparent screens as they are widely available. However, for critical applications such as surgery or driving assistance, the user cannot be ever isolated from reality. We answer this problem by proposing a new “augmented tablet” system with a semi-transparent screen. Such a system needs a suitable calibration scheme:to correctly align the displayed augmentations and reality, one need to know at every moment the poses of the user and the observed scene with regard to the screen. Two tracking devices (user and scene) are thus necessary, and the system calibration aims to compute the pose of those devices with regard to the screen. The calibration process set up in this thesis is as follows: the user indicates the apparent projections in the screen of reference points from a known 3D object ; then the poses to estimate should minimize the 2D on-screen distance between those projections and the ones computed by the system. This is a non-convex problem difficult to solve without a sane initialization. We develop a direct estimation method by computing the extrinsic parameters of virtual cameras. Those are defined by their optical centers which coincide with user positions, and their common focal plane consisting of the screen plane. The user-entered projections are then the 2D observations of the reference points in those virtual cameras. A symmetrical thinking allows one to define virtual cameras centered on the reference points, and “looking at” the user positions. Those initial estimations can then be refined with a bundle adjustment. Meanwhile, 3D reconstruction is based on the triangulation of matches between images. Those matches can be sparse when computed by detection and description of image features or dense when computed through the minimization of a cost function of the whole image. A dense correspondence field is better because it makes it possible to reconstruct a 3D surface, useful especially for realistic handling of occlusions for augmented reality. However, such a field is usually estimated thanks to variational methods, minimizing a convex cost function using local information. Those methods are accurate but subject to local minima, thus limited to small deformations. In contrast, sparse matches can be made very robust by using adequately discriminative descriptors. We propose to combine the advantages of those two approaches by adding a feature-based term into a dense variational method. It helps prevent the optimization from falling into local minima without degrading the end accuracy. Our feature-based term is suited to feature with non-integer coordinates and can handle point or line segment matches while implicitly filtering false matches. We also introduce comprehensive handling of occlusions so as to support large deformations. In particular, we have adapted and generalized a local method for detecting selfocclusions. Results on 2D optical flow and wide-baseline stereo disparity estimation are competitive with the state of the art, with a simpler and most of the time faster method. This proves that our contributions enables new applications of variational methods without degrading their accuracy. Moreover, the weak coupling between the components allows great flexibility and genericness. This is the reason we were able to also transpose the proposed method to the problem of non-rigid surface registration and outperforms the state of the art methods.