This research project took part in the SENA project (Autonomous Embedded Navigation System), which was developed at the Mobile Robotics Lab of the Mechatronics Group at the Engineering School of São Carlos, University of São Paulo (EESC - USP) in collaboration with the São Carlos Institute of Physics. Aiming for an autonomous behavior in the prototype vehicle this dissertation focused on deploying some machine learning algorithms to support its perception. These algorithms enabled the vehicle to execute articial-intelligence tasks, such as prediction and memory retrieval for object classication. Even though in autonomous navigation there are several perception, cognition and actuation tasks, this dissertation focused only on perception, which provides the vehicle control system with information about the environment around it. The most basic information to be provided is the existence of objects (obstacles) around the vehicle. In formation about the sort of object it is also provided, i.e., its classication among cars, pedestrians, stakes, the road, as well as the scale of such an object and its position in front of the vehicle. The environmental data was acquired by using a camera and a Velodyne LiDAR. A ceiling analysis of the object detection pipeline was used to simulate the proposed methodology. As a result, this analysis estimated that processing specic regions in the PDF Compressor Pro xii image (i.e., Regions of Interest, or RoIs), where it is more likely to nd an object, would be the best way of improving our recognition system, a process called image normalization. Consequently, experimental results in a data-fusion approach using laser data and images, in which RoIs were found using the LiDAR data, showed that the fusion approach can provide better object detection and classication compared with the use of either camera or LiDAR alone. Deploying a data-fusion classication using RoI method can be executed at 6 Hz and with 100% precision in pedestrians and 92.3% in cars. The fusion also enabled road estimation even when there were shadows and colored road markers in the image. Vision-based classier supported by LiDAR data provided a good solution for multi-scale object detection and even for the non-uniform illumination problem. / Este projeto de pesquisa fez parte do projeto SENA (Sistema Embarcado de Navegação Autônoma), ele foi realizado no Laboratório de Robótica Móvel do Grupo de Mecatrônica da Escola de Engenharia de São Carlos (EESC), em colaboração com o Instituto de Física de São Carlos (IFSC). A grande motivação do projeto SENA é o desenvolvimento de tecnologias assistidas e autônomas que possam atender às necessidades de diferentes tipos de motoristas (inexperientes, idosos, portadores de limitações, etc.). Vislumbra-se que a aplicação em larga escala desse tipo de tecnologia, em um futuro próximo, certamente reduzirá drasticamente a quantidade de pessoas feridas e mortas em acidentes automobilísticos em estradas e em ambientes urbanos. Nesse contexto, este projeto de pesquisa teve como objetivo proporcionar informações relativas ao ambiente ao redor do veículo, ao sistema de controle e de tomada de decisão embarcado no veículo autônomo. As informações mais básicas fornecidas são as posições dos objetos (obstáculos) ao redor do veículo; além disso, informações como o tipo de objeto (ou seja, sua classificação em carros, pedestres, postes e a própria rua mesma), assim como o tamanho deles. Os dados do ambiente são adquiridos através do emprego de uma câmera e um Velodyne LiDAR. Um estudo do tipo ceiling foi usado para simular a metodologia da detecção dos obstáculos. Estima-se que , após realizar o estudo, que analisar regiões especificas da imagem, chamadas de regiões de interesse, onde é mais provável encontrar um obstáculo, é o melhor jeito de melhorar o sistema de reconhecimento. Observou-se na implementação da fusão dos sensores que encontrar regiões de interesse usando LiDAR, e classificá-las usando visão artificial fornece um melhor resultado na hora de compará-lo com os resultados ao usar apenas câmera ou LiDAR. Obteve-se uma classificação com precisão de 100% para pedestres e 92,3% para carros, rodando em uma frequência de 6 Hz. A fusão dos sensores também forneceu um método para estimar a estrada mesmo quando esta tinha sombra ou faixas de cor. Em geral, a classificação baseada em visão artificial e LiDAR mostrou uma solução para detecção de objetos em várias escalas e mesmo para o problema da iluminação não uniforme do ambiente.

The concept of smart cities is inherently connected with efficient parking solutions based on the knowledge of individual parking space occupancy. The subject of this paper is the design and implementation of a robust system for analyzing parking space occupancy from a multi-camera system with the possibility of visual overlap between cameras. The system is designed and implemented in Robot Operating System (ROS) and its core consists of two separate classifiers. The more successful, however, a slower option is detection by a deep neural network. A quick interaction is provided by a less accurate classifier of movement with a background model. The system is capable of working in real time on a graphic card as well as on a processor. The success rate of the system on a testing data set from real operation exceeds 95 %.

Táto práca popisuje v súčastnosti široko používané architektúry a modely pre Hlboké Učenie, riešiace úlohu detekcie a klasifikácie objektov vo videu. Dôraz tu bude kladený na ich použiteľnosť na vstavaných zariadeniach. Postupne preberieme kroky a odvôvodňovanie pri výbere najlepšieho vstavaného systému pre našu aplikáciu. Ukážková aplikáci pozostáva hlavne z detekcie vozidiel a detekcie voľných parkovacích miest s využitím algoritmov Hlbokého Učenia. Táto aplikácia umožňuje monitorovať počet vozidiel, nachádzajúcich sa na parkovisku a zároveň rozhodnúť, či sa nachádzajú na prakovacom mieste alebo nie. Následne tu budú prebrané kroky nutné ku konfigurácii zariadenia s dôrazom na optimalizáciu hardvéru pre dosiahnutie čo najväčšej rýchlosti. V ďaľšej časti bude poskytnuté porovnanie vybraných modelov, ktoré budú porovnávané hlavne v kategóriách ako rýchlosť alebo F1 skóre. Najlepší kandidát bude použitý na riešenie našej aplikácie a následné testovanie jej vlastností s názvom Inteligentné parkovisko.