The proliferation of mobile devices and advances in geo-positioning technologies has fueled the growth of location-based applications, systems and services. Many location-based applications have now gained high popularity and permeated the daily activities of mobile users. This has led to a huge amount of geo-location data generated on a daily basis, which draws significant interests in analyzing and mining ubiquitous location data, especially trajectories of mobile objects moving in road networks (MO trajectories). Mobile trajectories are complex spatio-temporal sequences of location points with varying sample sizes and varying lengths. Mining interesting patterns from large collection of complex MO trajectories presents interesting challenges and opportunities which can reveal valuable insights to the studies of human mobility in many perspectives. This dissertation research contributes original ideas and innovative techniques for mining complex trajectories from whole trajectories, from subtrajectories of significant characteristics, and from semantic location sequences within large-scale datasets of MO trajectories. Concretely, the first unique contribution of this dissertation is the development of NEAT, a three-phase road-network aware trajectory clustering framework to organize MO subtrajectories into spatial clusters representing highly dense and highly continuous traffic flows in a road network. Compared with existing trajectory clustering approaches, NEAT yields highly accurate clustering results and runs orders of magnitude faster by smartly utilizing traffic locality with respect to physical constraints of the road network, traffic flows among consecutive road segments and flow-based density of mobile traffic as well as road network based distances. The second original contribution of this dissertation is the design and development of TraceMob, a methodical and high performance framework for clustering whole trajectories of mobile objects. To our best knowledge, this is the first whole trajectory clustering system for MO trajectories in road networks. The core idea of TraceMob is to develop a road-network aware transformation algorithm that can map complex trajectories of varying lengths from a road network space into a multidimensional data space while preserving the relative distances between complex trajectories in the transformed metric space. The third novel contribution is the design and implementation of a fast and effective trajectory pattern mining algorithm TrajPod. TrajPod can extract the complete set of frequent trajectory patterns from large-scale trajectory datasets by utilizing space-efficient data structures and locality-aware spatial and temporal correlations for computational efficiency. A comprehensive performance study shows that TrajPod outperforms existing sequential pattern mining algorithms by an order of magnitude.

With the advancement in deep learning in the past few years, we are able to create complex machine learning models for detecting objects in images, regardless of the characteristics of the objects to be detected. This development has enabled engineers to replace existing heuristics-based systems in favour of machine learning models with superior performance. In this report, we evaluate the viability of using deep learning models for object detection in real-time video feeds on mobile devices in terms of object detection performance and inference delay as either an end-to-end system or feature extractor for existing algorithms. Our results show a significant increase in object detection performance in comparison to existing algorithms with the use of transfer learning on neural networks adapted for mobile use. / Utvecklingen inom djuplärning de senaste åren innebär att vi är kapabla att skapa mer komplexa maskininlärningsmodeller för att identifiera objekt i bilder, oavsett objektens attribut eller karaktär. Denna utveckling har möjliggjort forskare att ersätta existerande heuristikbaserade algoritmer med maskininlärningsmodeller med överlägsen prestanda. Den här rapporten syftar till att utvärdera användandet av djuplärningsmodeller för exekvering av objektigenkänning i video på mobila enheter med avseende på prestanda och exekveringstid. Våra resultat visar på en signifikant ökning i prestanda relativt befintliga heuristikbaserade algoritmer vid användning  av djuplärning och överförningsinlärning i artificiella neurala nätverk.

L'objectif de cette thèse est de concevoir un système de perception stéréoscopique embarqué, permettant une navigation robotique autonome en environnement dynamique (i.e. comportant des objets mobiles). Pour cela, nous nous sommes imposé plusieurs contraintes : 1) Puisque l'on souhaite pouvoir naviguer en terrain inconnu et en présence de tout type d'objets mobiles, nous avons adopté une approche purement géométrique. 2) Pour assurer une couverture maximale du champ visuel nous avons choisi d'employer des méthodes d'estimation denses qui traitent chaque pixel de l'image. 3) Puisque les algorithmes utilisés doivent pouvoir s'exécuter en embarqué sur un robot, nous avons attaché le plus grand soin à sélectionner ou concevoir des algorithmes particulièrement rapides, pour nuire au minimum à la réactivité du système. La démarche présentée dans ce manuscrit et les contributions qui sont faites sont les suivantes. Dans un premier temps, nous étudions plusieurs algorithmes d’appariement stéréo qui permettent d'estimer une carte de disparité dont on peut déduire, par triangulation, une carte de profondeur. Grâce à cette évaluation nous mettons en évidence un algorithme qui ne figure pas sur les benchmarks KITTI, mais qui offre un excellent compromis précision/temps de calcul. Nous proposons également une méthode pour filtrer les cartes de disparité. En codant ces algorithmes en CUDA pour profiter de l’accélération des calculs sur cartes graphiques (GPU), nous montrons qu’ils s’exécutent très rapidement (19ms sur les images KITTI, sur GPU GeForce GTX Titan).Dans un deuxième temps, nous souhaitons percevoir les objets mobiles et estimer leur mouvement. Pour cela nous calculons le déplacement du banc stéréo par odométrie visuelle pour pouvoir isoler dans le mouvement apparent 2D ou 3D (estimé par des algorithmes de flot optique ou de flot de scène) la part induite par le mouvement propre à chaque objet. Partant du constat que seul l'algorithme d'estimation du flot optique FOLKI permet un calcul en temps-réel, nous proposons plusieurs modifications de celui-ci qui améliorent légèrement ses performances au prix d'une augmentation de son temps de calcul. Concernant le flot de scène, aucun algorithme existant ne permet d'atteindre la vitesse d'exécution souhaitée, nous proposons donc une nouvelle approche découplant structure et mouvement pour estimer rapidement le flot de scène. Trois algorithmes sont proposés pour exploiter cette décomposition structure-mouvement et l’un d’eux, particulièrement efficace, permet d'estimer très rapidement le flot de scène avec une précision relativement bonne. A notre connaissance, il s'agit du seul algorithme publié de calcul du flot de scène capable de s'exécuter à cadence vidéo sur les données KITTI (10Hz).Dans un troisième temps, pour détecter les objets en mouvement et les segmenter dans l'image, nous présentons différents modèles statistiques et différents résidus sur lesquels fonder une détection par seuillage d'un critère chi2. Nous proposons une modélisation statistique rigoureuse qui tient compte de toutes les incertitudes d'estimation, notamment celles de l'odométrie visuelle, ce qui n'avait pas été fait à notre connaissance dans le contexte de la détection d'objets mobiles. Nous proposons aussi un nouveau résidu pour la détection, en utilisant la méthode par prédiction d’image qui permet de faciliter la propagation des incertitudes et l'obtention du critère chi2. Le gain apporté par le résidu et le modèle d'erreur proposés est démontré par une évaluation des algorithmes de détection sur des exemples tirés de la base KITTI. Enfin, pour valider expérimentalement notre système de perception en embarqué sur une plateforme robotique, nous implémentons nos codes sous ROS et certains codes en CUDA pour une accélération sur GPU. Nous décrivons le système de perception et de navigation utilisé pour la preuve de concept qui montre que notre système de perception, convient à une application embarquée. / This thesis aims at designing an embedded stereoscopic perception system that enables autonomous robot navigation in dynamic environments (i.e. including mobile objects). To do so, we need to satisfy several constraints: 1) We want to be able to navigate in unknown environment and with any type of mobile objects, thus we adopt a geometric approach. 2) We want to ensure the best possible coverage of the field of view, so we employ dense methods that process every pixel in the image. 3) The algorithms must be compliant with an embedded platform, therefore we must carefully design the algorithms so they are fast enough to keep a certain level of reactivity. The approach presented in this thesis manuscript and the contributions are summarized below. First, we study several stereo matching algorithms that estimate a disparity map from which we can deduce a depth map, by triangulation. This comparative study highlights one algorithm that is not in the KITTI benchmarks, but that gives a great accuracy/processing time tradeoff. We also propose a filtering method to post-process the disparity maps. By coding these algorithm in CUDA to benefit from hardware acceleration on Graphics Processing Unit, we show that they can perform very fast (19ms on KITTI images, with a GPU GeForce GTX Titan).Second, we want to detect mobile objects and estimate their motion. To do so we compute the stereo rig motion using visual odometry, in order to isolate the part induced by moving objects in the 2D or 3D apparent motion (estimated by optical flow or scene flow algorithms). Considering that the only optical flow algorithm able to perform in real-time is FOLKI, we propose several modifications of it to slightly improve its performances at the cost of a slower processing time. Regarding the scene flow estimation, existing algorithms cannot reach the desired computation speed, so we propose a new approach by decoupling structure and motion for a fast scene flow estimation. Three algorithms are proposed to use this structure-motion decomposition, and one of them, particularly efficient, enables very fast scene flow computing with a relatively good accuracy. To our knowledge it is the only published scene flow algorithm able to perform at framerate on KITTI dataset (10 Hz).Third, to detect moving objects and segment them in the image, we show several statistical models and residual quantities on which we can base the detection by thresholding a chi2 criterion. We propose a rigorous statistical modeling that takes into account all the uncertainties occurring during the estimation, in particular during the visual odometry, which had not been done to our knowledge, in the context of moving object detection. We also propose a new residual quantity for the detection, using an image prediction approach to facilitate uncertainty propagation and the chi2 criterion modeling. The benefit brought by the proposed residual quantity and error model is demonstrated by evaluating detection algorithms on a samples of annotated KITTI data. Finally, we implement our algorithms on ROS to run the perception system on en embedded platform, and we code some algorithms in CUDA to accelerate the computing using GPU. We describe the perception and the navigation system that we use for the experimental validation. We show in our experiments that the proposed stereovision perception system is suitable for embedded robotic applications.

Parc marin du Saguenay - Saint-Laurent, Groupe de recherche et d'éducation sur les mammifères marins, GREMM, excursions aux baleines, bélugas, Tadoussac, règlementation, ArcCatalog, ArcMap. / L'important volume des excursions de bateaux touristiques liées aux activités d'observation en mer des mammifères marins (AOM) dans le Parc marin Saguenay-Saint-Laurent (PMSSL) pourrait avoir un impact négatif sur la santé des baleines qui fréquentent cette région de l’estuaire du fleuve Saint-Laurent. Cette situation a poussé les gestionnaires du Parc à désirer un outil d'information et de gestion pour mieux suivre l’évolution des AOM. Le présent mémoire décrit la conception de cet outil en proposant un modèle de l'excursion et des activités d'observation qui sert à l’élaboration d’une base de données. En s’appuyant sur le concept de la trajectoire spatiotemporelle, utilisée pour l'étude du comportement de déplacement basé sur l'activité, et sur le concept de l'objet mobile, développé en géomatique, notre modèle de données permet de reproduire graphiquement les trajectoires des excursions et l'enchaînement des activités qui ont lieu au cours de celles-ci. Le modèle est orienté objet et implanté dans une Geodatabase, une base de données relationnelle exploitable par le système d'information géographique (SIG) ArcGIS. Les objets de la base de données sont créés à partir des données de trois années de suivi des AOM réalisés par le Groupe de recherche et d'éducation sur les mammifères marins (GREMM). Nous montrons que le SIG peut exploiter la base de données de façon à répondre correctement aux besoins en information exprimés par les gestionnaires et que la représentation informatique des excursions sous la forme de trajectoires spatiotemporelles ouvre de nouvelles avenues de recherche sur les patrons d’activités et le comportement de déplacement des bateaux. / The considerable volume of commercial boat trips associated with whale-watching activities (WWAs) in the Saguenay-Saint-Laurent National Marine Park (PMSSL) may have negative impacts on the health of the whales visiting the Saint-Lawrence River estuary. This situation has led park officials to seek an appropriate information management system in order to better monitor WWAs. This paper contributes to the design of such a tool by modeling excursion patterns of WWAs, resulting in a database. Based on the space-time path concept used for the study of activity-based travel behavior as well as the mobile-object geomatical concept, our data-model enables us to plot the trajectories of the excursions and the sequence of activities taking place during those excursions. The model is object-oriented and built into a Geodatabase (an ArcGis-processable relational database). The objects in the database are based on data collected by the Marine Mammal Research and Education Group (GREMM) during a three-year WWA monitoring program. Finally, this report demonstrates that geographic information systems can be effectively used to process the database in a way that serves the needs of park officials, and that the representation of excursion data in a GIS opens up new avenues for research on the space-time pattern of observation activities and the travel behavior of boats.

L'important volume des excursions de bateaux touristiques liées aux activités d'observation en mer des mammifères marins (AOM) dans le Parc marin Saguenay-Saint-Laurent (PMSSL) pourrait avoir un impact négatif sur la santé des baleines qui fréquentent cette région de l’estuaire du fleuve Saint-Laurent. Cette situation a poussé les gestionnaires du Parc à désirer un outil d'information et de gestion pour mieux suivre l’évolution des AOM. Le présent mémoire décrit la conception de cet outil en proposant un modèle de l'excursion et des activités d'observation qui sert à l’élaboration d’une base de données. En s’appuyant sur le concept de la trajectoire spatiotemporelle, utilisée pour l'étude du comportement de déplacement basé sur l'activité, et sur le concept de l'objet mobile, développé en géomatique, notre modèle de données permet de reproduire graphiquement les trajectoires des excursions et l'enchaînement des activités qui ont lieu au cours de celles-ci. Le modèle est orienté objet et implanté dans une Geodatabase, une base de données relationnelle exploitable par le système d'information géographique (SIG) ArcGIS. Les objets de la base de données sont créés à partir des données de trois années de suivi des AOM réalisés par le Groupe de recherche et d'éducation sur les mammifères marins (GREMM). Nous montrons que le SIG peut exploiter la base de données de façon à répondre correctement aux besoins en information exprimés par les gestionnaires et que la représentation informatique des excursions sous la forme de trajectoires spatiotemporelles ouvre de nouvelles avenues de recherche sur les patrons d’activités et le comportement de déplacement des bateaux. / The considerable volume of commercial boat trips associated with whale-watching activities (WWAs) in the Saguenay-Saint-Laurent National Marine Park (PMSSL) may have negative impacts on the health of the whales visiting the Saint-Lawrence River estuary. This situation has led park officials to seek an appropriate information management system in order to better monitor WWAs. This paper contributes to the design of such a tool by modeling excursion patterns of WWAs, resulting in a database. Based on the space-time path concept used for the study of activity-based travel behavior as well as the mobile-object geomatical concept, our data-model enables us to plot the trajectories of the excursions and the sequence of activities taking place during those excursions. The model is object-oriented and built into a Geodatabase (an ArcGis-processable relational database). The objects in the database are based on data collected by the Marine Mammal Research and Education Group (GREMM) during a three-year WWA monitoring program. Finally, this report demonstrates that geographic information systems can be effectively used to process the database in a way that serves the needs of park officials, and that the representation of excursion data in a GIS opens up new avenues for research on the space-time pattern of observation activities and the travel behavior of boats. / Parc marin du Saguenay - Saint-Laurent, Groupe de recherche et d'éducation sur les mammifères marins, GREMM, excursions aux baleines, bélugas, Tadoussac, règlementation, ArcCatalog, ArcMap.