Dans le contexte actuel de diminution des pollutions d’origine agricole, laréduction des apports d’intrants devient un enjeu primordial. En France, laviticulture est l’activité qui possède le taux le plus important de traitementsphytosanitaires par unité de surface. Elle représente, à elle seule, 20% de laconsommation annuelle de pesticides. Par conséquent, il est nécessaire d’étudierle devenir des pesticides appliqués afin de réduire les quantités perduesdans l’environnement. Dans le cadre de la réduction d’apport de produitsphytosanitaires dans les vignes, de nombreux travaux ont été effectués sur lamodélisation du comportement d’un spray de gouttelettes et sa répartitionau niveau de la parcelle et de l’air environnant. Cependant, il est égalementimportant de s’intéresser au comportement de la gouttelette directement auniveau de la feuille. Les progrès dans le domaine de l’imagerie et la diminutiondu coût des systèmes ont rendus ces systèmes beaucoup plus attractifs.Le travail de cette thèse consiste en la mise en place d’un système d’imagerierapide qui permet l’observation du comportement à l’impact de gouttelettesrépondant aux conditions de pulvérisation. Les caractéristiques ainsi que lecomportement associé de chaque gouttelette sont extraits grâce à une méthodede suivi d’objets. Une analyse statistique basée sur un nombre représentatifde résultats permet ensuite d’évaluer de manière robuste le devenir d’unegoutte en fonction de ses caractéristiques. Parallèlement, un paramètre décrivantl’état de surface de la feuille est également étudié grâce à l’imagerie : larugosité qui joue un rôle prédominant dans la compréhension des mécanismesd’adhésion / In the domain of vineyard precision spraying research, one of the most importantobjectives is to minimize the volume of phytosanitary products ejected bya sprayer in order to be more environmentally respectful with more effectivevine leaf treatments. Unfortunaltely, even if lot of works have been carriedout at a parcel scale, mainly on losses caused by drift, less works have beencarried out at the leaf scale in order to understand which parameters influencethe spray quality. Since few years, recent improvements in image processing,sensitivity of imaging systems and cost reduction have increased the interestof high-speed imaging techniques. Analyzing the behavior of droplets afterimpact with the leaf thanks to high speed imaging technology is a relevantsolution. By this way, we propose a droplets behavior analyzing process invineyard spraying context based on high-speed acquision system combinedwith image processing techniques. This process allows us to extract dropletsparameters. Therefore, a statistical study is processed in order to determinethe effects of droplets parameters on leaf impact or to predict behavior of asingle droplet. Since this behavior is strongly related to leaf surface, we alsopropose to validate a natural leaf roughness characterization method basedon texture analysis

Le transport de sédiments en rivières et torrents reste un phénomène mal compris en raison de la polydispersité des particules et de la ségrégation résultante. Il a été mené une étude expérimentale sur un canal permettant d’étudier la ségrégation en charriage d’un mélange de deux classes de billes. Le déplacement collectif des billes est enregistré sous la forme de séquences vidéos. Cette thèse traite des méthodes de traitement d’images développées pour analyser les données obtenues. Premièrement, nous avons développé une méthode de segmentation d’images pour étudier l’influence de l’infiltration de particules fines sur l’évolution d’un lit mobile. Avec cette méthode d’analyse, une étude expérimentale a permis de montrer que l’évolution de la pente du lit présente une décroissance exponentielle. Deuxièmement, nous avons optimisé les algorithmes déterministes de suivi de particules pour permettre l’étude des trajectoires sur l’intégralité du phénomène de ségrégation, ce qui n’était pas possible dans les travaux précédemment effectués à Irstea. Nous avons de plus mis en place des mesures d’évaluation et conçu des vérités terrains afin d’apprécier la qualité des résultats. Des gains de temps, cohérence, précision et mémoire ont été quantifiés. Troisièmement, nous avons développé un nouvel algorithme basé sur le filtrage particulaire à modèles multiples pour mieux gérer les dynamiques complexes des particules et gagner en robustesse. Cette approche permet de prendre en compte les erreurs du détecteur, les corriger et ainsi éviter des difficultés lors du suivi de trajectoires que nous rencontrons notamment avec l’algorithme déterministe / Sediment transport in rivers and mountain streams remains poorly understood partly due to the polydispersity of particles and resulting segregation. Experiments in a channel were carried out to study bedload transport of bimodal bead mixtures. The behavior of the beads is recorded through video sequences. This work is about the development of image processing methods to analyse the obtained data. Firstly, we developed a method of image segmentation to study the infiltration of fine particles and its influence on the evolution of bed mobility. Thanks to this method, an experimental study shows that the bed slope evolution follows an exponential decay. Secondly, we optimised deterministic tracking algorithms to enable the study of trajectories on long-duration phenomena of segregation, which was not possible with previous work done at Irstea. Moreover we set up relevant evaluation measures and elaborated ground truth sequences to quantify the results. We observed benefits in execution time, consistency, precision and memory. Thirdly, we developed a new algorithm based on multiple model particle filtering to better deal with complex dynamics of particles and to gain robustness. This approach allows taking unreliable detections into account, correcting them and thus avoiding difficulties in the target tracking as encountered with the deterministic algorithm

L’objectif de ces travaux porte sur la navigation de robots autonomes sur de grandes distances dans des environnements extérieurs dynamiques, plus précisément sur le développement et l’évaluation de fonctions avancées de perception, embarquées sur des véhicules se déplaçant en convoi sur un itinéraire inconnu a priori, dans un environnement urbain ou naturel. Nous avons abordé trois problématiques : d’abord nous avons exploité plusieurs méthodes de l’état de l’art, pour qu’un véhicule A, équipé d’un capteur stéréoscopique, apprenne à la fois une trajectoire et un modèle de l’environnement supposé d’abord statique. Puis nous avons proposé deux modes pour l’exécution de cette trajectoire par un véhicule B équipé d’une simple caméra : soit un mode différé, dans lequel B charge toute la trajectoire apprise par A, puis l’exécute seul, soit un mode convoi, dans lequel B suit A, qui lui envoie par une communication HF, les tronçons de la trajectoire au fur et à mesure qu’ils sont appris. Enfin nous avons considéré le cas des environnements évolutifs et dynamiques, en traitant de la détection d’événements depuis les images acquises depuis un véhicule mobile: détection des changements (disparition ou apparition d’objets statiques, typiquement des véhicules garés dans un milieu urbain), ou de la détection d’objets mobiles (autres véhicules ou piétons) / The global objective of these works concerns the navigation of autonomous robots on long routes in outdoor dynamic environments, more precisely on the development and the evaluation of advanced perception functions, embedded on vehicles moving in a convoy formation, on an a priori unknown route in urban or natural environments. Three issues are tackled: first several methods from the State of the Art have been integrated in order to cope with the visual mapping and the trajectory learning problems for a vehicle A equipped with a stereovision sensor, moving in a large-scale environment, assumed static. Then it is proposed two modes for the execution of this trajectory by a vehicle B equipped by a single camera: either a delayed mode, in which B loads initially all representations learnt by A, and executes alone the recorded trajectory, or a convoy mode, in which B follows A, which sends him by a communication link, the trajectory sections as soon as they are learnt. Finally, it has been considered changing and dynamic environments, dealing with the detection of events from images acquired on a dynamic vehicle: detection of changes (disappearances or appearances of static objects, typically cars parked in a urban environment), or detection of mobile objects (pedestrians or other vehicles)

Les interfaces cerveau-machine (ICMs) nous offrent un moyen de fermer la boucle entre notre cerveau et le monde de la technologie numérique. Cela ouvre la porte à une pléthore de nouvelles applications où nous utilisons directement le cerveau comme entrée. S’il est facile de voir le potentiel, il est moins facile de trouver la bonne application avec les bons corrélats neuronaux pour construire un tel système en boucle fermée. Ici, nous explorons une tâche de suivi d’objets multiples en 3D, dans un contexte d’entraînement cognitif (3D-MOT). Notre capacité à suivre plusieurs objets dans un environnement dynamique nous permet d’effectuer des tâches quotidiennes telles que conduire, pratiquer des sports d’équipe et marcher dans un centre commercial achalandé. Malgré plus de trois décennies de littérature sur les tâches MOT, les mécanismes neuronaux sous- jacents restent mal compris. Ici, nous avons examiné les corrélats neuronaux via l’électroencéphalographie (EEG) et leurs changements au cours des trois phases d’une tâche de 3D-MOT, à savoir l’identification, le suivi et le rappel. Nous avons observé ce qui semble être un transfert entre l’attention et la de mémoire de travail lors du passage entre le suivi et le rappel. Nos résultats ont révélé une forte inhibition des fréquences delta et thêta de la région frontale lors du suivi, suivie d’une forte (ré)activation de ces mêmes fréquences lors du rappel. Nos résultats ont également montré une activité de retard contralatérale (CDA en anglais), une activité négative soutenue dans l’hémisphère contralatérale aux positions des éléments visuels à suivre. Afin de déterminer si le CDA est un corrélat neuronal robuste pour les tâches de mémoire de travail visuelle, nous avons reproduit huit études liées au CDA avec un ensemble de données EEG accessible au public. Nous avons utilisé les données EEG brutes de ces huit études et les avons analysées avec le même pipeline de base pour extraire le CDA. Nous avons pu reproduire les résultats de chaque étude et montrer qu’avec un pipeline automatisé de base, nous pouvons extraire le CDA. Récemment, l’apprentissage profond (deep learning / DL en anglais) s’est révélé très prometteur pour aider à donner un sens aux signaux EEG en raison de sa capacité à apprendre de bonnes représentations à partir des données brutes. La question à savoir si l’apprentissage profond présente vraiment un avantage par rapport aux approches plus traditionnelles reste une question ouverte. Afin de répondre à cette question, nous avons examiné 154 articles appliquant le DL à l’EEG, publiés entre janvier 2010 et juillet 2018, et couvrant différents domaines d’application tels que l’épilepsie, le sommeil, les interfaces cerveau-machine et la surveillance cognitive et affective. Enfin, nous explorons la possibilité de fermer la boucle et de créer un ICM passif avec une tâche 3D-MOT. Nous classifions l’activité EEG pour prédire si une telle activité se produit pendant la phase de suivi ou de rappel de la tâche 3D-MOT. Nous avons également formé un classificateur pour les essais latéralisés afin de prédire si les cibles étaient présentées dans l’hémichamp gauche ou droit en utilisant l’activité EEG. Pour la classification de phase entre le suivi et le rappel, nous avons obtenu un 80% lors de l’entraînement d’un SVM sur plusieurs sujets en utilisant la puissance des bandes de fréquences thêta et delta des électrodes frontales. / Brain-computer interfaces (BCIs) offer us a way to close the loop between our brain and the digital world of technology. It opens the door for a plethora of new applications where we use the brain directly as an input. While it is easy to see the disruptive potential, it is less so easy to find the right application with the right neural correlates to build such closed-loop system. Here we explore closing the loop during a cognitive training 3D multiple object tracking task (3D-MOT). Our ability to track multiple objects in a dynamic environment enables us to perform everyday tasks such as driving, playing team sports, and walking in a crowded mall. Despite more than three decades of literature on MOT tasks, the underlying and intertwined neural mechanisms remain poorly understood. Here we looked at the electroencephalography (EEG) neural correlates and their changes across the three phases of a 3D-MOT task, namely identification, tracking and recall. We observed what seems to be a handoff between focused attention and working memory processes when going from tracking to recall. Our findings revealed a strong inhibition in delta and theta frequencies from the frontal region during tracking, followed by a strong (re)activation of these same frequencies during recall. Our results also showed contralateral delay activity (CDA), a sustained negativity over the hemisphere contralateral to the positions of visual items to be remembered. In order to investigate if the CDA is a robust neural correlate for visual working memory (VWM) tasks, we reproduced eight CDA-related studies with a publicly accessible EEG dataset. We used the raw EEG data from these eight studies and analysed all of them with the same basic pipeline to extract CDA. We were able to reproduce the results from all the studies and show that with a basic automated EEG pipeline we can extract a clear CDA signal. Recently, deep learning (DL) has shown great promise in helping make sense of EEG signals due to its capacity to learn good feature representations from raw data. Whether DL truly presents advantages as compared to more traditional EEG processing approaches, however, remains an open question. In order to address such question, we reviewed 154 papers that apply DL to EEG, published between January 2010 and July 2018, and spanning different application domains such as epilepsy, sleep, brain-computer interfacing, and cognitive and affective monitoring. Finally, we explore the potential for closing the loop and creating a passive BCI with a 3D-MOT task. We classify EEG activity to predict if such activity is happening during the tracking or the recall phase of the 3D-MOT task. We also trained a classifier for lateralized trials to predict if the targets were presented on the left or right hemifield using EEG brain activity. For the phase classification between tracking and recall, we obtained 80% accuracy when training a SVM across subjects using the theta and delta frequency band power from the frontal electrodes and 83% accuracy when training within subjects.

Les travaux présentés dans ce mémoire s’inscrivent dans le cadre duprojet PANsafer (Vers un Passage A Niveau plus sûr), lauréat de l’appel ANR-VTT2008. Ce projet est labellisé par les deux pôles de compétitivité i-Trans et Véhiculedu Futur. Le travail de la thèse est mené conjointement par le laboratoire IRTESSETde l’UTBM et le laboratoire LEOST de l’IFSTTAR.L’objectif de cette thèse est de développer un système de perception permettantl’interprétation de scénarios dans l’environnement d’un passage à niveau. Il s’agitd’évaluer des situations potentiellement dangereuses par l’analyse spatio-temporelledes objets présents autour du passage à niveau.Pour atteindre cet objectif, le travail est décomposé en trois étapes principales. Lapremière étape est consacrée à la mise en place d’une architecture spatiale des capteursvidéo permettant de couvrir de manière optimale l’environnement du passageà niveau. Cette étape est mise en oeuvre dans le cadre du développement d’unsimulateur d’aide à la sécurité aux passages à niveau en utilisant un système deperception multi-vues. Dans ce cadre, nous avons proposé une méthode d’optimisationpermettant de déterminer automatiquement la position et l’orientation descaméras par rapport à l’environnement à percevoir.La deuxième étape consisteà développer une méthode robuste de suivi d’objets enmouvement à partir d’une séquence d’images. Dans un premier temps, nous avonsproposé une technique permettant la détection et la séparation des objets. Le processusde suivi est ensuite mis en oeuvre par le calcul et la rectification du flotoptique grâce respectivement à un modèle gaussien et un modèle de filtre de Kalman.La dernière étape est destinée à l’analyse des trajectoires 2D reconstruites parl’étape précédente pour l’interprétation de scénarios. Cette analyse commence parune modélisation markovienne des trajectoires 2D. Un système de décision à basede théorie de l’évidence est ensuite proposé pour l’évaluation de scénarios, aprèsavoir modélisé les sources de danger.L’approche proposée a été testée et évaluée avec des données issues de campagnesexpérimentales effectuées sur site réel d’un passage à niveau mis à disposition parRFF. / The main objective of this thesis is to develop a system for monitoringthe close environment of a level crossing. It aims to develop a perception systemallowing the detection and the evaluation of dangerous situations around a levelcrossing.To achieve this goal, the overall problem of this work has been broken down intothree main stages. In the first stage, we propose a method for optimizing automaticallythe location of video sensors in order to cover optimally a level crossingenvironment. This stage addresses the problem of cameras positioning and orientationin order to view optimally monitored scenes.The second stage aims to implement a method for objects tracking within a surveillancezone. It consists first on developing robust algorithms for detecting and separatingmoving objects around level crossing. The second part of this stage consistsin performing object tracking using a Gaussian propagation optical flow based modeland Kalman filtering.On the basis of the previous steps, the last stage is concerned to present a newmodel to evaluate and recognize potential dangerous situations in a level crossingenvironment. This danger evaluation method is built using Hidden Markov Modeland credibility model.Finally, synthetics and real data are used to test the effectiveness and the robustnessof the proposed algorithms and the whole approach by considering various scenarioswithin several situations.This work is developed within the framework of PANsafer project (Towards a saferlevel crossing), supported by the ANR-VTT program (2008) of the French NationalAgency of Research. This project is also labelled by Pôles de compétitivité "i-Trans"and "Véhicule du Futur". All the work, presented in this thesis, has been conductedjointly within IRTES-SET laboratory from UTBM and LEOST laboratory fromIFSTTAR.

L’intralogistique (ou logistique interne) s’intéresse au traitement et à l’optimisation des flux physiques au sein des entrepôts, centres de distribution et usines. Les systèmes de manutention automatisés sont au cœur de la logistique interne de plusieurs industries comme le commerce en ligne, la messagerie postale, la grande distribution, l’industrie manufacturière, le transport aéroportuaire, etc. Ces équipements composés de lignes de convoyage haute cadence permettent un transport sûr et fiable d’un volume considérable de biens et de marchandises tout en réduisant les coûts.L’automatisation de l’acheminement des flux physiques par les systèmes de manutention repose sur l’identification et le suivi en temps réel des charges transportées. Dans cette thèse, nous explorons une solution de suivi qui emploie un réseau de caméras intelligentes à champs recouvrants. L’objectif final étant de fournir l’information de suivi sur les charges transportées pour le pilotage d’un système de manutention.Le suivi d’objets est un problème fondamental de la vision par ordinateur qui a de nombreuses applications comme la vidéosurveillance, la robotique, les voitures autonomes, etc. Nous avons intégré plusieurs briques de base issues de la vidéosurveillance et traditionnellement appliquées aux scènes de surveillance automobile ou de surveillance des activités humaines pour constituer une chaine de suivi de référence. Cette chaine d’analyse vidéo étalon nous a permis de caractériser des hypothèses propres au convoyage d’objet. Nous proposons dans cette thèse d’incorporer cette connaissance métier dans la chaine de suivi pour en améliorer les performances. Nous avons, notamment pris en compte, dans l’étape de segmentation des images, le fait que les objets doivent pouvoir s’arrêter sans pour autant être intégrés aux modèles d’arrière-plan. Nous avons également exploité la régularité des trajectoires des objets convoyés dans les installations, permettant d’améliorer les modèles prédictifs de la position et de la vitesse des objets, dans les étapes de suivi. Enfin, nous avons intégré des contraintes de stricte monotonie dans l’ordre des colis sur le convoyeur, contraintes qui n’existent pas dans les scènes généralistes, pour ré-identifier les objets dans les situations où ils sont proches des eux les autres.Nous nous sommes par ailleurs attelés à un problème pratique d’optimisation des performances sur l’architecture multi-cœurs couplée aux caméras intelligentes. Dans ce cadre, nous avons a mis en place un apprentissage dynamique de la zone de l’image contenant le convoyeur. Cette zone d’intérêt nous a permis de limiter la mise à jour du modèle de fond à cette seule zone. Nous avons, par la suite, proposé une stratégie de parallélisation qui partitionne de manière adaptative cette région d’intérêt de l’image, afin d’équilibrer au mieux la charge de travail entre les différents cœurs de l’architecture des caméras intelligentes.Nous avons également traité la problématique du suivi sur plusieurs caméras. Nous avons proposé une approche basée sur un système de composition d’évènements. Cette approche nous a permis de fusionner les données de suivi local pour former les trajectoires globales des colis, tout en intégrant des informations issues du processus métier, par exemple la saisie de l’information de destination par des opérateurs sur un terminal avant la dépose des colis. Nous avons validé cette approche sur un système de manutention mis en place dans un centre de tri postal de grande envergure. Le réseau de caméras déployé est composé de 32 caméras qui assurent le suivi de plus de 400.000 colis/jour sur des lignes de dépose. Le taux d’erreur du suivi obtenu est inférieur à 1 colis sur 1000 (0,1%). / Intralogistics (or internal logistics) focuses on the management and optimization of internal production and distribution processes within warehouses, distribution centers, and factories. Automated handling systems play a crucial role in the internal logistics of several industries such as e-commerce, postal messaging, retail, manufacturing, airport transport, etc. These systems are composed by multiple high-speed conveyor lines that provide safe and reliable transportation of a large volume of goods and merchandise while reducing costs.The automation of the conveying process relies on the identification and the real-time tracking of the transported loads. In this thesis, we designed a tracking solution that employs a network of smart cameras with an overlapping field of view. The goal is to provide tracking information to control an automated handling system.Multiple object tracking is a fundamental problem of computer vision that has many applications such as video surveillance, robotics, autonomous cars, etc. We integrated several building blocks traditionally applied to traffic surveillance or human activities monitoring to constitute a tracking pipeline. We used this baseline tracking pipeline to characterize contextual scene information proper to the conveying scenario. We integrated this contextual information to the tracking pipeline to enhance the performance. In particular, we took into account the state of moving objects that become stationary in the background subtraction step to prevent their absorption to the background model. We have also exploited the regularity of objects trajectory to enhance the motion model associated with the tracked objects. Finally, we integrated the precedence ordering constraint among the conveyed object to reidentify them when they are close to each other.We have also tackled practical problems related to the optimization the execution of the proposed tracking problem in the multi-core architectures of smart cameras. In particular, we proposed a dynamic learning process that extracts the region of the image that corresponds to the conveyor lines. We reduced the number of the processed pixel by restricting the processing to this region of interest. We also proposed a parallelization strategy that adaptively partitions this region of interest of the image, in order to balance the workload between the different cores of the smart cameras.Finally, we proposed a multiple cameras tracking algorithms based on event composition. This approach fuses the local tracking generated by the smart cameras to form global object trajectories and information from third party systems such as the destination of the object entered by operators on a terminal. We validated the proposed approach for the control of a sorting system deployed in a postal distribution warehouse. A network of cameras composed of 32 cameras tracks more than 400.000 parcel/day in injections lines. The tracking error rate is less than 1 parcel in a 1000 (0.1%).