Abstract This thesis investigates vision based description and recognition of human movements. Automated vision based human motion analysis is a fundamental technology for creating video based human computer interaction systems. Because of its wide range of potential applications, the topic has become an active area of research in the computer vision community. This thesis proposes the use of low level description of dynamics for human movement description and recognition. Two groups of approaches are developed: first, texture based methods that extract dynamic features for human movement description, and second, a framework that considers ballistic dynamics for human movement segmentation and recognition. Two texture based descriptions for human movement analysis are introduced. The first method uses the temporal templates as a preprocessing stage and extracts a motion description using local binary pattern texture features. This approach is then extended to a spatiotemporal space and a dynamic texture based method that uses local binary patterns from three orthogonal planes is proposed. The method needs no accurate segmentation of silhouettes, rather, it is designed to work on image data. The dynamic texture based description is also applied to gait recognition. The proposed descriptions have been experimentally validated on publicly available databases. Psychological studies on human movement indicate that common movements such as reaching and striking are ballistic by nature. Based on the psychological observations this thesis considers the segmentation and recognition of ballistic movements using low level motion features. Experimental results on motion capture and video data show the effectiveness of the method. / Tiivistelmä Tässä väitöskirjassa tutkitaan ihmisen liikkeen kuvaamista ja tunnistamista konenäkömenetelmillä. Ihmisen liikkeen automaattinen analyysi on keskeinen teknologia luotaessa videopohjaisia järjestelmiä ihmisen ja koneen vuorovaikutukseen. Laajojen sovellusmahdollisuuksiensa myötä aiheesta on tullut aktiivinen tutkimusalue konenäön tutkimuksen piirissä. Väitöskirjassa tutkitaan matalan tason piirteiden käyttöä ihmisen liikkeen dynaamiikan kuvaamiseen ja tunnistamiseen. Työssä esitetään kaksi tekstuuripohjaista mentelmää ihmisen liikkeen kuvaamiseen ja viitekehys ballististen liikkeiden segmentointiin ja tunnistamiseen. Työssä esitetään kaksi tekstuuripohjaista menetelmää ihmisen liikkeen analysointiin. Ensimmäinen menetelmä käyttää esikäsittelynä ajallisia kuvamalleja ja kuvaa mallit paikallisilla binäärikuvioilla. Menetelmä laajennetaan myös tila-aika-avaruuteen. Dynaamiseen tekstuuriin perustuva menetelmä irroittaa paikalliset binäärikuviot tila-aika-avaruuden kolmelta ortogonaaliselta tasolta. Menetelmä ei vaadi ihmisen siluetin tarkkaa segmentointia kuvista, koska se on suunniteltu toimimaan suoraan kuvatiedon perusteella. Dynaamiseen tekstuuriin pohjautuvaa menetelmää sovelletaan myös henkilön tunnistamiseen kävelytyylin perusteella. Esitetyt menetelmät on kokeellisesti vahvistettu yleisesti käytetyillä ja julkisesti saatavilla olevilla tietokannoilla. Psykologiset tutkimukset ihmisen liikkumisesta osoittavat, että yleiset liikkeet, kuten kurkoittaminen ja iskeminen, ovat luonteeltaan ballistisia. Tässä työssä tarkastellaan ihmisen liikkeen ajallista segmentointia ja tunnistamista matalan tason liikepiirteistä hyödyntäen psykologisia havaintoja. Kokeelliset tulokset liikkeenkaappaus ja video aineistolla osoittavat menetelmän toimivan hyvin.

A complexidade é uma característica de grande importância em processos de reconhecimento de padrões, especialmente naqueles que envolvem imagens biológicas. Este trabalho tem como objetivo estudar métodos que realizam a análise de imagens por meio da análise de sua complexidade. Os métodos a serem estudados foram selecionados com base na similaridade de seus algoritmos e metodologia: dimensão fractal, Caminhada Determinística do Turista e Redes Complexas. Estes métodos permitem realizar a análise e segmentação de formas ou texturas contidas em uma imagem com base na sua variação de complexidade. Dos três métodos considerados, dois deles fazem parte do estado da arte em análise de complexidade, enquanto que a dimensão fractal já é aplicada a mais tempo na análise de formas e texturas. Os trabalhos aqui desenvolvidos visam comparar e analisar os métodos selecionados por meio de experimentos com imagens de forma e texturas, sendo utilizadas texturas naturais e de Brodatz, freqüentemente utilizadas na literatura como benchmark para texturas. Com base no conhecimento adquirido, novas técnicas voltadas para a análise e segmentação de formas e texturas foram desenvolvidas, assim como foram analisadas as deficiências e propostas melhorias às técnicas estudadas. Além disso, diversos experimentos com estas metodologias foram realizados em aplicações de Bioinformática / Complexity is a feature of great importance in pattern recognition processes, especially those involving biological images. This work aims to study methods that perform image analysis by the analysis of its complexity. The methods to be studied were selected based on similarity of their algorithms and methodology: fractal dimension, Deterministic Tourist Walk and Complex Networks. These methods enable us to perform the analysis and segmentation of shapes and textures contained in an image based on the variation of its complexity. Of the three methods considered, two of them are part of the state of the art in complexity analysis, while the fractal dimension is already applied in shapes and textures analysis. The work developed here aims to compare and analyze the selected methods through experiments with shape and texture images, utilizing for this natural and Brodatz textures samples, often used in literature as benchmark for textures analysis. Based on the knowledge acquired, new techniques for analysis and segmentation of shapes and textures were developed, as also were analyzed the deficiencies and proposed improvements to the techniques studied. Moreover, several experiments with these methods were performed in bioinformatics applications

This thesis is focused on texture analysis methods. The project contains an overview of widely used methods. The main aim of the thesis is to develop a method for texture analysis of retinal images, which will be used for distinction of two patient groups, one with glaucoma eyes and one healthy. It is observed that glaucoma patients don´t have a texture on the eye ground. Preprocessing of the images is found by transfer of the image to different color spaces to achieve the best emphasis of the eye ground texture. Co-occurrence matrix is chosen for texture analysis of this data. The thesis contains detail description of the chosen solutions and feature discussion and the result is a list of features, which can be used for distinction between glaucoma and healthy eyes. The method is implemented in Matlab environment.

This master's thesis deals with fire detection in videosequences. Attention is paid to the known characteristics of fire and basic principles of existing solutions which deal with this issue. The thesis also describes design, implementation and testing of a fire detector that is based on the recognition of suspicious areas by fire color modeling, combined with detection of motion and light intensity variations.

Un sonar latéral de cartographie enregistre les signaux qui ont été rétrodiffusés par le fond marin sur une large fauchée. Les signaux sont ainsi révélateurs de l’interaction entre l’onde acoustique émise et le fond de la mer pour une large plage de variation de l’angle de rasance. L’analyse des statistiques de ces signaux rétrodiffusés montre une dépendance à ces angles de rasance, ce qui pénalise fortement la segmentation des images en régions homogènes. Pour améliorer cette segmentation, l’approche classique consiste à corriger les artefacts dus à la formation de l’image sonar (géométrie d’acquisition, gains variables, etc.) en considérant un fond marin plat et en estimant des lois physiques (Lambert, Jackson, etc.) ou des modèles empiriques. L’approche choisie dans ce travail propose de diviser l’image sonar en bandes dans le sens de la portée ; la largeur de ces bandes étant suffisamment faible afin que l’analyse statistique de la rétrodiffusion puisse être considérée indépendante de l’angle de rasance. Deux types d’analyse de texture sont utilisés sur chaque bande de l’image. La première technique est basée sur l’estimation d’une matrice des cooccurrences et de différents attributs d’Haralick. Le deuxième type d’analyse est l’estimation d’attributs spectraux. La bande centrale localisée à la moitié de la portée du sonar est segmentée en premier par un réseau de neurones compétitifs basé sur l’algorithme SOFM (Self-Organizing Feature Maps) de Kohonen. Ensuite, la segmentation est réalisée successivement sur les bandes adjacentes, jusqu’aux limites basse et haute de la portée sonar. A partir des connaissances acquises sur la segmentation de cette première bande, le classifieur adapte sa segmentation aux bandes voisines. Cette nouvelle méthode de segmentation est évaluée sur des données réelles acquises par le sonar latéral Klein 5000. Les performances de segmentation de l’algorithme proposé sont comparées avec celles obtenues par des techniques classiques. / The sidescan sonar records the energy of an emitted acoustical wave backscattered by the seabed for a large range of grazing angles. The statistical analysis of the recorded signals points out a dependence according grazing angles, which penalizes the segmentation of the seabed into homogeneous regions. To improve this segmentation, classical approaches consist in compensating artifacts due to the sonar image formation (geometry of acquisition, gains, etc.) considering a flat seabed and using either Lambert’s law or an empirical law estimated from the sonar data. The approach chosen in this study proposes to split the sonar image into stripes in the swath direction; the stripe width being limited so that the statistical analysis of pixel values can be considered as independent of grazing angles. Two types of texture analysis are used for each stripe of the image. The first technique is based on the Grey-Level Co-occurrence Matrix (GLCM) and various Haralick attributes derived from. The second type of analysis is the estimation of spectral attributes. The starting stripe at mid sonar slant range is segmented with an unsupervised competitive neural network based on the adaptation of Self- Organizing Feature Maps (SOFM) algorithm. Then, from the knowledge acquired on the segmentation of this first stripe, the classifier adapts its segmentation to the neighboring stripes, allowing slight changes of statistics from one stripe to the other. The operation is repeated until the beginning and the end of the slant range are reached. The study made in this work is validated on real data acquired by the sidescan sonar Klein 5000. Segmentation performances of the proposed algorithm are compared with those of conventional approaches.

Agricultural production is becoming increasingly important as the world demand increases. On the other hand, there are several factors threatening that production such as the climate change. Therefore, monitoring and management of different parameters affecting the production are important. The current study is dedicated to two key parameters, namely agricultural land cover and soil-moisture mapping using X- and L-Band Synthetic Aperture Radar (SAR) data. Land-cover mapping plays an essential role in various applications like irrigation management, yield estimation and subsidy control. A model of multi-direction/multi-distance texture analysis on SAR data and its use for agricultural land cover classification was developed. The model is built and implemented in ESRI ArcGIS software and integrated with “R Environment”. Sets of texture measures can be calculated on a plot basis and stored in an attribute table for further classification. The classification module provides various classification approaches such as support vector machine and artificial neural network, in addition to different feature-selection methods. The model has been tested for a typical Mid-European agricultural and horticultural land use pattern south to the town of Pirna (Saxony/Germany), where the high-resolution SAR data, TerraSAR-X and ALOS/PALSAR (HH/HV) imagery, were used for land-cover mapping. The results indicate that an integrated classification using textural information of SAR data has a high potential for land-cover mapping. Moreover, the multi-dimensional SAR data approach improved the overall accuracy. Soil moisture (SM) is important for various applications such as crop-water management and hydrological modelling. The above-mentioned TerraSAR-X data were utilised for soil-moisture mapping verified by synchronous field measurements. Different speckle-reduction techniques were applied and the most representative filtered image was determined. Then the soil moisture was calculated for the mapped area using the obtained linear regression equations for each corresponding land-cover type. The results proved the efficiency of SAR data in soil-moisture mapping for bare soils and at the early growing stage of fieldcrops. / Landwirtschaftliche Produktion erlangt mit weltweit steigender Nahrungsmittelnachfrage zunehmende Bedeutung. Zahlreiche Faktoren bedrohen die landwirtschaftliche Produktion wie beispielsweise die globale Klimaveränderung einschließlich ihrer indirekten Nebenwirkungen. Somit ist das Monitoring der Produktion selbst und der wesentlichen Produktionsparameter eine zweifelsfrei wichtige Aufgabe. Die vorliegende Studie widmet sich in diesem Kontext zwei Schlüsselinformationen, der Aufnahme landwirtschaftlicher Kulturen und den Bodenfeuchteverhältnissen, jeweils unter Nutzung von Satellitenbilddaten von Radarsensoren mit Synthetischer Apertur, die im X- und L-Band operieren. Landnutzungskartierung spielt eine essentielle Rolle für zahlreiche agrarische Anwendungen; genannt seien hier nur Bewässerungsmaßnahmen, Ernteschätzung und Fördermittelkontrolle. In der vorliegenden Arbeit wurde ein Modell entwickelt, welches auf Grundlage einer Texturanalyse der genannten SAR-Daten für variable Richtungen und Distanzen eine Klassifikation landwirtschaftlicher Nutzungsformen ermöglicht. Das Modell wurde als zusätzliche Funktionalität für die ArcGIS-Software implementiert. Es bindet dabei Klassifikationsverfahren ein, die aus dem Funktionsschatz der Sprache „R“ entnommen sind. Zum Konzept: Ein Bündel von Texturparametern wird durch das vorliegende Programm auf Schlagbasis berechnet und in einer Polygonattributtabelle der landwirtschaftlichen Schläge abgelegt. Auf diese Attributtabelle greift das nachfolgend einzusetzende Klassifikationsmodul zu. Die Software erlaubt nun die Suche nach „aussagekräftigen“ Teilmengen innerhalb des umfangreichen Texturmerkmalsraumes. Im Klassifikationsprozess kann aus verschiedenen Ansätzen gewählt werden. Genannt seien „Support Vector Machine“ und künstliche neuronale Netze. Das Modell wurde für einen typischen mitteleuropäischen Untersuchungsraum mit landwirtschaftlicher und gartenbaulicher Nutzung getestet. Er liegt südlich von Pirna im Freistaat Sachsen. Zum Test lagen für den Untersuchungsraum Daten von TerraSAR-X und ALOS/PALSAR (HH/HV) aus identischen Aufnahmetagen vor. Die Untersuchungen beweisen ein hohes Potenzial der Texturinformation aus hoch aufgelösten SAR-Daten für die landwirtschaftliche Nutzungserkennung. Auch die erhöhte Dimensionalität durch die Kombination von zwei Sensoren erbrachte eine Verbesserung der Klassifikationsgüte. Kenntnisse der Bodenfeuchteverteilung sind u.a. bedeutsam für Bewässerungsanwendungen und hydrologische Modellierung. Die oben genannten SAR-Datensätze wurden auch zur Bodenfeuchteermittlung genutzt. Eine Verifikation wurde durch synchrone Feldmessungen ermöglicht. Initial musste der Radar-typische „Speckle“ in den Bildern durch Filterung verringert werden. Verschiedene Filtertechniken wurden getestet und das beste Resultat genutzt. Die Bodenfeuchtebestimmung erfolgte in Abhängigkeit vom Nutzungstyp über Regressionsanalyse. Auch die Resultate für die Bodenfeuchtebestimmung bewiesen das Nutzpotenzial der genutzten SAR-Daten für offene Ackerböden und Stadien, in denen die Kulturpflanzen noch einen geringen Bedeckungsgrad aufweisen.

Le cancer du sein est une pathologie fréquente pour lequel les examens TEP/TDM au ¹⁸F-FDG et IRM mammaire sont fréquemment réalisés en routine. Il existe cependant une sous-utilisation des informations apportées par chacune de ces techniques d'imagerie. En pratique, l’interprétation de ces examens est principalement basée sur l’analyse visuelle et l'analyse « quantitative » se résume généralement au SUVmax seul en TEP/TDM et à l’étude du rehaussement du signal après injection de produit de contraste en IRM mammaire (DCE-MRI). L’arrivée de nouvelles machines hybrides TEP/ IRM, nous a amené à évaluer l'apport d’une quantification avancée des images issues de chacune de ces modalités séparément et en combinaison. Cela rejoint un domaine en expansion « la radiomique » qui consiste à extraire un grand nombre de caractéristiques quantitatives des images médicales pour décrypter l’hétérogénéité tumorale ou améliorer la prédiction du pronostic.L’objectif de notre travail était d’étudier l’apport des données radiomiques extraites de l’imagerie TEP au ¹⁸F-FDG et de l’IRM avec injection de produit de contraste réalisées avant traitement pour caractériser l’hétérogénéité tumorale dans le cancer du sein, en prenant en compte les différents sous-types moléculaires de cancer du sein, à savoir les tumeurs luminales (Lum A, Lum B HER2- et Lum B HER2+), triple-négatives et HER2+. Une importance particulière a été portée sur la valeur prédictive des informations radiomiques extraites de ces 2 techniques d’imagerie pour prédire le pronostic dans un groupe de patientes traitées par chimiothérapie néo-adjuvante. L’influence de variations physiologiques telles que l’âge sur le calcul des données radiomiques dans le tissu mammaire normal et cancéreux séparément a également été explorée, de même que la variabilité multicentrique des index radiomiques. L’extraction de ces données radiomiques a été effectuée grace au logiciel LiFex développé au sein du laboratoire IMIV sur une base de données-patientes recueillie en rétrospective.Nous avons rapporté pour la première fois l’influence de l’âge sur le calcul des indices « radiomiques » en TEP dans le tissu mammaire sain dans 2 institutions différentes mais aussi dans les tumeurs mammaires notamment celle triple-négatives. Des associations significatives entre le « phénotype tumoral radiomique » en imagerie TEP et IRM et des données pronostiques reconnues dans le cancer du sein ont été mises en évidence. En outre, nous avons démontré l’existence d’une grande variabilité pour le « profil radiomique » en TEP parmi les tumeurs présentant le même sous-type moléculaire. Cela suggére l’existence d’informations non-redondantes au sein du « phénotype tumoral métabolique » de chaque tumeur mammaire défini par les données radiomiques. L’exploration de cette variabilité s’est révélée intéressante pour améliorer la prédiction de la réponse histologique chez les patientes avec des tumeurs triple-négatives traitées par chimiothérapie néo-adjuvante. Par ailleurs, les mesures effectuées dans la région mammaire péri-tumorale chez les patientes traitées par chimiothérapie néo-adjuvante se sont montrées prédictives pour les patientes avec des tumeurs Lum B HER2-. En IRM nous avons montré l’importance de standardiser la méthode de mesure des caractéristiques radiomiques. Nous avons observé que les caractéristiques radiomiques issues des images DCE-MRI étaient moins associées aux caractéristiques moléculaires des tumeurs et avaient une valeur prédictive moindre. Nous avons également proposé une nouvelle méthode relativement standardisée pour le calcul des données radiomiques en IRM mammaire avec des résultats intéressants mais cette méthode doit encore être optimisée. Cependant, nos résultats suggèrent que les données extraites de la totalité du volume tumorale en IRM compléteraient efficacement les caractéristiques radiomiques TEP et le sous-type moléculaire pour prédire la réponse à la chimiothérapie néo-adjuvante. / Breast cancer is a common disease for which ¹⁸F-FDG PET/CT and breast MRI are frequently performed in routine practice. However, the different information provided by each of these imaging techniques are currently under-exploited. Indeed, in routine the interpretation of these scans is mainly based on visual analysis whereas the « quantitative » analysis of PET/CT data is generally limited to the sole use of the SUVmax while in breast MRI, simple parameters to characterize tumor enhancement after injection of contrast medium are used. The advent of PET/MRI machines, calls for an evaluation of the contribution of a more advanced quantification of each of the modalities separately and in combination in the setting of breast cancer. This is along with the concept of « Radiomics » a field currently expanding and which consists in extracting many quantitative characteristics from medical images used in clinical practice to decipher tumor heterogeneity or improve prediction of prognosis. The aim of our work was to study the contribution of radiomic data extracted from ¹⁸F-FDG PET and MRI imaging with contrast injection to characterize tumor heterogeneity in breast cancer taking into account the different molecular subtypes of breast cancer, namely luminal (Lum A, Lum B HER2- and Lum B HER2 +), triple-negative and HER2 + tumors. In this context, we focused on the prediction of prognosis in patients treated with neo-adjuvant chemotherapy. The influence of physiological variations such as age on the calculation of radiomic data in normal breast and breast tumors separately was also explored, as well as the multi-center variability of radioman features. Radiomic features were extracted using the LiFex software developed within IMIV laboratory. The patient database used for the studies were all retrospective data. We reported for the first time the influence of age on the values of radiomic features in healthy breast tissue in patients recruited from 2 different institutions but also in breast tumors especially those with a triple-negative subtype. Similarly, significant associations between the radiomic tumor phenotype in PET and MRI imaging and well-established prognostic factors in breast cancer have been identified. In addition, we showed a large variability in the PET « radiomic profile » of breast tumors with similar breast cancer subtype suggesting complementary information within their metabolic phenotype defined by radiomic features. Moreover, taking into account this variability has been shown to be of particular interest in improving the prediction of pathological response in patients with triple-negative tumors treated with neoadjuvant chemotherapy. A peri-tumoral breast tissue region satellite to the breast tumor was also investigated and appeared to bear some prognostic information in patients with Lum B HER2- tumors treated with neoadjuvant chemotherapy. In MR, we demonstrated the need to harmonize the methods for radiomic feature calculation. Overall, we observed that radiomic features derived from MR were less informative about the molecular features of the tumors than radiomic features extracted from PET data and were of lower prognostic value. Yet, the combination of the enhanced tumor volume in MR with a PET radiomic feature and the tumor molecular subtype yielded enhanced the accuracy with which response to neoadjuvant therapy could be predicted compared to features from one modality only or molecular subtype only.

Les carottes, extraites lors des forages de puits de pétrole, font partie des éléments les plus importants dans la chaîne de caractérisation de réservoir. L’acquisition de celles-ci à travers un scanner médical permet d’étudier de façon plus fine les variations des types de dépôts. Le but de cette thèse est d’établir les liens entre les imageries scanners 3D de carottes, et les différentes propriétés pétrophysiques et géologiques. Pour cela la phase de modélisation des images, et plus particulièrement des textures, est très importante et doit fournir des descripteurs extraits qui présentent un assez haut degrés de confiance. Une des solutions envisagée pour la recherche de descripteurs a été l’étude des méthodes paramétriques permettant de valider l’analyse faite sur les textures par un processus de synthèse. Bien que ceci ne représente pas une preuve pour un lien bijectif entre textures et paramètres, cela garantit cependant au moins une confiance en ces éléments. Dans cette thèse nous présentons des méthodes et algorithmes développés pour atteindre les objectifs suivants : 1. Mettre en évidence les zones d’homogénéités sur les zones carottées. Cela se fait de façon automatique à travers de la classification et de l’apprentissage basés sur les paramètres texturaux extraits. 2. Établir les liens existants entre images scanners et les propriétés pétrophysiques de la roche. Ceci se fait par prédiction de propriétés pétrophysiques basées sur l’apprentissage des textures et des calibrations grâce aux données réelles. . / Cores extracted, during wells drilling, are essential data for reservoirs characterization. A medical scanner is used for their acquisition. This feature provide high resolution images improving the capacity of interpretation. The main goal of the thesis is to establish links between these images and petrophysical data. Then parametric texture modelling can be used to achieve this goal and should provide reliable set of descriptors. A possible solution is to focus on parametric methods allowing synthesis. Even though, this method is not a proven mathematically, it provides high confidence on set of descriptors and allows interpretation into synthetic textures. In this thesis methods and algorithms were developed to achieve the following goals : 1. Segment main representative texture zones on cores. This is achieved automatically through learning and classifying textures based on parametric model. 2. Find links between scanner images and petrophysical parameters. This is achieved though calibrating and predicting petrophysical data with images (Supervised Learning Process).

Les travaux de cette Thèse porte sur des éléments de guidage d'une thérapie focale du cancer de la prostate par Ultrasons Focalisés Haute Intensité (HIFU). Actuellement l'IRM est la seule technique d'imagerie qui permet de localiser la tumeur dans la prostate. Par contre, la tumeur n'est pas visible dans l'échographie qui est l'imagerie utilisée pour la planification et le guidage de la thérapie. L'objectif de la Thèse est de proposer des techniques de recalage de l'IRM T2 vers l'échographie. Deux approches ont été explorées : 1) Une approche basée région et plus particulièrement une méthode de descripteurs de la texture en échographie basée sur des moments invariants en rotation et en échelle. Ces descripteurs sont sensibles à la distribution du speckle quelle que soit son échelle ou son orientation. Certains de ces descripteurs permettent de caractériser les régions présentant une même distribution de speckle, mais nous avons également constaté que certains autres de ces descripteurs étaient sensibles aux contours de ces régions. Cette caractéristique nous semble très utile pour les méthodes de segmentation intégrant à la fois l'information de contours et l'information de régions (contours actifs, graph cut, etc.). 2) Une approche basée surface. Nous avons adapté une méthode de Définition Optimale de la Surface (OSD) à la segmentation de la prostate en IRM T2. Et plus particulièrement une segmentation concurrente de la prostate, de la vessie et du rectum par OSD multi-objets. Les surfaces de la prostate extraites du volume échographique et du volume IRM T2 nous ont permis d'envisager une première tentative de recalage surface/surface par la méthode des démons. / The work of this Thesis is focused on image guided focal therapy of prostate cancer by High Intensity Focused Ultrasound (HIFU). Currently MRI is the only imaging technique that can locate the tumor in prostate. In contrast, the tumor is not visible in the ultrasound image which is used to guide the HIFU planning and therapy. The aim of the Thesis is to provide registration techniques of T2 MRI to ultrasound. Two approaches were explored: 1) Region-based registration. More particularly, we studied an ultrasound texture descriptors based on moments invariant to rotation and scaling. These descriptors are sensitive to speckle distribution regardless of the scale or the orientation. As we expected, some of these descriptors can be used to characterize regions sharing a similar speckle spatial distribution. But, we also found that some other descriptors were sensitive to the contours of these regions. This property seems very useful to adapt the classical boundary-based or mixed region/boundary-based segmentation methods (active contours, graph cut, etc.) to process US images. 2) Surface-based registration approach.. We adapted the Optimal Definition Surface (OSD) method to the segmentation of the prostate in T2 MRI, Furthermore, we proposed the multiple-objects OSD which is a concurrent segmentation of the prostate, bladder and rectum. Finally we used the prostate surface extracted from the ultrasound volume and from T2 MRI in a surface-to-surface elastic registration scheme. This registration allowed us to merge the preoperative MR information in the peroperative US volume.

Ces technologies ont poussé les chercheurs à imaginer la possibilité d'automatiser et émuler les capacités de perception visuels des animaux et de l'homme lui-même. Depuis quelques décennies le domaine de la vision par ordinateur a essayé plusieurs approches et une vaste gamma d'applications a été développée avec un succès partielle: la recherche des images basé sur leur contenu, la exploration de donnés à partir des séquences vidéo, la ré-identification des objets par des robots, etc. Quelques applications sont déjà sur le marché et jouissent déjà d'un certain succès commercial.La reconnaissance visuelle c'est un problème étroitement lié à l'apprentissage de catégories visuelles à partir d'un ensemble limité d'instances. Typiquement deux approches sont utilisées pour résoudre ce problème: l'apprentissage des catégories génériques et la ré-identification d'instances d'un objet un particulière. Dans le dernier cas il s'agit de reconnaître un objet ou personne en particulière. D'autre part, la reconnaissance générique s'agit de retrouver tous les instances d'objets qui appartiennent à la même catégorie conceptuel: tous les voitures, les piétons, oiseaux, etc.Cette thèse propose un système de vision par ordinateur capable de détecter et suivre plusieurs objets dans les séquences vidéo. L'algorithme pour la recherche de correspondances proposé se base sur les matrices de covariance obtenues à partir d'un ensemble de propriétés des images (couleur et texture principalement). Son principal avantage c'est qu'il utilise un descripteur qui permet l'introduction des sources d'information très hétérogènes pour représenter les cibles. Cette représentation est efficace pour le suivi d'objets et son ré-identification.Quatre contributions sont introduites dans cette thèse.Tout d'abord cette thèse s'intéresse à l'invariance des algorithmes de suivi face aux changements du contexte. Nous proposons ici une méthodologie pour mesurer l’importance de l'information couleur en fonction de ses niveaux d’illumination et saturation. Puis, une deuxième partie se consacre à l'étude de différentes méthodes de suivi, ses avantages et limitations en fonction du type d'objet à suivre (rigide ou non rigide par exemple) et du contexte (caméra statique ou mobile). Le méthode que nous proposons s'adapte automatiquement et utilise un mécanisme de commutation entre différents méthodes de suivi qui considère ses qualités complémentaires. Notre algorithme se base sur un modèle de covariance qui fusionne les informations couleur-texture et le flot optique (KLT) modifié pour le rendre plus robuste et adaptable face aux changements d’illumination. Une deuxième approche se appuie sur l'analyse des différents espaces et invariants couleur à fin d'obtenir un descripteur qui garde un bon équilibre entre pouvoir discriminant et robustesse face aux changements d'illumination.Une troisième contribution porte sur le problème de suivi multi-cibles ou plusieurs difficultés apparaissent : la confusion d'identités, les occultations, la fusion et division des trajectoires-détections, etc.La dernière partie se consacre à la vitesse des algorithmes à fin de fournir une solution rapide et utilisable dans les applications embarquées. Cette thèse propose une série d'optimisations pour accélérer la mise en correspondance à l'aide de matrices de covariance. Transformations de mise en page de données, la vectorisation des calculs (à l'aide d'instructions SIMD) et certaines transformations de boucle permettent l'exécution en temps réel de l'algorithme non seulement sur les grands processeurs classiques de Intel, mais aussi sur les plateformes embarquées (ARM Cortex A9 et Intel U9300). / Visual recognition is the problem of learning visual categories from a limited set of samples and identifying new instances of those categories, the problem is often separated into two types: the specific case and the generic category case. In the specific case the objective is to identify instances of a particular object, place or person. Whereas in the generic category case we seek to recognize different instances that belong to the same conceptual class: cars, pedestrians, road signs and mugs. Specific object recognition works by matching and geometric verification. In contrast, generic object categorization often includes a statistical model of their appearance and/or shape.This thesis proposes a computer vision system for detecting and tracking multiple targets in videos. A preliminary work of this thesis consists on the adaptation of color according to lighting variations and relevance of the color. Then, literature shows a wide variety of tracking methods, which have both advantages and limitations, depending on the object to track and the context. Here, a deterministic method is developed to automatically adapt the tracking method to the context through the cooperation of two complementary techniques. A first proposition combines covariance matching for modeling characteristics texture-color information with optical flow (KLT) of a set of points uniformly distributed on the object . A second technique associates covariance and Mean-Shift. In both cases, the cooperation allows a good robustness of the tracking whatever the nature of the target, while reducing the global execution times .The second contribution is the definition of descriptors both discriminative and compact to be included in the target representation. To improve the ability of visual recognition of descriptors two approaches are proposed. The first is an adaptation operators (LBP to Local Binary Patterns ) for inclusion in the covariance matrices . This method is called ELBCM for Enhanced Local Binary Covariance Matrices . The second approach is based on the analysis of different spaces and color invariants to obtain a descriptor which is discriminating and robust to illumination changes.The third contribution addresses the problem of multi-target tracking, the difficulties of which are the matching ambiguities, the occlusions, the merging and division of trajectories.Finally to speed algorithms and provide a usable quick solution in embedded applications this thesis proposes a series of optimizations to accelerate the matching using covariance matrices. Data layout transformations, vectorizing the calculations (using SIMD instructions) and some loop transformations had made possible the real-time execution of the algorithm not only on Intel classic but also on embedded platforms (ARM Cortex A9 and Intel U9300).