The purpose of this master thesis was to investigate if using both X-ray images and patient's register data could increase the performance of a neural network in discrimination of two types of fractures in the thigh bone, called atypical femoral fractures (AFF) and normal femoral fractures (NFF). We also examined and evaluated how the fusion of the two data types could be done and how different types of fusion affect the performance. Finally, we evaluated how the number of variables in the register data affect a network's performance. Our image dataset consisted of 1,442 unique images from 580 patients (16.85% of the images were labelled AFF corresponding to 15.86% of the patients). Since the dataset is very imbalanced, sensitivity is a prioritized evaluation metric. The register data network was evaluated using five different versions of register data parameters: two (age and sex), seven (binary and non-binary) and 44 (binary and non-binary). Having only age and sex as input resulted in a classifier predicting all samples to class 0 (NFF), for all tested network architectures. Using a certain network structure (celled register data model 2), in combination with the seven non-binary parameters outperforms using both two and 44 (both binary and non-binary) parameters regarding mean AUC and sensitivity. Highest mean accuracy is obtained by using 44 non-binary parameters. The seven register data parameters have a known connection to AFF and includes age and sex. The network with X-ray images as input uses a transfer learning approach with a pre-trained ResNet50-base. This model performed better than all the register data models, regarding all considered evaluation metrics.        Three fusion architectures were implemented and evaluated: probability fusion (PF), feature fusion (FF) and learned feature fusion (LFF). PF concatenates the prediction provided from the two separate baseline models. The combined vector is fed into a shallow neural network, which are the only trainable part in this architecture. FF fuses a feature vector provided from the image baseline model, with the raw register data parameters. Prior to the concatenation both vectors were normalized and the fused vector is then fed into a shallow trainable network. The final architecture, LFF, does not have completely frozen baseline models but instead learns two separate feature vectors. These feature vectors are then concatenated and fed into a shallow neural network to obtain a final prediction. The three fusion architectures were evaluated twice: using seven non-binary register data parameters, or only age and sex. When evaluated patient-wise, all three fusion architectures using the seven non-binary parameters obtain higher mean AUC and sensitivity than the single modality baseline models. All fusion architectures with only age and sex as register data parameters results in higher mean sensitivity than the baseline models. Overall, probability fusion with the seven non-binary parameters results in the highest mean AUC and sensitivity, and learned feature fusion with the seven non-binary parameters results in the highest mean accuracy.

La société contemporaine fait face à un niveau de menace sans précédent depuis la seconde guerre mondiale. La lutte contre le trafic illicite mobilise aussi l’ensemble desorganes de police, visant à endiguer le financement du crime organisé. Dans cet effort, les autorités s’engagent à employer des moyens de plus en plus modernes, afin notamment d’automatiser les processus d’inspection. L’objectif de cette étude est de développer des outils de vision par ordinateur afin d’assister les officiers de douanes dans la détection d’armes et de narcotiques. Letravail présenté examine l’emploi de techniques avancées de classification et de recalage d’images pour l’identification d’irrégularités dans des acquisitions radiographiques de fret. Plutôt que de recourir à la reconnaissance par apprentissage, nos méthodes revêtent un intérêt particulier lorsque les objets ciblés présentent des caractéristiques visuelles variées. De plus, elles augmentent notablement la détectabilité d’éléments cachés dans des zones denses, là où même les algorithmes de reconnaissance n’identifieraient pas d’anomalie. Nos travaux détaillent l’état de l’art des méthodes de classification et de recalage, explorant aussi diverses pistes de résolution. Les algorithmes sont testés sur d’importantes bases de données pour apprécier visuellement et numériquement leurs performances / Our societies, faced with an unprecedented level of security threat since WWII, must provide fast and adaptable solutions to cope with a new kind of menace. Illicit trade also, oftencorrelated with criminal actions, is viewed as a defining stake by governments and agencies. Enforcement authorities are thus very demandingin terms of technological features, asthey explicitly aim at automating inspection processes. The main objective of our research is to develop assisting tools to detect weapons and narcotics for lawenforcement officers. In the present work, we intend to employ and customize both advanced classification and image registration techniques for irregularity detection in X-ray cargo screening scans. Rather than employing machine-learning recognition techniques, our methods prove to be very efficient while targeting a very diverse type of threats from which no specific features can be extracted. Moreover, the proposed techniques significantly enhance the detection capabilities for law-enforcement officers, particularly in dense regions where both humans or trained learning models would probably fail. Our work reviews state-of-the art methods in terms of classification and image registration. Various numerical solutions are also explored. The proposed algorithms are tested on a very large number ofimages, showing their necessity and performances both visually and numerically.

Dans cette thèse, nous présentons une méthode de segmentation d’images radiographiques des membres inférieurs en régions d’intérêt (ROIs), une méthode de recalage rigide tridimensionnel (3D) / bidimensionnel (2D) des prothèses du genou sur les deux images biplanaires radiographiques calibrées et une méthode de reconstruction 3D des membres inférieurs à partir de deux images biplanaires radiographiques calibrées. Le premier article présente une méthode de segmentation de rotule, astragale et bassin des images radiographiques en régions d’intérêt basée sur la fusion de multi-atlas et superpixels. Cette méthode utilise l’apprentissage d’une base de données d’images radiographiques de ces os segmentées manuellement et recalées entre elles pour estimer un ensemble de superpixels permettant de tenir compte de toute la variabilité locale et non linéaire existante dans la base, puis la propagation d’étiquettes basée sur le concept d’entropie pour raffiner la carte de segmentations en régions internes afin d’obtenir le résultat final. Le deuxième article présente une méthode de recalage rigide 3D / 2D des composants tibiaux et fémoraux de prothèse du genou sur deux images biplanaires radiographiques calibrées. Cette méthode utilise une mesure de similarité hybride basée sur les notions de contours et régions puis un algorithme d’optimisation stochastique pour estimer la position des composants. La similarité basée sur les régions est stable et robuste contre les bruits. Cependant, cette mesure n’est pas précise car le nombre de pixels aux contours est inférieur au celui à l’intérieur de la région. Au contraire, la similarité basée sur les contours est précise mais plus sensible au bruit ou à d’autres artefacts existant dans les images. C’est pourquoi la combinaison de ces deux similarités fournit une méthode de recalage robuste et précise. Le troisième article représente une méthode statistique biplanaire de reconstruction 3D de rotule, astragale et bassin. Cette méthode utilise un algorithme de réduction de dimensionnalité pour définir un modèle déformable paramétrique qui contient toutes les déformations statistiques admissibles apprises à partir d’une base de données des structures osseuses. Puis un algorithme d’optimisation stochastique est utilisé pour minimiser la différence entre la projection des contours / régions des modèles surfaciques osseux avec ceux segmentés sur les deux images radiographiques. / In this thesis, we present a segmentation method of lower limbs of X-ray images into regions of interest (ROIs), a three-dimensional (3D) / two-dimensional (2D) rigid registration method of knee implant components to biplanar X-ray images, and a 3D reconstruction method of the lower limbs using biplanar X-ray images. The first paper presents a superpixel and multi-atlas-based segmentation method of the patella, talus, and pelvis into regions of interest. This method uses a training dataset of pre-segmented and co-registered X-ray images of these bones to estimate a collection of superpixels allowing to take into account all the nonlinear and local variability existing in the dataset, then a propagation of label based on the entropy concept for refining the segmentation map into internal regions to the final result. The second paper presents a 3D / 2D rigid registration method of tibial and femoral components of knee implants to calibrated biplanar X-ray images. This method uses a hybrid edge- and region-based similarity measure then a stochastic optimization algorithm to estimate the component position. The region-based similarity is stable and robust to noise. However, this measure is not precise because the number of pixels in the border is fewer than the number of pixels inside the region. On the contrary, the edge-based similarity is accurate but more sensitive to noise or other artifacts existing in the images. That’s why the combination of these two similarity types provides a robust and accurate registration method. The third paper presents a statistical biplanar 3D reconstruction method of the patella, talus, and pelvis. This method uses a dimensionality reduction algorithm to define a deformable parametric model which contains all admissible statistical deformations learned from the bone structure dataset. Then a stochastic optimization algorithm is used to minimize the difference between the contour / region projection of bone models and the contours / regions in two segmented X-ray images.