The goal of this master's thesis is to acquaint with a problem of a knowledge discovery and objectrelational data classification. It summarizes problems which are connected with mining spatiotemporal data. There is described data mining kernel algorithm SVM. The second part solves classification method implementation. This method solves data mining in a Caretaker trajectory database. This thesis contains application's implementation for spatio-temporal data preprocessing, their organization in database and presentation too.

This work treats the representation of moving objects and operations over these objects. Intro­duces the support for spatio-temporal data in Oracle Database 10g and presents two designs of moving objects database structure. Upon these designs a database was implemented using the user-defined data types. Sample application provides a graphical output of stored spatial data and allows us to call an implemented spatio-temporal operations. Finally, an evaluation of achieved results is done and possible extensions of project are discussed.

Data is one of the most contributing factors for modern business operations. Having bad data could therefore lead to tremendous losses, both financially and for customer experience. This thesis seeks to find anomalies in real-world, complex, structured data, causing an international enterprise to miss out on income and the potential loss of customers. By using graph theory and similarity analysis, the findings suggest that certain countries contribute to the discrepancies more than other countries. This is believed to be an effect of countries customizing their products to match the market’s needs. This thesis is just scratching the surface of the analysis of the data, and the number of opportunities for future work are therefore many.

Parc marin du Saguenay - Saint-Laurent, Groupe de recherche et d'éducation sur les mammifères marins, GREMM, excursions aux baleines, bélugas, Tadoussac, règlementation, ArcCatalog, ArcMap. / L'important volume des excursions de bateaux touristiques liées aux activités d'observation en mer des mammifères marins (AOM) dans le Parc marin Saguenay-Saint-Laurent (PMSSL) pourrait avoir un impact négatif sur la santé des baleines qui fréquentent cette région de l’estuaire du fleuve Saint-Laurent. Cette situation a poussé les gestionnaires du Parc à désirer un outil d'information et de gestion pour mieux suivre l’évolution des AOM. Le présent mémoire décrit la conception de cet outil en proposant un modèle de l'excursion et des activités d'observation qui sert à l’élaboration d’une base de données. En s’appuyant sur le concept de la trajectoire spatiotemporelle, utilisée pour l'étude du comportement de déplacement basé sur l'activité, et sur le concept de l'objet mobile, développé en géomatique, notre modèle de données permet de reproduire graphiquement les trajectoires des excursions et l'enchaînement des activités qui ont lieu au cours de celles-ci. Le modèle est orienté objet et implanté dans une Geodatabase, une base de données relationnelle exploitable par le système d'information géographique (SIG) ArcGIS. Les objets de la base de données sont créés à partir des données de trois années de suivi des AOM réalisés par le Groupe de recherche et d'éducation sur les mammifères marins (GREMM). Nous montrons que le SIG peut exploiter la base de données de façon à répondre correctement aux besoins en information exprimés par les gestionnaires et que la représentation informatique des excursions sous la forme de trajectoires spatiotemporelles ouvre de nouvelles avenues de recherche sur les patrons d’activités et le comportement de déplacement des bateaux. / The considerable volume of commercial boat trips associated with whale-watching activities (WWAs) in the Saguenay-Saint-Laurent National Marine Park (PMSSL) may have negative impacts on the health of the whales visiting the Saint-Lawrence River estuary. This situation has led park officials to seek an appropriate information management system in order to better monitor WWAs. This paper contributes to the design of such a tool by modeling excursion patterns of WWAs, resulting in a database. Based on the space-time path concept used for the study of activity-based travel behavior as well as the mobile-object geomatical concept, our data-model enables us to plot the trajectories of the excursions and the sequence of activities taking place during those excursions. The model is object-oriented and built into a Geodatabase (an ArcGis-processable relational database). The objects in the database are based on data collected by the Marine Mammal Research and Education Group (GREMM) during a three-year WWA monitoring program. Finally, this report demonstrates that geographic information systems can be effectively used to process the database in a way that serves the needs of park officials, and that the representation of excursion data in a GIS opens up new avenues for research on the space-time pattern of observation activities and the travel behavior of boats.

En apprentissage automatique, domaine qui consiste à utiliser des données pour apprendre une solution aux problèmes que nous voulons confier à la machine, le modèle des Réseaux de Neurones Artificiels (ANN) est un outil précieux. Il a été inventé voilà maintenant près de soixante ans, et pourtant, il est encore de nos jours le sujet d'une recherche active. Récemment, avec l'apprentissage profond, il a en effet permis d'améliorer l'état de l'art dans de nombreux champs d'applications comme la vision par ordinateur, le traitement de la parole et le traitement des langues naturelles. La quantité toujours grandissante de données disponibles et les améliorations du matériel informatique ont permis de faciliter l'apprentissage de modèles à haute capacité comme les ANNs profonds. Cependant, des difficultés inhérentes à l'entraînement de tels modèles, comme les minima locaux, ont encore un impact important. L'apprentissage profond vise donc à trouver des solutions, en régularisant ou en facilitant l'optimisation. Le pré-entraînnement non-supervisé, ou la technique du ``Dropout'', en sont des exemples. Les deux premiers travaux présentés dans cette thèse suivent cette ligne de recherche. Le premier étudie les problèmes de gradients diminuants/explosants dans les architectures profondes. Il montre que des choix simples, comme la fonction d'activation ou l'initialisation des poids du réseaux, ont une grande influence. Nous proposons l'initialisation normalisée pour faciliter l'apprentissage. Le second se focalise sur le choix de la fonction d'activation et présente le rectifieur, ou unité rectificatrice linéaire. Cette étude a été la première à mettre l'accent sur les fonctions d'activations linéaires par morceaux pour les réseaux de neurones profonds en apprentissage supervisé. Aujourd'hui, ce type de fonction d'activation est une composante essentielle des réseaux de neurones profonds. Les deux derniers travaux présentés se concentrent sur les applications des ANNs en traitement des langues naturelles. Le premier aborde le sujet de l'adaptation de domaine pour l'analyse de sentiment, en utilisant des Auto-Encodeurs Débruitants. Celui-ci est encore l'état de l'art de nos jours. Le second traite de l'apprentissage de données multi-relationnelles avec un modèle à base d'énergie, pouvant être utilisé pour la tâche de désambiguation de sens. / Machine learning aims to leverage data in order for computers to solve problems of interest. Despite being invented close to sixty years ago, Artificial Neural Networks (ANN) remain an area of active research and a powerful tool. Their resurgence in the context of deep learning has led to dramatic improvements in various domains from computer vision and speech processing to natural language processing. The quantity of available data and the computing power are always increasing, which is desirable to train high capacity models such as deep ANNs. However, some intrinsic learning difficulties, such as local minima, remain problematic. Deep learning aims to find solutions to these problems, either by adding some regularisation or improving optimisation. Unsupervised pre-training or Dropout are examples of such solutions. The two first articles presented in this thesis follow this line of research. The first analyzes the problem of vanishing/exploding gradients in deep architectures. It shows that simple choices, like the activation function or the weights initialization, can have an important impact. We propose the normalized initialization scheme to improve learning. The second focuses on the activation function, where we propose the rectified linear unit. This work was the first to emphasise the use of linear by parts activation functions for deep supervised neural networks, which is now an essential component of such models. The last two papers show some applications of ANNs to Natural Language Processing. The first focuses on the specific subject of domain adaptation in the context of sentiment analysis, using Stacked Denoising Auto-encoders. It remains state of the art to this day. The second tackles learning with multi-relational data using an energy based model which can also be applied to the task of word-sense disambiguation.

L'important volume des excursions de bateaux touristiques liées aux activités d'observation en mer des mammifères marins (AOM) dans le Parc marin Saguenay-Saint-Laurent (PMSSL) pourrait avoir un impact négatif sur la santé des baleines qui fréquentent cette région de l’estuaire du fleuve Saint-Laurent. Cette situation a poussé les gestionnaires du Parc à désirer un outil d'information et de gestion pour mieux suivre l’évolution des AOM. Le présent mémoire décrit la conception de cet outil en proposant un modèle de l'excursion et des activités d'observation qui sert à l’élaboration d’une base de données. En s’appuyant sur le concept de la trajectoire spatiotemporelle, utilisée pour l'étude du comportement de déplacement basé sur l'activité, et sur le concept de l'objet mobile, développé en géomatique, notre modèle de données permet de reproduire graphiquement les trajectoires des excursions et l'enchaînement des activités qui ont lieu au cours de celles-ci. Le modèle est orienté objet et implanté dans une Geodatabase, une base de données relationnelle exploitable par le système d'information géographique (SIG) ArcGIS. Les objets de la base de données sont créés à partir des données de trois années de suivi des AOM réalisés par le Groupe de recherche et d'éducation sur les mammifères marins (GREMM). Nous montrons que le SIG peut exploiter la base de données de façon à répondre correctement aux besoins en information exprimés par les gestionnaires et que la représentation informatique des excursions sous la forme de trajectoires spatiotemporelles ouvre de nouvelles avenues de recherche sur les patrons d’activités et le comportement de déplacement des bateaux. / The considerable volume of commercial boat trips associated with whale-watching activities (WWAs) in the Saguenay-Saint-Laurent National Marine Park (PMSSL) may have negative impacts on the health of the whales visiting the Saint-Lawrence River estuary. This situation has led park officials to seek an appropriate information management system in order to better monitor WWAs. This paper contributes to the design of such a tool by modeling excursion patterns of WWAs, resulting in a database. Based on the space-time path concept used for the study of activity-based travel behavior as well as the mobile-object geomatical concept, our data-model enables us to plot the trajectories of the excursions and the sequence of activities taking place during those excursions. The model is object-oriented and built into a Geodatabase (an ArcGis-processable relational database). The objects in the database are based on data collected by the Marine Mammal Research and Education Group (GREMM) during a three-year WWA monitoring program. Finally, this report demonstrates that geographic information systems can be effectively used to process the database in a way that serves the needs of park officials, and that the representation of excursion data in a GIS opens up new avenues for research on the space-time pattern of observation activities and the travel behavior of boats. / Parc marin du Saguenay - Saint-Laurent, Groupe de recherche et d'éducation sur les mammifères marins, GREMM, excursions aux baleines, bélugas, Tadoussac, règlementation, ArcCatalog, ArcMap.

This thesis summarizes the information retrieval theory, the relational model basic and focuses on the data indexing in relational database systems. The thesis focuses on multimedia data searching. It includes description of automatic multimedia data content extraction and multimedia data indexing. Practical part discusses design and solution implementation for improving query effectivity for multidimensional vector similarity which describes multimedia data. Thesis final part discusses experiments with this solution.