Au cours des dernières années, nous avons constaté une augmentation du volume d’information sous la forme de flux de données. Cette augmentation rend le traitement de ces flux par des méthodes traditionnelles non performant, voire impossible. De plus, la mise à jour rapide des informations suscite un intérêt grandissant pour leurs traitements en temps réel afin d’en tirer une plus grande valeur. Ces données massives étant souvent géoréférencées, il devient donc pertinent d’offrir des méthodes permettant d’effectuer des traitements spatiaux sur ces flux massifs de données. Cependant, le sujet des traitements spatiaux dans un contexte de flux massifs a très peu été abordé dans la recherche scientifique. Les études qui ont été faites traitaient toujours de flux massif de données en relation avec des données persistantes. Aucune recherche ne portait sur des traitements spatiaux ayant plusieurs flux massifs de données spatiales. La problématique est de déterminer des méthodes de traitements pour des opérateurs spatiaux dont les paramètres sont issus de flux massifs de données spatiales. Notre objectif général consiste à explorer les caractéristiques permettant l’élaboration de tels traitements et d’offrir des pistes de solution. Nos travaux de recherche ont fait ressortir les facteurs influençant l’adaptation des traitements spatiaux dans un contexte de traitement en parallèle de flux massif de données. Nous avons déterminé que les méthodes d’adaptation peuvent se décliner en classes sur la base des caractéristiques de l’opérateur spatial, mais aussi sur la nature des données et la façon dont elles sont rendues disponibles. Nous avons proposé des méthodes générales de traitement pour chacune des classes identifiées afin de guider les stratégies d’adaptations. Pour la classe dont le traitement d’opérateur binaire possède des opérandes issus de flux massifs, nous avons détaillé une méthode d’adaptation permettant l’utilisation d’opérateurs spatiaux. Afin de tester l’efficacité et la validité de la méthode proposée, nous avons appliqué cette méthode à un opérateur relationnel d’intersection et un opérateur d’analyse de proximité, soit les "k" plus proches voisins. Ces tests ont permis de vérifier la validité et de quantifier l’efficacité des méthodes proposée par rapport à l’évolution, ou scalabilité, horizontale du système (ajout du nombre de cœurs). Nos tests ont aussi permis de quantifier l’effet de la variation du niveau de partitionnement sur les performances du débit de traitement. Notre contribution permettra, nous l’espérons, de servir de point de départ pour l’adaptation d’opérateurs spatiaux plus complexes. / In recent years we have witnessed a significant volume increase of data streams. The traditional way of processing this information is rendered inefficient or even impossible by this high volume of data. There is an increase in the interest of real time data processing in order to derive greater value of the data. Since those data are often georeferenced, it becomes relevant to offer methods that enable spatial processing on big data streams. However, the subject of spatial processing in a context of Big Data stream has seldom been discussed in scientific research. All the studies that have been done so far involve persistent data and none of them deals with the case where two Big Data streams are in relation. The problem is therefore to determine how to adapt the processing of spatial operators when their parameters derive from two Big Spatial Data stream. Our general objective is to explore the characteristics that allow the development of such analysis and to offer potential solutions. Our research has highlighted the factors influencing the adaptation of spatial processing in a context of Big Data stream. We have determined that adaptation methods can be categorized in different categories according to the characteristics of the spatial operator but also on the characteristics of the data itself and how it is made available. We proposed general methods of spatial processing for each category in order to guide adaptation strategies. For one of these categories, where a binary operator has both operands coming from Big Data stream, we have detailed a method allowing the use of spatial operators. In order to test the effectiveness and validity of the proposed method, we applied this method to an intersection operator and to a proximity analysis operator, the "k" nearest neighbors. These tests made it possible to check the validity and to quantify the effectiveness of the proposed methods in relation to the system evolution or scalability, i.e. increasing the number of processing cores. Our tests also made it possible to quantify the effect of the variation of the partitioning level on the performances of the treatment flow. Our contribution will, hopefully, serves as a starting point for more complex spatial operator adaptation.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/30956 |
| Date | 31 August 2018 |
| Creators | Hotte, Sylvain |
| Contributors | Badard, Thierry |
| Source Sets | Université Laval |
| Language | French |
| Detected Language | French |
| Type | mémoire de maîtrise, COAR1_1::Texte::Thèse::Mémoire de maîtrise |
| Format | 1 ressource en ligne (xi, 95 pages), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.0022 seconds