Face au problème de la surcharge d'information, le filtrage collaboratif a pour principe d'exploiter les évaluations que des utilisateurs ont faites de certains documents, afin de recommander ces mêmes documents à d'autres utilisateurs proches de lui, et sans qu'il soit nécessaire d'analyser le contenu des documents. C'est ainsi qu'émerge la notion de communauté, définie comme un groupe de personnes qui partagent en général les mêmes centres d'intérêt. De notre point de vue, la problématique du filtrage collaboratif consiste à gérer de façon intelligente des communautés puisque, selon son principe de base, la qualité des recommandations dépend fondamentalement de la qualité des communautés formées par le système.<br />Le premier aspect de la gestion des communautés à étudier est la capacité des utilisateurs à percevoir des communautés. D'une part, la perception des communautés permet d'améliorer la confiance des utilisateurs dans les recommandations générées à partir de ces communautés, et par conséquent de les motiver à fournir des évaluations sur lesquelles appuyer la formation des communautés pour le filtrage collaboratif. D'autre part, cette capacité autorise les utilisateurs à explorer d'autres communautés potentiellement intéressantes.<br />Le second aspect à prendre en compte est les informations sur lesquelles appuyer la formation des communautés. On voit dans la réalité qu'une personne reçoit souvent toutes sortes de recommandations intéressantes de ses proches, de ses collègues de travail, etc. Nous émettons donc l'hypothèse que la multiplicité des critères pour former des communautés, incluant profession, centres d'intérêt, historique des évaluations, etc., peut être exploitée pour enrichir les recommandations générées pour un utilisateur.<br />Enfin, les communautés d'un utilisateur évoluent au cours du temps. En raison de la multiplicité des critères, la qualité du positionnement des utilisateurs au sein des communautés est conditionnée par la qualité des valeurs données pour chaque utilisateur à chaque critère. Certains critères demandent beaucoup d'efforts de la part des utilisateurs, et peuvent être coûteux également pour le système, d'où des difficultés à positionner les utilisateurs dans des communautés.<br />Ainsi, pour la gestion des communautés dans un système de filtrage collaboratif, nous proposons le modèle des espaces de communautés qui présente les caractéristiques suivantes : gestion des communautés explicites, formation multiple des communautés selon divers critères et stratégie de positionnement des utilisateurs au sein des communautés.<br />L'intégration de notre modèle des espaces de communautés dans un système de filtrage collaboratif permet donc d'améliorer l'exploitation des communautés formées à partir des critères disponibles dans les profils des utilisateurs. Nous présentons la plateforme du filtrage collaboratif COCoFil2 comme la mise en œuvre du modèle proposé ainsi que nos travaux de validation sur un jeu de données réelles.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

L'objectif de cette thèse est de développer des algorithmes d'apprentissage adaptés aux grandes masses de données. Dans un premier temps, nous considérons le problème de la classification avec un grand nombre de classes. Afin d'obtenir un algorithme adapté à la grande dimension, nous proposons un algorithme qui transforme le problème multi-classes en un problème de classification binaire que nous sous-échantillonnons de manière drastique. Afin de valider cette méthode, nous fournissons une analyse théorique et expérimentale détaillée.Dans la seconde partie, nous approchons le problème de l'apprentissage sur données distribuées en introduisant un cadre asynchrone pour le traitement des données. Nous appliquons ce cadre à deux applications phares : la factorisation de matrice pour les systèmes de recommandation en grande dimension et la classification binaire. / This thesis focuses on developing scalable algorithms for large scale machine learning. In this work, we present two perspectives to handle large data. First, we consider the problem of large-scale multiclass classification. We introduce the task of multiclass classification and the challenge of classifying with a large number of classes. To alleviate these challenges, we propose an algorithm which reduces the original multiclass problem to an equivalent binary one. Based on this reduction technique, we introduce a scalable method to tackle the multiclass classification problem for very large number of classes and perform detailed theoretical and empirical analyses.In the second part, we discuss the problem of distributed machine learning. In this domain, we introduce an asynchronous framework for performing distributed optimization. We present application of the proposed asynchronous framework on two popular domains: matrix factorization for large-scale recommender systems and large-scale binary classification. In the case of matrix factorization, we perform Stochastic Gradient Descent (SGD) in an asynchronous distributed manner. Whereas, in the case of large-scale binary classification we use a variant of SGD which uses variance reduction technique, SVRG as our optimization algorithm.

Nous sommes amenés chaque jour à prendre un nombre important de décisions : quel nouveau livre lire ? Quel film regarder ce soir ou où aller ce week-end ? De plus en plus, nous utilisons les ressources en ligne pour nous aider à prendre des décisions. Comme la prise de décision est assistée par le domaine en ligne, l'utilisation de systèmes de recommandation est devenue essentielle dans la vie quotidienne. Dans le même temps, les réseaux sociaux sont devenus une partie indispensable de ce processus ; partout dans le monde on les utilise quotidiennement pour récupérer des données de personne et de sources d'information en qui on a confiance. Quand les internautes passent du temps sur les réseaux sociaux, ils laissent de précieuses informations sur eux-mêmes. Cela a attiré l'attention des chercheurs et les professionnels de nombreux domaines académiques et commerciaux. Comme le domaine de la recommandation est un domaine qui a assisté à des changements de grande ampleur attribuable à des réseaux sociaux, il y a un intérêt évident pour les systèmes de recommandation sociale. Cependant, dans la littérature de ce domaine, nous avons constaté que de nombreux systèmes de recommandation sociale ont été évalués en utilisant des réseaux sociaux spécialisés comme Epinions, Flixter et d'autres types des réseaux sociaux de recommandation, qui tendent à être composées d'utilisateurs, d'articles, de notes et de relations. Ces solutions ne peuvent pas être étendues directement à des réseaux sociaux à usage général (GPSNs) comme Facebook et Twitter, qui sont des réseaux sociaux ouverts où les utilisateurs peuvent réaliser une variété d'actions utiles pour l'aide à la recommandation / We are surrounded by decisions to take, what book to read next? What film to watch this night and in the week-end? As the number of items became tremendous the use of recommendation systems became essential in daily life. At the same time social network become indispensable in people’s daily lives; people from different countries and age groups use them on a daily basis. While people are spending time on social networks, they are leaving valuable information about them attracting researchers’ attention. Recommendation is one domain that has been affected by the social networks widespread; the result is the social recommenders’ studies. However, in the literature we’ve found that most of the social recommenders were evaluated over Epinions, flixter and other type of domains based recommender social networks, which are composed of (users, items, ratings and relations). The proposed solutions can’t be extended directly to General Purpose Social Networks (GPSN) like Facebook and Twitter which are open social networks where users can do a variety of useful actions that can be useful for recommendation, but as they can’t rate items, these information are not possible to be used in recommender systems! Moreover, evaluations are based on the known metrics like MAE, and RMSE. This can’t guarantee the satisfaction of users, neither the good quality of recommendation

Face à la surabondance des ressources et de l'information sur le net, l'accès aux ressources pertinentes devient une tâche fastidieuse pour les usagers de la toile. Les systèmes de recommandation personnalisée comptent parmi les principales solutions qui assistent l'utilisateur en filtrant les ressources, pour ne lui proposer que celles susceptibles de l’intéresser. L’approche basée sur l’observation du comportement de l’utilisateur à partir de ses interactions avec le e-services est appelée analyse des usages. Le filtrage collaboratif et le filtrage basé sur le contenu sont les principales techniques de recommandations personnalisées. Le filtrage collaboratif exploite uniquement les données issues de l’analyse des usages alors que le filtrage basé sur le contenu utilise en plus les données décrivant le contenu des ressources. Un système de recommandation hybride combine les deux techniques de recommandation. L'objectif de cette thèse est de proposer une nouvelle technique d'hybridation en étudiant les bénéfices de l'exploitation combinée d'une part, des informations sémantiques des ressources à recommander, avec d'autre part, le filtrage collaboratif. Plusieurs approches ont été proposées pour l'apprentissage d'un nouveau profil utilisateur inférant ses préférences pour l’information sémantique décrivant les ressources. Pour chaque approche proposée, nous traitons le problème du manque de la densité des données et le problème du passage à l’échelle. Nous montrons également, de façon empirique, un gain au niveau de la précision des recommandations par rapport à des approches purement collaboratives ou purement basées sur le contenu / Face to the ongoing rapid expansion of the Internet, user requires help to access to items that may interest her or him. A personalized recommender system filters relevant items from huge catalogue to particular user by observing his or her behavior. The approach based on observing user behavior from his interactions with the website is called usage analysis. Collaborative Filtering and Content-Based filtering are the most widely used techniques in personalized recommender system. Collaborative filtering uses only data from usage analysis to build user profile, while content-based filtering relies in addition on semantic information of items. Hybrid approach is another important technique, which combines collaborative and content-based methods to provide recommendations. The aim of this thesis is to present a new hybridization approach that takes into account the semantic information of items to enhance collaborative recommendations. Several approaches have been proposed for learning a new user profile inferring preferences for semantic information describing items. For each proposed approach, we address the sparsity and the scalability problems. We prove also, empirically, an improvement in recommendations accuracy against collaborative filtering and content-based filtering

Le domaine de l'apprentissage automatique a pour but la création d'agents synthétiques améliorant leurs performances avec l'expérience. Pour pouvoir se perfectionner, ces agents extraient des régularités statistiques de données incertaines et mettent à jour leur modèle du monde. Les probabilités bayésiennes sont un outil rationnel pour répondre à la problématique de l'apprentissage. Cependant, comme ce problème est souvent difficile, des solutions proposant un compromis entre précision et rapidité doivent être mises en oeuvre. Ce travail présente la méthode d'apprentissage bayésien, ses fondations philosophiques et plusieurs applications innovantes. Nous nous intéressons d'abord à des questions d'apprentissage de paramètres. Dans ce cadre nous étudions deux problèmes d'analyse de données à variables cachées. Nous proposons d'abord une méthode bayésienne pour classer les joueurs d'échecs qui améliore sensiblement le système Elo. Le classement produit permet de répondre à des questions intéressantes comme celle de savoir qui fut le meilleur joueur d'échecs de tous les temps. Nous étudions aussi un système de filtrage collaboratif dont le but est de prévoir les goûts cinématographiques d'utilisateurs en fonction de leurs préférences passées. La deuxième partie de notre travail concerne l'apprentissage de modèles. D'abord nous nous intéressons à la sélection de variables pertinentes dans le cadre d'une application robotique. D'un point de vue cognitif, cette sélection permet au robot de transférer ses connaissances d'un domaine sensorimoteur vers un autre. Finalement, nous proposons une méthode permettant de découvrir automatiquement une nouvelle variable cachée afin de mieux modéliser l'environnement d'un robot.

Internet constitue un environnement évolutif déstructuré et quasi-infini proposant des documents hétérogènes notamment à travers le Web et les intranets d'entreprises. La recherche et l'accès à cette profusion de documents nécessite d'assister l'utilisateur. Cependant, les outils actuels d'accès à l'information atteignent leur limite et ne garantissent plus d'identifier les ressources les plus pertinentes (également appelées "items") dans un temps raisonnable. La problématique consiste à "apprendre l'utilisateur courant". La connaissance de ce dernier permet au système de fournir des items susceptibles de les intéresser ou de répondre à un critère d'utilité. Il s'agit alors de collecter des données brutes pour caractériser une information de haut niveau, à savoir la connaissance de l'utilisateur. L'emploi de l'Intelligence Artificielle permet d'identifier les données nécessaires et suffisantes à l'apprentissage supervisé en situation de l'utilisateur courant.<br /><br />Toutefois, les modèles utilisateurs souffrent d'un grand nombre de données manquantes. Notre approche consiste à exploiter collaborativement les données relatives à une population pour pallier le manque d'information inhérent à chaque utilisateur. L'emploi de techniques de filtrage collaboratif permet ainsi de bénéficier de l'expérience et des interactions au sein d'une population pour améliorer les services et prédire les futurs agissements d'un individu. Nous sommes partis du constat que, dans les approches centralisées, le nombre d'individus pris en compte dans la recherche des plus proches voisins ne peut excéder quelques milliers de candidats. Nos travaux nous ont donc conduit à distribuer le processus de filtrage sous plusieurs formes tant en terme de contenu que de calculs. L'objectif de cette thèse est de montrer comment il est possible d'assurer le passage à l'échelle, et faire face aux problèmes sous-jacents pouvant résulter de cette approche distribuée.

Cette thèse traite des systèmes de recommandation automatiques. Les moteurs de recommandation automatique sont des systèmes qui permettent, par des techniques de data mining, de recommander automatiquement à des clients, en fonction de leurs consommations passées, des produits susceptibles de les intéresser. Ces systèmes permettent par exemple d'augmenter les ventes sur des sites web marchands : le site Amazon a une stratégie marketing en grande partie basée sur la recommandation automatique. Amazon a popularisé l'usage de la recommandation automatique par la célèbre fonction de recommandation que nous qualifions d'item-to-items, le fameux : " les personnes qui ont vu/acheté cet articles ont aussi vu/acheté ces articles. La contribution centrale de cette thèse est d'analyser les systèmes de recommandation automatiques dans le contexte industriel, et notamment des besoins marketing, et de croiser cette analyse avec les travaux académiques.

Les systèmes de recommandation visent à présélectionner et présenter en premier les informations susceptibles d'intéresser les utilisateurs. Ceci a suscité l'attention du commerce électronique, où l'historique des achats des utilisateurs sont analysés pour prédire leurs intérêts futurs et pouvoir personnaliser les offres ou produits (appelés aussi items) qui leur sont proposés. Dans ce cadre, les systèmes de recommandation exploitent les préférences des utilisateurs et les caractéristiques des produits et des utilisateurs pour prédire leurs préférences pour des futurs items. Bien qu'ils aient démontré leur précision, ces systèmes font toujours face à de grands défis tant pour le monde académique que pour l'industrie : ces techniques traitent un grand volume de données qui exige une parallélisation des traitements, les données peuvent être également très hétérogènes, et les systèmes de recommandation souffrent du démarrage à froid, situation dans laquelle le système n'a pas (ou pas assez) d'informations sur (les nouveaux) utilisateurs/items pour proposer des recommandations précises. La technique de factorisation matricielle a démontré une précision dans les prédictions et une simplicité de passage à l'échelle. Cependant, cette approche a deux inconvénients : la complexité d'intégrer des données hétérogènes externes (telles que les caractéristiques des items) et le démarrage à froid pour un nouvel utilisateur. Cette thèse a pour objectif de proposer un système offrant une précision dans les recommandations, un passage à l'échelle pour traiter des données volumineuses, et permettant d'intégrer des données variées sans remettre en question l'indépendance du système par rapport au domaine d'application. De plus, le système doit faire face au démarrage à froid utilisateurs car il est important de fidéliser et satisfaire les nouveaux utilisateurs. Cette thèse présente quatre contributions au domaine des systèmes de recommandation: (1) nous proposons une implémentation d'un algorithme de recommandation de factorisation matricielle parallélisable pour assurer un meilleur passage à l'échelle, (2) nous améliorons la précision des recommandations en prenant en compte l'intérêt implicite des utilisateurs dans les attributs des items, (3) nous proposons une représentation compacte des caractéristiques des utilisateurs/items basée sur les filtres de bloom permettant de réduire la quantité de mémoire utile, (4) nous faisons face au démarrage à froid d'un nouvel utilisateur en utilisant des techniques d'apprentissage actif. La phase d'expérimentation utilise le jeu de données MovieLens et la base de données IMDb publiquement disponibles, ce qui permet d'effectuer des comparaisons avec des techniques existantes dans l'état de l'art. Ces expérimentations ont démontré la précision et l'efficacité de nos approches. / Recommender Systems aim at pre-selecting and presenting first the information in which users may be interested. This has raised the attention of the e-commerce, where the interests of users are analysed in order to predict future interests and to personalize the offers (a.k.a. items). Recommender systems exploit the current preferences of users and the features of items/users in order to predict their future preference in items.Although they demonstrate accuracy in many domains, these systems still face great challenges for both academia and industry: they require distributed techniques to deal with a huge volume of data, they aim to exploit very heterogeneous data, and they suffer from cold-start, situation in which the system has not (enough) information about (new) users/items to provide accurate recommendations. Among popular techniques, Matrix Factorization has demonstrated high accurate predictions and scalability to parallelize the analysis among multiple machines. However, it has two main drawbacks: (1) difficulty of integrating external heterogeneous data such as items' features, and (2) the cold-start issue. The objective of this thesis is to answer to many challenges in the field of recommender systems: (1) recommendation techniques deal with complex analysis and a huge volume of data; in order to alleviate the time consumption of analysis, these techniques need to parallelize the process among multiple machines, (2) collaborative filtering techniques do not naturally take into account the items' descriptions in the recommendation, although this information may help to perform more accurate recommendations, (3) users' and items' descriptions in very large dataset contexts can become large and memory-consuming; this makes data analysis more complex, and (4) the new user cold-start is particularly important to perform new users' recommendations and to assure new users fidelity. Our contributions to this area are given by four aspects: (1) we improve the distribution of a matrix factorization recommendation algorithm in order to achieve better scalability, (2) we enhance recommendations performed by matrix factorization by studying the implicit interest of the users in the attributes of the items, (3) we propose an accurate and low-space binary vector based on Bloom Filters for representing users/items through a high quantity of features in low memory-consumption, and (4) we cope with the new user cold-start in collaborative filtering by using active learning techniques. The experimentation phase uses the publicly available MovieLens dataset and IMDb database, what allows to perform fair comparisons to the state of the art. Our contributions demonstrate their performance in terms of accuracy and efficiency.

Nous avons assisté au développement rapide de la technologie de l'information au cours de la dernière décennie. D'une part, la capacité du traitement et du stockage des appareils numériques est en constante augmentation grâce aux progrès des méthodes de construction. D'autre part, l'interaction entre ces dispositifs puissants a été rendue possible grâce à la technologie de réseautage. Une conséquence naturelle de ces progrès, est que le volume des données générées dans différentes applications a grandi à un rythme sans précédent. Désormais, nous sommes confrontés à de nouveaux défis pour traiter et représenter efficacement la masse énorme de données à notre disposition. Cette thèse est centrée autour des deux axes de recommandation du contenu pertinent et de sa visualisation correcte. Le rôle des systèmes de recommandation est d'aider les utilisateurs dans le processus de prise de décision pour trouver des articles avec un contenu pertinent et une qualité satisfaisante au sein du vaste ensemble des possibilités existant dans le Web. D'autre part, la représentation correcte des données traitées est un élément central à la fois pour accroître l'utilité des données pour l'utilisateur final et pour la conception des outils d'analyse efficaces. Dans cet exposé, les principales approches des systèmes de recommandation ainsi que les techniques les plus importantes de la visualisation des données sous forme de graphes sont discutées. En outre, il est montré comment quelques-unes des mêmes techniques appliquées aux systèmes de recommandation peuvent être modifiées pour tenir compte des exigences de visualisation.