人智運算是近年來熱門的研究領域之ㄧ,隨著科技快速的進步手機硬體之體積不斷減少,功能不斷增加情形下,手機已經成為人類日常生活不可或缺的要素。因此我們希望利用手機來幫助我們透過遊戲的方式來達到我們的目的。 在這篇論文中我們在基於目的性遊戲(Games with a Purpose)的設計概念,在手機上開發系統並且達到收集資訊的目的。此系統讓使用者們可以樂於分享景點的資訊,其他玩家也可以共同來驗證由玩家們所上傳的景點資訊;而我們的目的則是要產生出可以信任的景點資訊提供給玩家做參觀景點的參考。 然而如何選擇目前最適當的景點資訊分派給玩家做驗證,才能使系統快速產生可信任之資訊。為了探討這個議題,我們提出了三個不同的演算法來分派任務給玩家驗證。並且作了一系列的模擬實驗來證明,我們提出的演算法確實提升系統產生可信任資訊之效能。最後我們將系統實作於智慧型手機上(Android Phone),並驗證了其結果與模擬實驗是一致的。 / Human Computation is one of the hottest research topics in recent years. At the same time, smart phones become indispensable with our daily life, due to advanced hardware technology. Therefore, to design a mobile game on smart phones to help us achieve the research purpose is our goal of this work. In this thesis, we adopt the approach of “Game with a Purpose “(GWAP) to collect the data that the system needs as users play a ”game”. The data here is Point-of-Interest (POI) information. Users share their POI information on the mobile system, and other players can verify it in order to come out with reliable POI information for further use. The research issue will be how to produce reliable information as quickly as possible, and also make sure the output is as correct as possible. The problem is how to assign appropriate information for a player to verify so as to improve the system performance. We proposed three different algorithms and went through a series of simulation experiments. The results showed that the Modify Lowest Disagree First and Highest Confidence Assignment (MLDF-HCA) algorithm performs best. We also implemented an Android App based on the algorithms. The real experiments did validate the simulation results.

人智運算(Human Computation)是近年來最熱門的研究領域之一，而適地性服務(Location-based service)也因此衍生出許多研究議題。由於傳統上在搜集資訊時往往會浪費過多的人力資源，所以我們希望使用者藉由玩遊戲的方式背後完成我們想要的事情。在此篇論文中，我們利用GWAP(Games with a Purpose)的概念設計一套行動地理標籤系統，系統採用玩家分享自身附近景點資訊再透過其他玩家來到相同地點做驗證的方式，讓玩家在一邊玩遊戲的過程中搜集相關地理資訊，另一方面達到景點資訊是可信賴的目的。 然而，對系統而言要如何選題給玩家驗證才能提升整體效能，為了解決這些問題，我們在選題策略上提出三種不同的任務分配演算法，再透過一連串的實驗模擬來證明我們所設計的系統確實能夠在選題上達到好的效能，最後我們考慮到現實生活中可能的情形後將此系統實作在智慧型手機上(Android Phone)。 / Human Computation is popular recently and have become one of the hottest research topics, therefore Location-based service also drives a lot of issues. Due to collect information always cause too many manpower- wasted in tradition , so we hoped that the users to complete the things which we want by play game’s way .In this thesis, we based on the concept of ‘Games with a Purpose’(GWAP) to develop a mobile geospatial tagging system, system adopt player share self nearby scenic spots information and then through another players come the same place do the verification, allowing the player to play the game in the side of the process of collecting the relevant geographic information, on the other hand to achieve the purpose of scenic spots information is reliable. However, how to choose topics for player verification can effectively evaluate the system performance, to solve these problems we propose three different selection strategies on the task assignment algorithms, then through a series of simulation experiments designed to prove that our system can indeed achieve good performance on the topics, finally we take into account real life situations and implement in the smart phone (Android Phone).

Dans cette thèse, nous traitons de la compréhension de contenus visuels, qu’il s’agisse d’images, de vidéos ou encore de contenus 3D. On entend par compréhension la capacité à inférer des informations sémantiques sur le contenu visuel. L’objectif de ce travail est d’étudier des méthodes combinant deux approches : 1) l’analyse automatique des contenus et 2) l’analyse des interactions liées à l’utilisation de ces contenus (analyse des usages, en plus bref). Dans un premier temps, nous étudions l’état de l’art issu des communautés de la vision par ordinateur et du multimédia. Il y a 20 ans, l’approche dominante visait une compréhension complètement automatique des images. Cette approche laisse aujourd’hui plus de place à différentes formes d’interventions humaines. Ces dernières peuvent se traduire par la constitution d’une base d’apprentissage annotée, par la résolution interactive de problèmes (par exemple de détection ou de segmentation) ou encore par la collecte d’informations implicites issues des usages du contenu. Il existe des liens riches et complexes entre supervision humaine d’algorithmes automatiques et adaptation des contributions humaines via la mise en œuvre d’algorithmes automatiques. Ces liens sont à l’origine de questions de recherche modernes : comment motiver des intervenants humains ? Comment concevoir des scénarii interactifs pour lesquels les interactions contribuent à comprendre le contenu manipulé ? Comment vérifier la qualité des traces collectées ? Comment agréger les données d’usage ? Comment fusionner les données d’usage avec celles, plus classiques, issues d’une analyse automatique ? Notre revue de la littérature aborde ces questions et permet de positionner les contributions de cette thèse. Celles-ci s’articulent en deux grandes parties. La première partie de nos travaux revisite la détection de régions importantes ou saillantes au travers de retours implicites d’utilisateurs qui visualisent ou acquièrent des con- tenus visuels. En 2D d’abord, plusieurs interfaces de vidéos interactives (en particulier la vidéo zoomable) sont conçues pour coordonner des analyses basées sur le contenu avec celles basées sur l’usage. On généralise ces résultats en 3D avec l’introduction d’un nouveau détecteur de régions saillantes déduit de la capture simultanée de vidéos de la même performance artistique publique (spectacles de danse, de chant etc.) par de nombreux utilisateurs. La seconde contribution de notre travail vise une compréhension sémantique d’images fixes. Nous exploitons les données récoltées à travers un jeu, Ask’nSeek, que nous avons créé. Les interactions élémentaires (comme les clics) et les données textuelles saisies par les joueurs sont, comme précédemment, rapprochées d’analyses automatiques des images. Nous montrons en particulier l’intérêt d’interactions révélatrices des relations spatiales entre différents objets détectables dans une même scène. Après la détection des objets d’intérêt dans une scène, nous abordons aussi le problème, plus ambitieux, de la segmentation. / This thesis focuses on the problem of understanding visual contents, which can be images, videos or 3D contents. Understanding means that we aim at inferring semantic information about the visual content. The goal of our work is to study methods that combine two types of approaches: 1) automatic content analysis and 2) an analysis of how humans interact with the content (in other words, usage analysis). We start by reviewing the state of the art from both Computer Vision and Multimedia communities. Twenty years ago, the main approach was aiming at a fully automatic understanding of images. This approach today gives way to different forms of human intervention, whether it is through the constitution of annotated datasets, or by solving problems interactively (e.g. detection or segmentation), or by the implicit collection of information gathered from content usages. These different types of human intervention are at the heart of modern research questions: how to motivate human contributors? How to design interactive scenarii that will generate interactions that contribute to content understanding? How to check or ensure the quality of human contributions? How to aggregate human contributions? How to fuse inputs obtained from usage analysis with traditional outputs from content analysis? Our literature review addresses these questions and allows us to position the contributions of this thesis. In our first set of contributions we revisit the detection of important (or salient) regions through implicit feedback from users that either consume or produce visual contents. In 2D, we develop several interfaces of interactive video (e.g. zoomable video) in order to coordinate content analysis and usage analysis. We also generalize these results to 3D by introducing a new detector of salient regions that builds upon simultaneous video recordings of the same public artistic performance (dance show, chant, etc.) by multiple users. The second contribution of our work aims at a semantic understanding of fixed images. With this goal in mind, we use data gathered through a game, Ask’nSeek, that we created. Elementary interactions (such as clicks) together with textual input data from players are, as before, mixed with automatic analysis of images. In particular, we show the usefulness of interactions that help revealing spatial relations between different objects in a scene. After studying the problem of detecting objects on a scene, we also adress the more ambitious problem of segmentation.

This PhD thesis explores gamification strategies concerning video games for crowdsourcing, in particular for linguistic annotation. First, a categorization of the current approaches is proposed. In doing so, a new framework is provided to analyse and understand different game design strategies and their impact on linguistic annotation tasks. Two artefacts are developed to test and validate the framework: Spacewords, a 2D space shooter game, and High School Superhero, a 3D role-playing game. In particular, research questions and hypotheses concerning so-called orthogonal mechanics are tested, which are defined by previous research as game mechanics that although being similar to those found in commercial games, can hinder the annotation process by adding a layer of challenge and unpredictability. The artefacts are employed for three tasks: synonymy, linguistic acceptability and abusive language annotation. It is found that some challenging game-like features slightly improves Precision measure in certain circumstances. Experiments also suggest that motivation to play may be improved by in-game resources or collectible elements. Finally, in High School Superhero a mismatch is observed between the judgements given by linguists and players. The approach adopted in this work is intended to pave the way to a more insightful use of gaming elements inspired by entertainment games in the context of games with a purpose for linguistic annotation.

Au lieu d’externaliser certaines tâches auprès de prestataires ayant recours à des pays dont la main d’œuvre est bon marché, les bibliothèques dans le monde font de plus en plus appel aux foules d’internautes, rendant plus collaborative leur relation avec les usagers. Après un chapitre conceptuel sur les conséquences de ce nouveau modèle économique sur la société et sur les bibliothèques, un panorama des projets est présenté dans les domaines de la numérisation à la demande, de la correction participative de l’OCR notamment sous la forme de jeux (gamification) et de la folksonomie. Ce panorama débouche sur un état de l’art du crowdsourcing appliqué à la numérisation et aux bibliothèques numériques et sur des analyses dans le domaine des sciences de l’information et de la communication. Enfin, sont présentées des apports conceptuels et des expérimentations originales, principalement autour du projet Numalire de numérisation à la demande par crowdfunding. / Instead of outsource tasks to providers in cheap labour countries, libraries increasingly appeal to online crowds, making relationship with their users more collaborative. The PhD begins with a conceptual chapter on the consequences of this new economic model on society and on libraries. Then, an overview of the projects is presented in the areas of digitization on demand (crowdfunding) and OCR correction with gamification and folksonomy. It is followed by a state of the art, a review and analysis on crowdsourcing applied to digitization and digital libraries. Finally, conceptual contributions and original experiments, with Numalire, a crowdfunding and digitization on demand project are presented.