Στόχος της παρούσας διπλωματικής εργασίας είναι η μελέτη των τεχνολογιών RSS καθώς και η ανάπτυξη ενός RSS aggregator. Αυτό το σύστημα aggregator θα μπορεί να πραγματοποιεί αναζητήσεις στα περιεχόμενα των feeds τόσο για εύρεση ειδήσεων γεωγραφικού περιεχομένου όσο και θεματολογικού. / The goal of the current thesis is the study of the RSS technologies as well as the development of an RSS aggregator. This system will be able to search the contents of the feeds for geographic content as well as semantic content.

Στην εργασία αυτή υλοποιήθηκε μια μηχανή αναζήτησης προσώπων στο Social web. Η αναζήτηση γίνεται σε ιστοσελίδες κοινωνικής δικτύωσης όπως το Twitter, το Myspace, και το Flickr με βάση το όνομα του χρήστη ή το ονοματεπώνυμό του. Η αναζήτηση αυτή επεκτείνεται και σε ιστολόγια που βρίσκονται στον παγκόσμιο ιστό. Ύστερα βρίσκουμε σε ποιες από τις παραπάνω ιστοσελίδες έχει λογαριασμό το προς αναζήτηση άτομο και παραθέτουμε τη διεύθυνση του προφίλ του. Εάν του ανήκει κάποιο ιστολόγιο ή συμμετέχει σε κάποιο άλλο, αποθηκεύουμε στη βάση δεδομένων τα Feeds τα οποία έχει δημιουργήσει. Με τον ίδιο τρόπο ενεργούμε εάν το συγκεκριμένο άτομο έχει λογαριασμό στην ιστοσελίδα Twitter. / In this work we materialized a search engine of persons in social web. The search involves web pages on social networking such as Twitter, Myspace and Flickr, using as a base the username or his full name. This search also extends in blogs that are to be found in the WWW. Then, we store the feeds we mine from the users' accounts.

Η τεράστια ανάπτυξη του Παγκόσμιου Ιστού τις τελευταίες δεκαετίες έχει αναδείξει την αναζήτηση πληροφοριών ως ένα από τα πιο σημαντικά ζητήματα στον τομέα της έρευνας στις Τεχνολογίες της Πληροφορικής. Σήμερα, οι σύγχρονες μηχανές αναζήτησης απαντούν αρκετά ικανοποιητικά στα ερωτήματα των χρηστών, αλλά τα κορυφαία αποτελέσματα που επιστρέφονται δεν είναι πάντα σχετικά με τα δεδομένα που αναζητά ο χρήστης. Ως εκ τούτου, οι μηχανές αναζήτησης καταβάλλουν σημαντικές προσπάθειες για να κατατάξουν τα πιο σχετικά αποτελέσματα του ερωτήματος ως προς τον χρήστη στα κορυφαία αποτελέσματα της λίστας κατάταξης των αποτελεσμάτων. Η διατριβή αυτή ασχολείται κυρίως με το παραπάνω πρόβλημα, δηλαδή την κατάταξη στις υψηλότερες θέσεις των πιο σχετικών αποτελεσμάτων ως προς τον χρήστη (ειδικά για ερωτήματα που οι όροι τους έχουν πολλαπλές σημασίες). Στο πλαίσιο της παρούσας έρευνας κατασκευάστηκαν αλγόριθμοι και τεχνικές που βασίζονται στην τεχνική της σχετικής ανατροφοδότησης (relevance feedback) για την βελτίωση των αποτελεσμάτων που επιστρέφονται από μια μηχανή αναζήτησης. Βασική πηγή της ανατροφοδότησης ήταν τα αποτελέσματα που επιλέγουν οι χρήστες κατά την διαδικασία πλοήγησης. Ο χρήστης επεκτείνει την αρχική πληροφορία αναζήτησης (λέξεις κλειδιά) με νέα πληροφορία που προέρχεται από τα αποτελέσματα που διαλέγει. Έχοντας ένα νέο σύνολο πληροφορίας που αφορά τις προτιμήσεις του χρήστη, συγκρίνεται η σημασιολογική πληροφορία του συνόλου αυτού με τα υπόλοιπα αποτελέσματα (αυτά που επιστράφηκαν πριν επιλέξει το συγκεκριμένο αποτέλεσμα) και μεταβάλλεται η σειρά των αποτελεσμάτων προωθώντας και προτείνοντας τα αποτελέσματα που είναι πιο σχετικά με το νέο σύνολο πληροφορίας. Ένα άλλο πρόβλημα που πρέπει να αντιμετωπιστεί κατά την υποβολή ερωτημάτων από τους χρήστες σε μια μηχανή αναζήτησης είναι ότι τα ερωτήματα που υποβάλλονται στις μηχανές αναζήτησης είναι συνήθως μικρά σε αριθμό λέξεων και αμφίσημα. Συνεπώς, πρέπει να υπάρχουν τρόποι αποσαφήνισης των διαφορετικών εννοιών των όρων αναζήτησης και εύρεσης της έννοιας που ενδιαφέρει τον χρήστη. Η αποσαφήνιση των όρων αναζήτησης είναι μια διαδικασία που έχει μελετηθεί στην βιβλιογραφία με αρκετούς διαφορετικούς τρόπους. Στην διατριβή μου προτείνω νέες στρατηγικές αποσαφήνισης των εννοιών των όρων αναζήτησης των μηχανών αναζήτησης και εξερευνάται η αποδοτικότητά τους στις μηχανές αναζήτησης. Η καινοτομία τους έγκειται στη χρήση του Page-Rank σαν ενδείκτη της σημαντικότητας μιας έννοιας για έναν όρο του ερωτήματος. Επίσης είναι ευρέως γνωστό ότι ο Παγκόσμιος Ιστός περιέχει έγγραφα με την ίδια πληροφορία και έγγραφα με σχεδόν ίδια πληροφορία. Παρά τις προσπάθειες των μηχανών αναζήτησης με αλγόριθμους εύρεσης των κειμένων που περιέχουν επικαλυπτόμενη πληροφορία, ακόμα υπάρχουν περιπτώσεις που τα κείμενα που ανακτώνται από μια μηχανή αναζήτησης περιέχουν επαναλαμβανόμενη πληροφορία. Στην διατριβή αυτή παρουσιάζονται αποδοτικές τεχνικές εύρεσης και περικοπής της επικαλυπτόμενης πληροφορίας από τα αποτελέσματα των μηχανών αναζήτησης χρησιμοποιώντας τις σημασιολογικές πληροφορίες των αποτελεσμάτων των μηχανών αναζήτησης. Συγκεκριμένα αναγνωρίζονται τα αποτελέσματα που περιέχουν την ίδια πληροφορία και απομακρύνονται, ενώ ταυτόχρονα τα αποτελέσματα που περιέχουν επικαλυπτόμενη πληροφορία συγχωνεύονται σε νέα κείμενα(SuperTexts) που περιέχουν την πληροφορία των αρχικών αποτελεσμάτων χωρίς να υπάρχει επαναλαμβανόμενη πληροφορία. Ένας άλλος τρόπος βελτίωσης της αναζήτησης είναι ο σχολιασμός των κειμένων αναζήτησης έτσι ώστε να περιγράφεται καλύτερα η πληροφορία τους. Ο σχολιασμός κειμένων(text annotation) είναι μια τεχνική η οποία αντιστοιχίζει στις λέξεις του κειμένου επιπλέον πληροφορίες όπως η έννοια που αντιστοιχίζεται σε κάθε λέξη με βάση το εννοιολογικό περιεχόμενο του κειμένου. Η προσθήκη επιπλέον σημασιολογικών πληροφοριών σε ένα κείμενο βοηθάει τις μηχανές αναζήτησης να αναζητήσουν καλύτερα τις πληροφορίες που ενδιαφέρουν τους χρήστες και τους χρήστες να βρουν πιο εύκολα τις πληροφορίες που αναζητούν. Στην διατριβή αυτή αναλύονται αποδοτικές τεχνικές αυτόματου σχολιασμού κειμένων από τις οντότητες που περιέχονται στην Wikipedia, μια διαδικασία που αναφέρεται στην βιβλιογραφία ως Wikification. Με τον τρόπο αυτό οι χρήστες μπορούν να εξερευνήσουν επιπλέον πληροφορίες για τις οντότητες που περιέχονται στο κείμενο που τους επιστρέφεται. Ένα άλλο τμήμα της διατριβής αυτής προσπαθεί να εκμεταλλευτεί την σημασιολογία των αποτελεσμάτων των μηχανών αναζήτησης χρησιμοποιώντας εργαλεία του Σημασιολογικού Ιστού. Ο στόχος του Σημασιολογικού Ιστού (Semantic Web) είναι να κάνει τους πόρους του Ιστού κατανοητούς και στους ανθρώπους και στις μηχανές. Ο Σημασιολογικός Ιστός στα πρώτα βήματά του λειτουργούσε σαν μια αναλυτική περιγραφή του σώματος των έγγραφων του Ιστού. Η ανάπτυξη εργαλείων για την αναζήτηση σε Σημασιολογικό Ιστό είναι ακόμα σε πρώιμο στάδιο. Οι σημερινές τεχνικές αναζήτησης δεν έχουν προσαρμοστεί στην δεικτοδότηση και στην ανάκτηση σημασιολογικής πληροφορίας εκτός από μερικές εξαιρέσεις. Στην έρευνά μας έχουν δημιουργηθεί αποδοτικές τεχνικές και εργαλεία χρήσης του Παγκόσμιου Ιστού. Συγκεκριμένα έχει κατασκευαστεί αλγόριθμος μετατροπής ενός κειμένου σε οντολογία ενσωματώνοντας την σημασιολογική και συντακτική του πληροφορία έτσι ώστε να επιστρέφονται στους χρήστες απαντήσεις σε ερωτήσεις φυσικής γλώσσας. Επίσης στην διατριβή αυτή αναλύονται τεχνικές φιλτραρίσματος XML εγγράφων χρησιμοποιώντας σημασιολογικές πληροφορίες. Συγκεκριμένα παρουσιάζεται ένα αποδοτικό κατανεμημένο σύστημα σημασιολογικού φιλτραρίσματος XML εγγράφων που δίνει καλύτερα αποτελέσματα από τις υπάρχουσες προσεγγίσεις. Τέλος, στα πλαίσια αυτής της διδακτορικής διατριβής γίνεται επιπλέον έρευνα για την βελτίωση της απόδοσης των μηχανών αναζήτησης από μια διαφορετική οπτική γωνία. Στην κατεύθυνση αυτή παρουσιάζονται τεχνικές περικοπής ανεστραμμένων λιστών ανεστραμμένων αρχείων. Επίσης επιτυγχάνεται ένας συνδυασμός των προτεινόμενων τεχνικών με υπάρχουσες τεχνικές συμπίεσης ανεστραμμένων αρχείων πράγμα που οδηγεί σε καλύτερα αποτελέσματα συμπίεσης από τα ήδη υπάρχοντα. / The tremendous growth of the Web in the recent decades has made the searching for information as one of the most important issues in research in Computer Technologies. Today, modern search engines respond quite well to the user queries, but the results are not always relative to the data the user is looking for. Therefore, search engines are making significant efforts to rank the most relevant query results to the user in the top results of the ranking list. This work mainly deals with this problem, the ranking of the relevant results to the user in the top of the ranking list even when the queries contain multiple meanings. In the context of this research, algorithms and techniques were constructed based on the technique of relevance feedback which improves the results returned by a search engine. Main source of feedback are the results which the users selects during the navigation process. The user extends the original information (search keywords) with new information derived from the results that chooses. Having a new set of information concerning to the user's preferences, the relevancy of this information is compared with the other results (those returned before choosing this effect) and change the order of the results by promoting and suggesting the results that are more relevant to the new set of information. Another problem that must be addressed when the users submit queries to the search engines is that the queries are usually small in number of words and ambiguous. Therefore, there must be ways to disambiguate the different concepts/senses and ways to find the concept/sense that interests the user. Disambiguation of the search terms is a process that has been studied in the literature in several different ways. This work proposes new strategies to disambiguate the senses/concepts of the search terms and explore their efficiency in search engines. Their innovation is the use of PageRank as an indicator of the importance of a sense/concept for a query term. Another technique that exploits semantics in our work is the use of text annotation. The use of text annotation is a technique that assigns to the words of the text extra information such as the meaning assigned to each word based on the semantic content of the text. Assigning additional semantic information in a text helps users and search engines to seek or describe better the text information. In my thesis, techniques for improving the automatic annotation of small texts with entities from Wikipedia are presented, a process that referred in the literature as Wikification. It is widely known that the Web contain documents with the same information and documents with almost identical information. Despite the efforts of the search engine’s algorithms to find the results that contain repeated information; there are still cases where the results retrieved by a search engine contain repeated information. In this work effective techniques are presented that find and cut the repeated information from the results of the search engines. Specifically, the results that contain the same information are removed, and the results that contain repeated information are merged into new texts (SuperTexts) that contain the information of the initial results without the repeated information. Another part of this work tries to exploit the semantic information of search engine’s results using tools of the Semantic Web. The goal of the Semantic Web is to make the resources of the Web understandable to humans and machines. The Semantic Web in their first steps functioned as a detailed description of the body of the Web documents. The development of tools for querying Semantic Web is still in its infancy. The current search techniques are not adapted to the indexing and retrieval of semantic information with a few exceptions. In our research we have created efficient techniques and tools for using the Semantic Web. Specifically an algorithm was constructed that converts to ontology the search engine’s results integrating semantic and syntactic information in order to answer natural language questions. Also this paper contains XML filtering techniques that use semantic information. Specifically, an efficient distributed system is proposed for the semantic filtering of XML documents that gives better results than the existing approaches. Finally as part of this thesis is additional research that improves the performance of the search engines from a different angle. It is presented a technique for cutting the inverted lists of the inverted files. Specifically a combination of the proposed technique with existing compression techniques is achieved, leading to better compression results than the existing ones.

Η έλλειψη της δραστηριότητας του χρήστη σχετικά με τα αποτελέσματα της αναζήτησης μέχρι πρόσφατα θεωρείτο ως ένδειξη της δυσαρέσκειας του από την απόδοση ανάκτησης, και συχνά τέτοια αδράνεια χαρακτήριζε την αναζήτηση ως αποτυχημένη (negative search abandonment). Ωστόσο, πρόσφατες μελέτες δείχνουν ότι ορισμένες αναζητήσεις μπορούν να ικανοποιηθούν από το περιεχόμενο των αποτελεσμάτων που παρουσιάζονται στον χρήστη, χωρίς να χρειάζεται να κάνει κλικ σε κάποιο από τα ανακτημένα αποτελέσματα (positive search abandonment), και έτσι τονίζεται η ανάγκη να γίνουν διακρίσεις μεταξύ των επιτυχημένων και αποτυχημένων αναζητήσεων που δεν ακολουθούνται από κλικς. Με αυτή την εργασία προτείνουμε τον σχεδιασμό και την υλοποίηση μιας μεθοδολογίας αξιολόγησης της ικανοποίησης του χρήστη από τα αποτελέσματα αναζητήσεων που δεν ακολουθούνται από επισκέψεις στο περιεχόμενο των δεδομένων ανάκτησης. Για την επίτευξη του στόχου αυτού διενεργήσαμε μελέτη χρηστών που διερευνά τις προθέσεις των χρηστών πίσω από ερωτήματα που δεν ακολουθούνται από επίσκεψη σε κάποιο από τα αποτελέσματα που επέστρεψε η αναζήτηση και εξετάζει τις εργασίες αναζήτησης που μπορούν να ολοκληρωθούν με επιτυχία βασισμένες εξ ολοκλήρου στις πληροφορίες που παρέχονται στη σελίδα με τα αποτελέσματα. Επιπρόσθετα, μελετήθηκαν και υλοποιήθηκαν εργαλεία, QWC Browser, για την καταγραφή της δραστηριότητας του χρήστη με συστήματα ανάκτησης πληροφορίας από τον Παγκόσμιο Ιστό. Στηριζόμενοι στην ευρέως αποδεχόμενη ιδέα της χρήσης της δραστηριότητας του χρήστη ως δείκτη υπονοούμενης αξιολόγησης συσχέτισης (implicit relevance judgments), εξετάσαμε την ύπαρξη σχέση μεταξύ των ρητών δηλώσεων (explicit judgments) ικανοποίησης του χρήστη και μετρικών αξιολόγησης της υπονοούμενης ανατροφοδότησης (implicit measures) του χρήστη. Τέλος, χρησιμοποιήσαμε τεχνικές μοντελοποίησης για την ανάπτυξη μοντέλων πρόβλεψης για την σύλληψη της ικανοποίησης του χρήστη από τις αναζητήσεις που δεν ακολουθούνται από κλικς. / The lack of user activity on search results was until recently perceived as a sign of user dissatisfaction from retrieval performance, often, referring to such inactivity as a failed search (negative search abandonment). However, recent studies suggest that some search tasks can be achieved in the contents of the results displayed without the need to click through them (positive search abandonment); thus they emphasize the need to discriminate between successful and failed searches without follow-up clicks. In this paper we propose to design and implement a methodology for assessing user satisfaction from the results of searches that are not followed by visits to the content of the retrieved results. To achieve this goal we conducted a user study in order to identify the search intentions of queries without follow-up clicks to any of the results returned by the search and identify the search tasks that can be accomplished successfully based entirely on information provided on the results page. Additionally, we developed an instrumented browser, QWC Browser, to collect a variety of measures of user activity after the query submittion. Moreover, we examined whether there is an association between explicit judgments of user satisfaction and implicit measures of user interest in order to understand what implicit measures were most strongly associated with user satisfaction. Finally, we used Bayesian modeling techniques to develop predictive models, to capture user satisfaction from searches that are not followed by clicks to the retrieved results.