Στα πλαίσια της διδακτορικής μας διατριβής ασχοληθήκαμε με προβλήματα διαχείρισης δικτυακών πληροφοριακών συστημάτων που βασίζονται σε τεχνολογίες παγκόσμιου ιστού (network-centric information systems, netcentric information systems, web information systems). Η έννοια της δικτυο-κεντρικής προσέγγισης (netcentric) προσπαθεί να αποδώσει την τάση να χρησιμοποιείται η δικτυακή υποδομή και τεχνολογία όλο και περισσότερο στα πληροφοριακά συστήματα και τις εφαρμογές παγκόσμιου ιστού για να παρέχουν, να δημοσιοποιούν, να διαμοιράζουν και να επικοινωνούν online υπηρεσίες και πληροφορίες. Κύριος στόχος της διατριβής είναι α) η διασφάλιση της ποιότητας κατά την εξυπηρέτηση, β) η μείωση του χρόνου εντοπισμού και γ) η εξατομίκευση υπηρεσιών και πληροφοριών σε δικτυακά πληροφοριακά περιβάλλοντα και εφαρμογές που βασίζονται σε τεχνολογίες μηχανικής Παγκόσμιου Ιστού. Σε πρώτο επίπεδο, οι αποδοτικοί αλγόριθμοι που αναπτύξαμε αφορούν τις υπηρεσίες Web Services που έχουν σχεδιαστεί να υποστηρίζουν διαλειτουργική αλληλεπίδραση μεταξύ μηχανών με χρήση δικτυακής υποδομής. Πρόκειται ένα τεχνολογικό πλαίσιο το οποίο προτυποποιήθηκε από το W3 Consortium (http://www.w3.org) και γνωρίζει την ευρεία υποστήριξη τόσο της επιστημονικής κοινότητας τεχνολογιών πληροφορικής και επικοινωνιών όσο και των επαγγελματιών μηχανικών Η/Υ και της βιομηχανίας πληροφορικής παγκοσμίως. Αναλυτικότερα στο πρώτο μέρος της διατριβής δίνουμε αρχικά μία νέα κατηγοριοποίηση και συγκριτική παρουσίαση των λύσεων και προβλημάτων που αφορούν αποδοτικές λύσεις αλγορίθμων διαχείρισης και αναζήτησης υπηρεσιών. Στη συνέχεια, εισάγουμε μια σειρά από νέους αποδοτικούς αλγορίθμους διαχείρισης και αναζήτησης υπηρεσιών που διασφαλίζουν την ποιότητα της παρεχόμενης υπηρεσίας και βελτιώνουν την πολυπλοκότητα στο χρόνο εντοπισμού μιας υπηρεσίας. Συνολικά στο πρώτο μέρος παρουσιάζουμε: - Αποδοτικούς αλγορίθμους δυναμικής επιλογής Web Service που λαμβάνουν υπόψη μη λειτουργικές προδιαγραφές για ποιότητα και απόδοση κατά την προσπάθεια χρήσης (consumption) του Web Service (QoWS enabled WS discovery). - Αποδοτικούς αλγορίθμους διαχείρισης και αναζήτησης υπηρεσιών δικτυο-κεντρικών πληροφοριακών συστημάτων οι οποίοι βασίζονται σε αποκεντρικοποιημένες δικτυακές λύσεις ειδικά σχεδιασμένες για WS καταλογογράφηση (decentralized WS discovery). Σε δεύτερο επίπεδο, δίνουμε αποδοτικές προσαρμοστικές μεθόδους για την εξατομίκευση των αποτελεσμάτων αναζήτησης πληροφοριών στον Παγκόσμιο Ιστό. Με τον τρόπο αυτό επιτυγχάνουμε βελτίωση της απόδοσης τόσο για τις εσωτερικές λειτουργίες διαχείρισης και αναζήτησης των δικτυακών πληροφοριακών συστημάτων όσο και του τελικού αποτελέσματος, της πληροφορίας δηλαδή, που παρουσιάζουν τα συστήματα αυτά στον τελικό χρήστη. Συγκεκριμένα, στο δεύτερο μέρος της διατριβής εισάγουμε μια σειρά από τρεις αλγορίθμους εξατομίκευση των αποτελεσμάτων αναζήτησης, οι οποίοι βασίζονται σε τεχνικές μετρικών συνδέσμων (link metrics). Το κύριο πλεονέκτημα των τεχνικών που προτείνουμε είναι ότι επιτρέπουν, με τη χρήση μιας αρκετά απλής μεθοδολογίας, την εξατομίκευση των αποτελεσμάτων αναζήτησης, χωρίς να επιβαρύνονται οι χρήστες σε όγκο αποθήκευσης ή με καθυστερήσεις λόγου χρόνου εκτέλεσής τους. Επιτυγχάνουμε εξατομικευμένη αναζήτηση εφαρμόζοντας τεχνικές ανάλυσης και επεξεργασίας συνδέσμων όχι στο γράφο ιστού αλλά για πρώτη φορά σε αρκετά μικρότερους εξατομικευμένους γράφους που σχηματίζονται από διαθέσιμες σημασιολογικές ταξονομίες. Συνοψίζοντας τα ερευνητικά αποτελέσματα του δεύτερου μέρους παρουσιάζουμε τα ακόλουθα: - Αποδοτικοί αλγόριθμοι για εξατομικευμένη αναζήτηση πληροφορίας (personalized searching) στον Παγκόσμιο Ιστό. - Μηχανισμός προσαρμοστικής παρουσίασης αποτελεσμάτων αναζήτησης με χρήση πολλαπλών επιπέδων κατηγοριοποίησης. - Επέκταση των αλγορίθμων για μηχανισμούς στοχευμένης συλλογής σελίδων (focused web crawlers) που αποτελούν εναλλακτική της εξατομικευμένης αναζήτησης πληροφοριών. Τέλος στο τρίτο και τελευταίο μέρος της διατριβής παρουσιάζουμε μια σειρά από εφαρμογές, αρχιτεκτονικές και λειτουργικά πλαίσια τα οποία αφορούν δικτυακά πληροφοριακά περιβάλλοντα στα οποία εφαρμόζουμε τεχνικές διαχείρισης υπηρεσιών και μηχανισμούς εξατομίκευσης πληροφοριών. O κύριος στόχος της παρουσίασης των λύσεων αυτών είναι να επιδειχθεί ότι οι προτεινόμενοι αποδοτικοί αλγόριθμοι, που παρουσιάστηκαν στα προηγούμενα κεφάλαια, έχουν εφαρμογή σε πολλαπλά προβλήματα διαφορετικών επιστημονικών και τεχνολογικών πεδίων που χρησιμοποιούν δικτυακά πληροφοριακά συστήματα και εφαρμογές παγκόσμιου ιστού. / In our PhD dissertation we dealt with performance issues in network - centric information systems, netcentric information systems and web information systems. Netcentric approach attempts to depict the augmenting tendency to use the network communication in information systems and web applications in order to provide, to publish, to distribute and to communicate online services and information. The key aim of our doctoral thesis is a) the quality at the service provision, v) the reduction of discovery time and c) the personalization of services and information in network information systems and applications that are based on web engineering technologies. Initially, we studied, designed and implemented efficient algorithms concerning Web Services technologies that have been designed to facilitate interoperable service integration using network infrastructure. Web Services Architecture has been standardized by W3 Consortium (http://www.w3.org) as the technological framework and it has received the wide support of the information technology scientific community as well as the information technology (IT) professionals and industry worldwide. In the first section we introduce a new categorization and comparative presentation of the available algorithmic solutions for service management and discovery. Then, we introduce a series of new efficient algorithms that ensure quality of service provision and improve time complexity in service discovery. Overall in the first part of the thesis we present: - Efficient algorithms for dynamic Web Service selection taking into account non-functional specifications (Quality of Web Service – QoWS) and performance issues during Web Service (WS) consumption attempt (i.e. QoWS enabled WS discovery). - Efficient algorithms for service management and discovery in network centric information systems that are based on decentralized network approaches specifically designed for WS discovery. In the sequel, we propose efficient adaptive methods for personalized web searching. In this way we provide performance improvement both for the internal management and discovery functionality of web based net-centric information systems as well as for the systems’ output that is the end-user information. In particular, in the second section, we introduce a series of three new algorithms for personalized searching. The proposed algorithms are mainly based on link metrics techniques. Their main advantage is that they allow, with the use of a simple methodology, search results personalization, with minimum overhead in terms of storage volume and computation time. We achieve personalized search using link analysis in a personalized graph much smaller one than the whole web graph. The personalized graph is shaped taking advantage of semantic taxonomies. Summarizing the novel research results of this second section are the following: - Efficient algorithms for personalized web information searching. - Adaptive presentation mechanisms of search results with the use of multiple levels of novel categorization. - Extension that allows the adoption of the algorithms for the case of focused web crawling mechanisms, which constitute an alternative personalized searching approach. Finally in the third and last section of our thesis, we present a series of applications, architectures and frameworks of different web based net-centric information environments cases, in which we apply our techniques for service management and personalized information discovery. The main objective of this presentation is to show that the efficient algorithms presented in the previous sections, have multiple potentials of application in problems of different research and technological areas using web based net-centric informative systems and web applications. Cases presented include network management information systems, e-learning approaches, semantic mining and multimedia retrieval systems, web content and structure maintenance solutions and agricultural information systems.

Η ΒΥΠ διαθέτει αντίτυπο της διατριβής σε έντυπη μορφή στο βιβλιοστάσιο διδακτορικών διατριβών που βρίσκεται στο ισόγειο του κτιρίου της. / Στα πλαίσια της παρούσας Μεταπτυχιακής Διπλωματικής Εργασίας, προτείνουμε (α) μια ταξινόμηση των πιο σημαντικών ερευνητικών αποτελεσμάτων για την επιστημονική περιοχή του Web Engineering και (β) μια μεθοδολογία για την αξιολόγηση εργαλείων για τον ίδιο χώρο τα οποία θα ενσωματωθούν στο WEP (WEB-Engineering Resources Portal). Στην συγκεκριμένη εργασία αναλύονται οι επιστημονικές έννοιες Body of Knowledge(BOK), Software Engineering, Web Engineering, Software Engineering Body of Knowledge (SWEBOK) και γίνεται μια πρώτη προσπάθεια θεμελίωσης ενός Σώματος Γνώσης (Body of Knowledge) για το Web Engineering, που θα εμπεριέχεται στο WEP. Για την ταξινόμηση των ερευνητικών αποτελεσμάτων του WEP βασιστήκαμε στη δομή του SWEBOK (Software Engineering Body of Knowledge), το οποίο αποτελεί μια προσπάθεια της IEEE (Institute of Electrical and Electronics Engineers) για τον καθορισμό και τη μελέτη ενός Σώματος Γνώσης της Επιστήμης Λογισμικού, μια επιστημονική περιοχή που συγγενεύει άμεσα με το Web Engineering. Όσο αφορά την εύρεση και αξιολόγηση εργαλείων για το WEP προτείνουμε έναν αλγόριθμο επιλογής και αξιολόγησης ο οποίος βασίζεται κυρίως στην κατηγοριοποίηση και αξιολόγηση εφαρμογών από τους Ιστότοπους http://www.tucows.com και http://www.download.com, οι οποίοι επιλέχτηκαν βάσει της δημοτικότητά τους και της πληθώρας και καλής οργάνωσης των εργαλείων τους. Τα αποτελέσματα από την εφαρμογή αυτού του αλγορίθμου αξιολόγησης εργαλείων ήταν αρκετά ικανοποιητικά, ενώ υπάρχουν περιθώρια βελτίωσης τόσο με τη χρήση επιπλέον παραμέτρων από τους δύο παραπάνω βασικούς Ιστότοπους όσο και με τη συνεισφορά στοιχείων και από άλλους Ιστότοπους. / In this Master Thesis, we suggest (a) A methodology of classification of the most important research results in Web Engineering (b) A methodology of selection and evaluation web development tools. These tools would be in included in WEP (WEB-Engineering Resources Portal). During this Master Thesis the following definitions are explained: Body of Knowledge (BOK), Software Engineering, Web Engineering, Software Engineering Body of Knowledge (SWEBOK). Moreover, it is suggested a solution of building a “Body of Knowledge” in the field of Web Engineering. This Body of Knowledge would be included in WEP. The basis for the classification of the research results is WEP was the SWEBOK (Software Engineering Body of Knowledge). SWEBOK is an effort of IEEE, in order to establish a baseline for the “Body of Knowledge” for the field of Software Engineering, which is close related with the field of Web Engineering. As far is concerned the selection and evaluation of web development tools, we suggest an algorithm which is based on the classification and evaluation of web development tools by the web sites http://www.tucows.com and http://www.download.com. These web sites have been selected, due to their credibility, popularity and the large number of tools which are presented. Although this algorithm has quite good results, there are some open issues by including more parameters from the 2 main web sites and by investigating other similar web sites, too.

Na ultima década o paradigma de computação orientada a serviços (SOC - Service Oriented Computing) tem ganhado cada vez mais espaço na indústria e na academia, a fim de solucionar o problema da falta de comunicação entre os diversos sistemas de informação presentes dentro de um ambiente corporativo. Graças aos recentes avanços da chamada \"Web 2.0\" um novo estilo arquitetural chamado de Arquitetura orientada a Web (WOA - Web Oriented Architecture) foi proposto a fim de garantir uma maneira simples de conectar os componentes de software dinamicamente. Esse estilo tem como um dos princípios o uso de serviços Web RESTful, a fim de conseguir uma interface funcional simples e uniforme. Este trabalho apresenta um ambiente colaborativo de apoio ao desenvolvimento de serviços Web RESTful utilizando o paradigma de desenvolvimento orientado a modelos (MDD - Model Driven Development). Pretende-se mostrar os benefícios do MDD aplicado a Engenharia Web e também as vantagens apresentadas pela colaboração nesse cenário. Foi realizado ainda um experimento a fim de comprovar a eficiência do ambiente colaborativo e benefícios alcançados por ele / In the last decade the paradigm of Service Oriented Computing has gained more attention in industry and academia in order to solve the problem of lack of communication between different information systems present within a corporate environment. Due to recent advances in Web 2.0 a new architectural style called Web Oriented Architecture is proposed to ensure a simple way to connect software components dynamically. This style has as a principle the use of RESTful Web Services in order to achieve a uniform interface simple and functional. This paper presents a collaborative environment to support the development of RESTful Web Services using the Model Driven Development paradigm. It is intended to show the benefits of MDD applied to Web Engineering and also the advantages presented by collaboration in this scenario. It was also performed a experiment to prove the efficiency of the collaborative environment and benefits achieved by the same

Web systems have become an integral part in daily life of billions of people. Social is a key characteristic today’s web projects need to feature in order to be successful in the social age. To benefit from an improved user experience, individual persons are continually invited to reveal more and more personal data to web systems. With a rising severity of attacks on web systems, it is evident that their security is inadequate for the amount of accumulated personal data. Numerous threat reports indicate that social media has become a top-ranking attack target, with climbing impacts, with ramifications beyond single individuals and with a booming black market to trade leaked personal data. To enhance information security in managing personal data by web systems for the mutual benefit of individual persons, companies and governments, this dissertation proposes a solution architecture and three research contributions. While the solution architecture establishes the foundation for a more secure management of personal data by web systems, the research contributions represent complementary components for protecting personal data against unwanted data disclosure, tampering and use without the actual data owner’s intent or knowledge. Not only do these components enable seamless integration and combination, but they also contribute to assure quality and maintainability. The dissertation concludes with discussing evaluation results and providing an outlook towards future work.

Das stetig wachsende Datenaufkommen - die weltweite Datenmenge verdoppelt sich alle zwei Jahre - ist eine wesentliche Herausforderung für den Menschen in allen Bereichen des beruflichen und privaten Alltags. Um trotzdem relevante Informationen zu identifizieren und auch zu verstehen, nehmen Techniken und Anwendungen zur InfoVis einen immer größeren Stellenwert ein. Leider hat sich die Vision der "InfoVis for and by the masses" aufgrund des notwendigen Daten-, Visualisierungs- und Programmierwissens noch nicht durchgesetzt. Zudem sind heutige InfoVis-Softwareanbieter mit dem Problem konfrontiert, verschiedenste Kontexte, wie Nutzergruppen oder Hard- und Softwareplattformen, unterstützen zu müssen. Ein möglicher Lösungsansatz für dieses Problem ist das Paradigma der kompositen Webanwendungen. Auf deren Basis können Daten und UI-Widgets je nach Anwendungsfall teils automatisch kombiniert werden. Dies erhöht die Wiederverwendbarkeit und spart Zeit sowie Entwicklungskosten. Unter Zuhilfenahme von (semantischen) Modellen ist es zudem möglich, eine komposite RIA an die vorliegende Situation zu adaptieren. Um dem Endanwender Zugang zu den kompositen RIA zu verschaffen, mangelt es jedoch an einem Integrationsprozess, der den speziellen Anforderungen der InfoVis gerecht wird. Diese Dissertation stellt deshalb neue Konzepte für einen ganzheitlichen Semantik-gestützten InfoVis-Prozess vor, der bspw. die Endnutzer-gerechte Filterung großer Datensätze, die kontextsensitive Auswahl von InfoVis-Komponenten, die Nutzerunterstützung bei der Exploration und Interpretation der Daten sowie die Gewinnung und Wiederverwendung von Visualisierungswissen adressiert. Zur Unterstützung des InfoVis-Prozesses werden weiterhin Konzepte für eine formale Wissensbasis mit Domänenwissen vorgeschlagen. Die modulare, mit W3C-Standards prototypisch realisierte Visualisierungsontologie definiert u.a. Konzepte und Relationen zu Daten, graphischen Vokabular, menschlicher Aktivität sowie veränderliches Faktenwissen. Ein weiterer, wesentlicher Beitrag der Arbeit liegt in der Architekturkonzeption für modellbasierte, komposite RIA für die InfoVis-Domäne, womit ein neues Anwendungsfeld des Software-Paradigmas erschlossen wird. Damit steht nun erstmals für eine komposite, webbasierte InfoVis-Lösung ein ganzheitliches Architekturkonzept zur Verfügung, das die Ausführbarkeit der Anwendungen in der heute existierenden, heterogenen Landschaft der (mobilen) Endgeräte gewährleisten kann. Durch die Implementierung entscheidender Architekturkonzepte sowie einer beispielhaften InfoVis-Anwendung für semantische Daten wurde die Tragfähigkeit der geschaffenen Konzepte nachgewiesen. Anhand einer Vielzahl von formativen sowie einer summativen Nutzerstudien konnte validiert werden, dass sich aus den neuen Konzepten Vorteile für den Endanwender bei der Erstellung einer InfoVis ergeben.

Web systems have become an integral part in daily life of billions of people. Social is a key characteristic today’s web projects need to feature in order to be successful in the social age. To benefit from an improved user experience, individual persons are continually invited to reveal more and more personal data to web systems. With a rising severity of attacks on web systems, it is evident that their security is inadequate for the amount of accumulated personal data. Numerous threat reports indicate that social media has become a top-ranking attack target, with climbing impacts, with ramifications beyond single individuals and with a booming black market to trade leaked personal data. To enhance information security in managing personal data by web systems for the mutual benefit of individual persons, companies and governments, this dissertation proposes a solution architecture and three research contributions. While the solution architecture establishes the foundation for a more secure management of personal data by web systems, the research contributions represent complementary components for protecting personal data against unwanted data disclosure, tampering and use without the actual data owner’s intent or knowledge. Not only do these components enable seamless integration and combination, but they also contribute to assure quality and maintainability. The dissertation concludes with discussing evaluation results and providing an outlook towards future work.

Recent innovations in the information technology and computing devices magnified the volume of available information. Today’s decision makers face the challenge of analyzing ever more data in shorter timeframes. Demand for technology that can efficiently assist systematic data analysis is constantly growing. Development of dedicated information systems is, however, difficult both from organizational and technological point of view. First, traditional software production is a complex and time-consuming process that can not be performed under time-pressure. Second, changing business conditions and evolving stakeholder needs require solutions that can be efficiently tailored over time. Finally, costs of custom software development are high, so that not all use cases and scenarios can be covered sufficiently. This thesis proposes a holistic approach to address the challenges above and to enable efficient development of decision support software. The main idea is to empower end users, i.e., decision makers, in constructing their own case-specific solutions. The proposed approach called Web-Composition for End-User Development consists of a systematic process for development and evolution of decision support systems, assistance mechanisms to address lack of programming skills by decision makers and evolution facilities to enable cost- and time-efficient extensibility of user-produced solutions. The thesis describes implementation of the devised principles and ideas in the context of several open-source projects and application scenarios. Applicability and usability of the concepts are demonstrated in user studies with respective target groups. Based on the outcome analysis the thesis concludes that end users can and should actively participate in construction of decision support software.

Web Systems are widely used and accepted due to their advantages over traditional desktop applications. Modernization of existing non-Web software towards the Web, however, is a complex and challenging task due to Legacy System characteristics. Independent Software Vendors are struggling to commence Web Migration because of the involved effort and risk. Through systematic field research and problem analysis, this situation is further analyzed, deriving a set of requirements that represent the effort and risk concerns and are used to assess the state of the art in the field. Existing Web Migration research exhibits gaps concerning dedicated approaches for the initial phase and feasibility of the proposed strategies with limited resources and expertise. This thesis proposes a solution to address the shortcomings above and support Independent Software Vendors to commence Web Migration, focusing on effort and risk. The main idea is to provide a set of dedicated solutions to close the identified gaps in the form of a methodology and a supporting toolsuite that transfer paradigms successfully solving similar problems in other areas of computer science into the Web Migration domain. These solutions constitute the proposed approach called Agile Web Migration for SMEs (AWSM), consisting of methods, tools, principles, and formalisms for reverse engineering, risk management, customer impact control, and migration strategy selection. The thesis describes the research on the devised ideas in the context of a collaboration project with an Independent Software Vendor. Applicability and feasibility of the concepts are demonstrated in several evaluation experiments, integrating empirical user studies and objective measurements. The thesis concludes with an evaluation based on requirements assessment and application of the solutions in the application scenario, and it provides an outlook towards future work.:1 Introduction 2 Requirements Analysis 3 State of the Art 4 Addressing Effort and Risk Concerns in Web Migration 5 AWSM Reverse Engineering Method 6 AWSM Risk Management Method 7 AWSM Customer Impact Control Method 8 Evaluation 9 Conclusion and Outlook / Web-basierte Software-Systeme werden weithin verwendet und akzeptiert aufgrund ihrer Vorteile gegenüber traditionellen Desktopanwendungen. Die Modernisierung von Nicht-Web-Software zu Web-Software stellt jedoch wegen der Charakteristika von Legacy-Systemen eine komplexe und herausfordernde Aufgabe dar. Unabhängigen Softwareproduzenten (Independent Software Vendors) fällt es schwer, Web Migration zu initiieren aufgrund des damit einhergehenden Aufwands und Risikos. Durch systematische Primärerhebungen und Problemanalyse wird diese Situation weitergehend untersucht und eine Reihe von Anforderungen abgeleitet, welche die Aufwands- und Riskobedenken repräsentieren und verwendet werden, um den Stand der Technik in diesem Gebiet zu bewerten. Existierende Web Migration Forschung weist Mängel hinsichtlich von dedizierten Ansätzen für die initiale Phase und der Machbarkeit der vorgeschlagenen Strategien mit begrenzten Ressourcen und begrenzter Expertise auf. Diese Dissertation schlägt eine Lösung für die oben ausgeführten Mängel vor, um unabhängige Softwareproduzenten bei der Initiierung einer Web Migration zu unterstützen, welche sich auf ihre Bedenken bezüglich des Aufwands und Risikos fokussiert. Die Grundidee ist es eine Sammlung von dedizierten Lösungen für die identifizierten Mängel in Form einer Methodologie und einer Reihe von unterstützenden Werkzeugen anzubieten, welche Paradigmen, die erfolgreich ähnliche Probleme in anderen Gebieten der Informatik lösen konnten, in die Web Migration Domäne transferieren. Diese Lösungen ergeben den vorgeschlagenen Ansatz, Agile Web Migration for SMEs (AWSM), welcher aus Methoden, Werkzeugen, Prinzipien und Formalismen für Reverse Engineering, Riskomanagement, Customer Impact Control und Migrationsstrategieauswahl bestehen. Die Dissertation beschreibt die Forschung an den im Rahmen einer Industriekooperation mit einem unabhängigen Softwareproduzenten entwickelten Ideen. Anwendbarkeit und Machbarkeit der Konzepte werden in mehreren Evaluationsexperimenten, welche empirische Nutzerstudien mit objektiven Messungen verbinden, demonstriert. Die Dissertation schließt mit einer bewertenden Evaluation basierend auf den Anforderungen und auf dem Einsatz der Lösungen im Anwendungsszenario, sowie einem Ausblick auf weiterführende Arbeiten.:1 Introduction 2 Requirements Analysis 3 State of the Art 4 Addressing Effort and Risk Concerns in Web Migration 5 AWSM Reverse Engineering Method 6 AWSM Risk Management Method 7 AWSM Customer Impact Control Method 8 Evaluation 9 Conclusion and Outlook

Over the past 25 years, search engines have become one of the most important, if not the entry point of the World Wide Web. This development has been primarily due to the continuously increasing amount of available documents, which are highly unstructured. Moreover, the general trend is towards classifying search results into categories and presenting them in terms of semantic information that answer users' queries without having to leave the search engine. With the growing amount of documents and technological enhancements, the needs of users as well as search engines are continuously evolving. Users want to be presented with increasingly sophisticated results and interfaces while companies have to place advertisements and make revenue to be able to offer their services for free. To address the above needs, it is more and more important to provide highly usable and optimized search engine results pages (SERPs). Yet, existing approaches to usability evaluation are often costly or time-consuming and mostly rely on explicit feedback. They are either not efficient or not effective while SERP interfaces are commonly optimized primarily from a company's point of view. Moreover, existing approaches to predicting search result relevance, which are mostly based on clicks, are not tailored to the evolving kinds of SERPs. For instance, they fail if queries are answered directly on a SERP and no clicks need to happen. Applying Human-Centered Design principles, we propose a solution to the above in terms of a holistic approach that intends to satisfy both, searchers and developers. It provides novel means to counteract exclusively company-centric design and to make use of implicit user feedback for efficient and effective evaluation and optimization of usability and, in particular, relevance. We define personas and scenarios from which we infer unsolved problems and a set of well-defined requirements. Based on these requirements, we design and develop the Search Interaction Optimization toolkit. Using a bottom-up approach, we moreover define an eponymous, higher-level methodology. The Search Interaction Optimization toolkit comprises a total of six components. We start with INUIT [1], which is a novel minimal usability instrument specifically aiming at meaningful correlations with implicit user feedback in terms of client-side interactions. Hence, it serves as a basis for deriving usability scores directly from user behavior. INUIT has been designed based on reviews of established usability standards and guidelines as well as interviews with nine dedicated usability experts. Its feasibility and effectiveness have been investigated in a user study. Also, a confirmatory factor analysis shows that the instrument can reasonably well describe real-world perceptions of usability. Subsequently, we introduce WaPPU [2], which is a context-aware A/B testing tool based on INUIT. WaPPU implements the novel concept of Usability-based Split Testing and enables automatic usability evaluation of arbitrary SERP interfaces based on a quantitative score that is derived directly from user interactions. For this, usability models are automatically trained and applied based on machine learning techniques. In particular, the tool is not restricted to evaluating SERPs, but can be used with any web interface. Building on the above, we introduce S.O.S., the SERP Optimization Suite [3], which comprises WaPPU as well as a catalog of best practices [4]. Once it has been detected that an investigated SERP's usability is suboptimal based on scores delivered by WaPPU, corresponding optimizations are automatically proposed based on the catalog of best practices. This catalog has been compiled in a three-step process involving reviews of existing SERP interfaces and contributions by 20 dedicated usability experts. While the above focus on the general usability of SERPs, presenting the most relevant results is specifically important for search engines. Hence, our toolkit contains TellMyRelevance! (TMR) [5] — the first end-to-end pipeline for predicting search result relevance based on users’ interactions beyond clicks. TMR is a fully automatic approach that collects necessary information on the client, processes it on the server side and trains corresponding relevance models based on machine learning techniques. Predictions made by these models can then be fed back into the ranking process of the search engine, which improves result quality and hence also usability. StreamMyRelevance! (SMR) [6] takes the concept of TMR one step further by providing a streaming-based version. That is, SMR collects and processes interaction data and trains relevance models in near real-time. Based on a user study and large-scale log analysis involving real-world search engines, we have evaluated the components of the Search Interaction Optimization toolkit as a whole—also to demonstrate the interplay of the different components. S.O.S., WaPPU and INUIT have been engaged in the evaluation and optimization of a real-world SERP interface. Results show that our tools are able to correctly identify even subtle differences in usability. Moreover, optimizations proposed by S.O.S. significantly improved the usability of the investigated and redesigned SERP. TMR and SMR have been evaluated in a GB-scale interaction log analysis as well using data from real-world search engines. Our findings indicate that they are able to yield predictions that are better than those of competing state-of-the-art systems considering clicks only. Also, a comparison of SMR to existing solutions shows its superiority in terms of efficiency, robustness and scalability. The thesis concludes with a discussion of the potential and limitations of the above contributions and provides an overview of potential future work. / Im Laufe der vergangenen 25 Jahre haben sich Suchmaschinen zu einem der wichtigsten, wenn nicht gar dem wichtigsten Zugangspunkt zum World Wide Web (WWW) entwickelt. Diese Entwicklung resultiert vor allem aus der kontinuierlich steigenden Zahl an Dokumenten, welche im WWW verfügbar, jedoch sehr unstrukturiert organisiert sind. Überdies werden Suchergebnisse immer häufiger in Kategorien klassifiziert und in Form semantischer Informationen bereitgestellt, die direkt in der Suchmaschine konsumiert werden können. Dies spiegelt einen allgemeinen Trend wider. Durch die wachsende Zahl an Dokumenten und technologischen Neuerungen wandeln sich die Bedürfnisse von sowohl Nutzern als auch Suchmaschinen ständig. Nutzer wollen mit immer besseren Suchergebnissen und Interfaces versorgt werden, während Suchmaschinen-Unternehmen Werbung platzieren und Gewinn machen müssen, um ihre Dienste kostenlos anbieten zu können. Damit geht die Notwendigkeit einher, in hohem Maße benutzbare und optimierte Suchergebnisseiten – sogenannte SERPs (search engine results pages) – für Nutzer bereitzustellen. Gängige Methoden zur Evaluierung und Optimierung von Usability sind jedoch größtenteils kostspielig oder zeitaufwändig und basieren meist auf explizitem Feedback. Sie sind somit entweder nicht effizient oder nicht effektiv, weshalb Optimierungen an Suchmaschinen-Schnittstellen häufig primär aus dem Unternehmensblickwinkel heraus durchgeführt werden. Des Weiteren sind bestehende Methoden zur Vorhersage der Relevanz von Suchergebnissen, welche größtenteils auf der Auswertung von Klicks basieren, nicht auf neuartige SERPs zugeschnitten. Zum Beispiel versagen diese, wenn Suchanfragen direkt auf der Suchergebnisseite beantwortet werden und der Nutzer nicht klicken muss. Basierend auf den Prinzipien des nutzerzentrierten Designs entwickeln wir eine Lösung in Form eines ganzheitlichen Ansatzes für die oben beschriebenen Probleme. Dieser Ansatz orientiert sich sowohl an Nutzern als auch an Entwicklern. Unsere Lösung stellt automatische Methoden bereit, um unternehmenszentriertem Design entgegenzuwirken und implizites Nutzerfeedback für die effizienteund effektive Evaluierung und Optimierung von Usability und insbesondere Ergebnisrelevanz nutzen zu können. Wir definieren Personas und Szenarien, aus denen wir ungelöste Probleme und konkrete Anforderungen ableiten. Basierend auf diesen Anforderungen entwickeln wir einen entsprechenden Werkzeugkasten, das Search Interaction Optimization Toolkit. Mittels eines Bottom-up-Ansatzes definieren wir zudem eine gleichnamige Methodik auf einem höheren Abstraktionsniveau. Das Search Interaction Optimization Toolkit besteht aus insgesamt sechs Komponenten. Zunächst präsentieren wir INUIT [1], ein neuartiges, minimales Instrument zur Bestimmung von Usability, welches speziell auf sinnvolle Korrelationen mit implizitem Nutzerfeedback in Form Client-seitiger Interaktionen abzielt. Aus diesem Grund dient es als Basis für die direkte Herleitung quantitativer Usability-Bewertungen aus dem Verhalten von Nutzern. Das Instrument wurde basierend auf Untersuchungen etablierter Usability-Standards und -Richtlinien sowie Experteninterviews entworfen. Die Machbarkeit und Effektivität der Benutzung von INUIT wurden in einer Nutzerstudie untersucht und darüber hinaus durch eine konfirmatorische Faktorenanalyse bestätigt. Im Anschluss beschreiben wir WaPPU [2], welches ein kontextsensitives, auf INUIT basierendes Tool zur Durchführung von A/B-Tests ist. Es implementiert das neuartige Konzept des Usability-based Split Testing und ermöglicht die automatische Evaluierung der Usability beliebiger SERPs basierend auf den bereits zuvor angesprochenen quantitativen Bewertungen, welche direkt aus Nutzerinteraktionen abgeleitet werden. Hierzu werden Techniken des maschinellen Lernens angewendet, um automatisch entsprechende Usability-Modelle generieren und anwenden zu können. WaPPU ist insbesondere nicht auf die Evaluierung von Suchergebnisseiten beschränkt, sondern kann auf jede beliebige Web-Schnittstelle in Form einer Webseite angewendet werden. Darauf aufbauend beschreiben wir S.O.S., die SERP Optimization Suite [3], welche das Tool WaPPU sowie einen neuartigen Katalog von „Best Practices“ [4] umfasst. Sobald eine durch WaPPU gemessene, suboptimale Usability-Bewertung festgestellt wird, werden – basierend auf dem Katalog von „Best Practices“ – automatisch entsprechende Gegenmaßnahmen und Optimierungen für die untersuchte Suchergebnisseite vorgeschlagen. Der Katalog wurde in einem dreistufigen Prozess erarbeitet, welcher die Untersuchung bestehender Suchergebnisseiten sowie eine Anpassung und Verifikation durch 20 Usability-Experten beinhaltete. Die bisher angesprochenen Tools fokussieren auf die generelle Usability von SERPs, jedoch ist insbesondere die Darstellung der für den Nutzer relevantesten Ergebnisse eminent wichtig für eine Suchmaschine. Da Relevanz eine Untermenge von Usability ist, beinhaltet unser Werkzeugkasten daher das Tool TellMyRelevance! (TMR) [5], die erste End-to-End-Lösung zur Vorhersage von Suchergebnisrelevanz basierend auf Client-seitigen Nutzerinteraktionen. TMR ist einvollautomatischer Ansatz, welcher die benötigten Daten auf dem Client abgreift, sie auf dem Server verarbeitet und entsprechende Relevanzmodelle bereitstellt. Die von diesen Modellen getroffenen Vorhersagen können wiederum in den Ranking-Prozess der Suchmaschine eingepflegt werden, was schlussendlich zu einer Verbesserung der Usability führt. StreamMyRelevance! (SMR) [6] erweitert das Konzept von TMR, indem es einen Streaming-basierten Ansatz bereitstellt. Hierbei geschieht die Sammlung und Verarbeitung der Daten sowie die Bereitstellung der Relevanzmodelle in Nahe-Echtzeit. Basierend auf umfangreichen Nutzerstudien mit echten Suchmaschinen haben wir den entwickelten Werkzeugkasten als Ganzes evaluiert, auch, um das Zusammenspiel der einzelnen Komponenten zu demonstrieren. S.O.S., WaPPU und INUIT wurden zur Evaluierung und Optimierung einer realen Suchergebnisseite herangezogen. Die Ergebnisse zeigen, dass unsere Tools in der Lage sind, auch kleine Abweichungen in der Usability korrekt zu identifizieren. Zudem haben die von S.O.S.vorgeschlagenen Optimierungen zu einer signifikanten Verbesserung der Usability der untersuchten und überarbeiteten Suchergebnisseite geführt. TMR und SMR wurden mit Datenmengen im zweistelligen Gigabyte-Bereich evaluiert, welche von zwei realen Hotelbuchungsportalen stammen. Beide zeigen das Potential, bessere Vorhersagen zu liefern als konkurrierende Systeme, welche lediglich Klicks auf Ergebnissen betrachten. SMR zeigt gegenüber allen anderen untersuchten Systemen zudem deutliche Vorteile bei Effizienz, Robustheit und Skalierbarkeit. Die Dissertation schließt mit einer Diskussion des Potentials und der Limitierungen der erarbeiteten Forschungsbeiträge und gibt einen Überblick über potentielle weiterführende und zukünftige Forschungsarbeiten.

Over the past 25 years, search engines have become one of the most important, if not the entry point of the World Wide Web. This development has been primarily due to the continuously increasing amount of available documents, which are highly unstructured. Moreover, the general trend is towards classifying search results into categories and presenting them in terms of semantic information that answer users' queries without having to leave the search engine. With the growing amount of documents and technological enhancements, the needs of users as well as search engines are continuously evolving. Users want to be presented with increasingly sophisticated results and interfaces while companies have to place advertisements and make revenue to be able to offer their services for free. To address the above needs, it is more and more important to provide highly usable and optimized search engine results pages (SERPs). Yet, existing approaches to usability evaluation are often costly or time-consuming and mostly rely on explicit feedback. They are either not efficient or not effective while SERP interfaces are commonly optimized primarily from a company's point of view. Moreover, existing approaches to predicting search result relevance, which are mostly based on clicks, are not tailored to the evolving kinds of SERPs. For instance, they fail if queries are answered directly on a SERP and no clicks need to happen. Applying Human-Centered Design principles, we propose a solution to the above in terms of a holistic approach that intends to satisfy both, searchers and developers. It provides novel means to counteract exclusively company-centric design and to make use of implicit user feedback for efficient and effective evaluation and optimization of usability and, in particular, relevance. We define personas and scenarios from which we infer unsolved problems and a set of well-defined requirements. Based on these requirements, we design and develop the Search Interaction Optimization toolkit. Using a bottom-up approach, we moreover define an eponymous, higher-level methodology. The Search Interaction Optimization toolkit comprises a total of six components. We start with INUIT [1], which is a novel minimal usability instrument specifically aiming at meaningful correlations with implicit user feedback in terms of client-side interactions. Hence, it serves as a basis for deriving usability scores directly from user behavior. INUIT has been designed based on reviews of established usability standards and guidelines as well as interviews with nine dedicated usability experts. Its feasibility and effectiveness have been investigated in a user study. Also, a confirmatory factor analysis shows that the instrument can reasonably well describe real-world perceptions of usability. Subsequently, we introduce WaPPU [2], which is a context-aware A/B testing tool based on INUIT. WaPPU implements the novel concept of Usability-based Split Testing and enables automatic usability evaluation of arbitrary SERP interfaces based on a quantitative score that is derived directly from user interactions. For this, usability models are automatically trained and applied based on machine learning techniques. In particular, the tool is not restricted to evaluating SERPs, but can be used with any web interface. Building on the above, we introduce S.O.S., the SERP Optimization Suite [3], which comprises WaPPU as well as a catalog of best practices [4]. Once it has been detected that an investigated SERP's usability is suboptimal based on scores delivered by WaPPU, corresponding optimizations are automatically proposed based on the catalog of best practices. This catalog has been compiled in a three-step process involving reviews of existing SERP interfaces and contributions by 20 dedicated usability experts. While the above focus on the general usability of SERPs, presenting the most relevant results is specifically important for search engines. Hence, our toolkit contains TellMyRelevance! (TMR) [5] — the first end-to-end pipeline for predicting search result relevance based on users’ interactions beyond clicks. TMR is a fully automatic approach that collects necessary information on the client, processes it on the server side and trains corresponding relevance models based on machine learning techniques. Predictions made by these models can then be fed back into the ranking process of the search engine, which improves result quality and hence also usability. StreamMyRelevance! (SMR) [6] takes the concept of TMR one step further by providing a streaming-based version. That is, SMR collects and processes interaction data and trains relevance models in near real-time. Based on a user study and large-scale log analysis involving real-world search engines, we have evaluated the components of the Search Interaction Optimization toolkit as a whole—also to demonstrate the interplay of the different components. S.O.S., WaPPU and INUIT have been engaged in the evaluation and optimization of a real-world SERP interface. Results show that our tools are able to correctly identify even subtle differences in usability. Moreover, optimizations proposed by S.O.S. significantly improved the usability of the investigated and redesigned SERP. TMR and SMR have been evaluated in a GB-scale interaction log analysis as well using data from real-world search engines. Our findings indicate that they are able to yield predictions that are better than those of competing state-of-the-art systems considering clicks only. Also, a comparison of SMR to existing solutions shows its superiority in terms of efficiency, robustness and scalability. The thesis concludes with a discussion of the potential and limitations of the above contributions and provides an overview of potential future work. / Im Laufe der vergangenen 25 Jahre haben sich Suchmaschinen zu einem der wichtigsten, wenn nicht gar dem wichtigsten Zugangspunkt zum World Wide Web (WWW) entwickelt. Diese Entwicklung resultiert vor allem aus der kontinuierlich steigenden Zahl an Dokumenten, welche im WWW verfügbar, jedoch sehr unstrukturiert organisiert sind. Überdies werden Suchergebnisse immer häufiger in Kategorien klassifiziert und in Form semantischer Informationen bereitgestellt, die direkt in der Suchmaschine konsumiert werden können. Dies spiegelt einen allgemeinen Trend wider. Durch die wachsende Zahl an Dokumenten und technologischen Neuerungen wandeln sich die Bedürfnisse von sowohl Nutzern als auch Suchmaschinen ständig. Nutzer wollen mit immer besseren Suchergebnissen und Interfaces versorgt werden, während Suchmaschinen-Unternehmen Werbung platzieren und Gewinn machen müssen, um ihre Dienste kostenlos anbieten zu können. Damit geht die Notwendigkeit einher, in hohem Maße benutzbare und optimierte Suchergebnisseiten – sogenannte SERPs (search engine results pages) – für Nutzer bereitzustellen. Gängige Methoden zur Evaluierung und Optimierung von Usability sind jedoch größtenteils kostspielig oder zeitaufwändig und basieren meist auf explizitem Feedback. Sie sind somit entweder nicht effizient oder nicht effektiv, weshalb Optimierungen an Suchmaschinen-Schnittstellen häufig primär aus dem Unternehmensblickwinkel heraus durchgeführt werden. Des Weiteren sind bestehende Methoden zur Vorhersage der Relevanz von Suchergebnissen, welche größtenteils auf der Auswertung von Klicks basieren, nicht auf neuartige SERPs zugeschnitten. Zum Beispiel versagen diese, wenn Suchanfragen direkt auf der Suchergebnisseite beantwortet werden und der Nutzer nicht klicken muss. Basierend auf den Prinzipien des nutzerzentrierten Designs entwickeln wir eine Lösung in Form eines ganzheitlichen Ansatzes für die oben beschriebenen Probleme. Dieser Ansatz orientiert sich sowohl an Nutzern als auch an Entwicklern. Unsere Lösung stellt automatische Methoden bereit, um unternehmenszentriertem Design entgegenzuwirken und implizites Nutzerfeedback für die effizienteund effektive Evaluierung und Optimierung von Usability und insbesondere Ergebnisrelevanz nutzen zu können. Wir definieren Personas und Szenarien, aus denen wir ungelöste Probleme und konkrete Anforderungen ableiten. Basierend auf diesen Anforderungen entwickeln wir einen entsprechenden Werkzeugkasten, das Search Interaction Optimization Toolkit. Mittels eines Bottom-up-Ansatzes definieren wir zudem eine gleichnamige Methodik auf einem höheren Abstraktionsniveau. Das Search Interaction Optimization Toolkit besteht aus insgesamt sechs Komponenten. Zunächst präsentieren wir INUIT [1], ein neuartiges, minimales Instrument zur Bestimmung von Usability, welches speziell auf sinnvolle Korrelationen mit implizitem Nutzerfeedback in Form Client-seitiger Interaktionen abzielt. Aus diesem Grund dient es als Basis für die direkte Herleitung quantitativer Usability-Bewertungen aus dem Verhalten von Nutzern. Das Instrument wurde basierend auf Untersuchungen etablierter Usability-Standards und -Richtlinien sowie Experteninterviews entworfen. Die Machbarkeit und Effektivität der Benutzung von INUIT wurden in einer Nutzerstudie untersucht und darüber hinaus durch eine konfirmatorische Faktorenanalyse bestätigt. Im Anschluss beschreiben wir WaPPU [2], welches ein kontextsensitives, auf INUIT basierendes Tool zur Durchführung von A/B-Tests ist. Es implementiert das neuartige Konzept des Usability-based Split Testing und ermöglicht die automatische Evaluierung der Usability beliebiger SERPs basierend auf den bereits zuvor angesprochenen quantitativen Bewertungen, welche direkt aus Nutzerinteraktionen abgeleitet werden. Hierzu werden Techniken des maschinellen Lernens angewendet, um automatisch entsprechende Usability-Modelle generieren und anwenden zu können. WaPPU ist insbesondere nicht auf die Evaluierung von Suchergebnisseiten beschränkt, sondern kann auf jede beliebige Web-Schnittstelle in Form einer Webseite angewendet werden. Darauf aufbauend beschreiben wir S.O.S., die SERP Optimization Suite [3], welche das Tool WaPPU sowie einen neuartigen Katalog von „Best Practices“ [4] umfasst. Sobald eine durch WaPPU gemessene, suboptimale Usability-Bewertung festgestellt wird, werden – basierend auf dem Katalog von „Best Practices“ – automatisch entsprechende Gegenmaßnahmen und Optimierungen für die untersuchte Suchergebnisseite vorgeschlagen. Der Katalog wurde in einem dreistufigen Prozess erarbeitet, welcher die Untersuchung bestehender Suchergebnisseiten sowie eine Anpassung und Verifikation durch 20 Usability-Experten beinhaltete. Die bisher angesprochenen Tools fokussieren auf die generelle Usability von SERPs, jedoch ist insbesondere die Darstellung der für den Nutzer relevantesten Ergebnisse eminent wichtig für eine Suchmaschine. Da Relevanz eine Untermenge von Usability ist, beinhaltet unser Werkzeugkasten daher das Tool TellMyRelevance! (TMR) [5], die erste End-to-End-Lösung zur Vorhersage von Suchergebnisrelevanz basierend auf Client-seitigen Nutzerinteraktionen. TMR ist einvollautomatischer Ansatz, welcher die benötigten Daten auf dem Client abgreift, sie auf dem Server verarbeitet und entsprechende Relevanzmodelle bereitstellt. Die von diesen Modellen getroffenen Vorhersagen können wiederum in den Ranking-Prozess der Suchmaschine eingepflegt werden, was schlussendlich zu einer Verbesserung der Usability führt. StreamMyRelevance! (SMR) [6] erweitert das Konzept von TMR, indem es einen Streaming-basierten Ansatz bereitstellt. Hierbei geschieht die Sammlung und Verarbeitung der Daten sowie die Bereitstellung der Relevanzmodelle in Nahe-Echtzeit. Basierend auf umfangreichen Nutzerstudien mit echten Suchmaschinen haben wir den entwickelten Werkzeugkasten als Ganzes evaluiert, auch, um das Zusammenspiel der einzelnen Komponenten zu demonstrieren. S.O.S., WaPPU und INUIT wurden zur Evaluierung und Optimierung einer realen Suchergebnisseite herangezogen. Die Ergebnisse zeigen, dass unsere Tools in der Lage sind, auch kleine Abweichungen in der Usability korrekt zu identifizieren. Zudem haben die von S.O.S.vorgeschlagenen Optimierungen zu einer signifikanten Verbesserung der Usability der untersuchten und überarbeiteten Suchergebnisseite geführt. TMR und SMR wurden mit Datenmengen im zweistelligen Gigabyte-Bereich evaluiert, welche von zwei realen Hotelbuchungsportalen stammen. Beide zeigen das Potential, bessere Vorhersagen zu liefern als konkurrierende Systeme, welche lediglich Klicks auf Ergebnissen betrachten. SMR zeigt gegenüber allen anderen untersuchten Systemen zudem deutliche Vorteile bei Effizienz, Robustheit und Skalierbarkeit. Die Dissertation schließt mit einer Diskussion des Potentials und der Limitierungen der erarbeiteten Forschungsbeiträge und gibt einen Überblick über potentielle weiterführende und zukünftige Forschungsarbeiten.