Web developers are confronted with evaluating the usability of Web interfaces. Automatic Web usability evaluation tools are available, but they are limited in the types of problems they can handle. Tool support for manual usability evaluation is needed. Accordingly, this research focuses on developing a tool for supporting manual processes in Heuristic Evaluation inspection. The research was conveyed in three phases. First, an observational study was conducted in order to characterize the inspection process in Heuristic Evaluation. The videos of evaluators applying a Heuristic Evaluation on a non-interactive, paper-based Web interface were analyzed to dissect the inspection process. Second, based on the study, a tool for annotating Web interfaces when applying Heuristic Evaluations was developed. Finally, a survey is conducted to evaluate the tool and learn the role of annotations in inspection. Recommendations for improving the use of annotations in problem reporting are outlined. Overall, users were satisfied with the tool. The goal of this research, designing and developing an inspection tool, is achieved.

Η παρούσα διατριβή πραγματεύεται το πρόβλημα της αποτελεσματικής αξιολόγησης ευχρηστίας φορητών εφαρμογών. Με τον όρο “φορητές εφαρμογές” περιγράφονται οι ηλεκτρονικές υπηρεσίες που είναι σχεδιασμένες να παρέχονται μέσω φορητών συσκευών και έχουν ως στόχο να βοηθήσουν τον άνθρωπο στις καθημερινές του προσωπικές ή επαγγελματικές δραστηριότητες. Η αλληλεπίδραση ενός χρήστη με μία τέτοια ηλεκτρονική υπηρεσία είναι μια διαδικασία πολύπλοκη που δεν υποστηρίζεται από μία μεμονωμένη εφαρμογή και δεν περιορίζεται πλέον στα στενά όρια ενός γραφείου. Αντίθετα, επιτυγχάνεται με διαμεσολάβηση σύγχρονων και συχνά πολυχρηστικών υπολογιστικών μονάδων (φορητές συσκευές, υπολογιστές) και επιμέρους συσκευών και λαμβάνει χώρα σε διάφορα φυσικά περιβάλλοντα. Σε πολλές περιπτώσεις εμπλέκει περισσότερους από έναν χρήστες οι οποίοι μπορεί να συνεργάζονται είτε εκ του σύνεγγυς είτε εξ αποστάσεως προκειμένου να εκτελέσουν μια εργασία. Η μελέτη αυτής της αλληλεπίδρασης μπορεί να δώσει πολύτιμα συμπεράσματα τόσο για την ευκολία χρήσης των σύγχρονων υπολογιστικών συστημάτων όσο και για τη χρησιμότητά τους και αποτελεί μια σημαντική ερευνητική πρόκληση του επιστημονικού πεδίου Αλληλεπίδρασης Ανθρώπου Υπολογιστή και ιδιαίτερα της Τεχνολογίας Ευχρηστίας. Οι κλασσικές μέθοδοι ευχρηστίας καλούνται να αντιμετωπίσουν την πρόκληση της επιτυχούς αξιολόγησης των φορητών εφαρμογών, δηλαδή της αποτίμησης των χαρακτηριστικών ποιότητάς τους που επηρεάζουν την εμπειρία χρήσης τους. Τόσο τα χαρακτηριστικά των χρησιμοποιούμενων συσκευών όσο και το περιβάλλον χρήσης των εφαρμογών αυτών, τις διαφοροποιούν κατά πολύ από τις εφαρμογές επιτραπέζιου υπολογιστή. Καθώς η διείσδυσή τους στις καθημερινές δραστηριότητες του ανθρώπου είναι ολοένα και αυξανόμενη, η ανάγκη για μεθοδολογίες και εργαλεία που μπορούν να βοηθήσουν την αξιολόγηση της χρήσης τους κρίνεται επιτακτική. Στην παρούσα εργασία καταρχήν περιγράφονται οι κλασσικές μέθοδοι αξιολόγησης υπολογιστικών συστημάτων και στη συνέχεια αξιολογούνται ως προς την επάρκεια των δεδομένων που μπορούν να συλλέξουν και την πληρότητα των αποτελεσμάτων που μπορούν να δώσουν στην περίπτωση χρήσης τους για αξιολόγηση ευχρηστίας φορητών εφαρμογών. Παράλληλα γίνεται επισκόπηση της βιβλιογραφίας που Περίληψη 12 Διδακτορική διατριβή αφορά την αξιολόγηση ευχρηστίας των φορητών εφαρμογών και εξετάζονται τα κυριότερα ζητήματα της μεθόδου αξιολόγησης, περιλαμβάνοντας μεταξύ άλλων την επιλογή του χώρου αξιολόγησης και τα δεδομένα που πρέπει να συλλεγούν και αναλυθούν. Στη συνέχεια προτείνεται η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC (MOBile Evaluation Life Cycle methodology). Η MOBELIC υποστηρίζει την αξιολόγηση ευχρηστίας μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της. Αποτελεί συνδυασμό από υπάρχουσες μεθόδους αξιολόγησης λαμβάνοντας όμως υπόψη τη φάση ανάπτυξης στην οποία βρίσκεται η υπό αξιολόγηση φορητή εφαρμογή, την ποιότητα των αποτελεσμάτων που προκύπτουν από κάθε μέθοδο, το χρόνο και τους πόρους που απαιτούνται για τη διεξαγωγή καθεμιάς από αυτές, καθώς και το χρόνο για την ανάλυση των δεδομένων τους και την εξαγωγή πολύτιμων συμπερασμάτων. Η συνεισφορά της μεθοδολογίας MOBELIC έγκειται στο γεγονός ότι βελτιστοποιεί τη διαδικασία αξιολόγησης μιας φορητής εφαρμογής υποστηρίζοντάς την από τις αρχικές φάσεις ανάπτυξης μέχρι τα τελευταία στάδια ολοκλήρωσής της. Προκειμένου να υποστηριχθεί η μεθοδολογία ΜOBELIC, σχεδιάστηκε και αναπτύχθηκε το εργαλείο ActivityLens. Αποτελεί ένα εργαλείο παρατήρησης και ανάλυσης των δεδομένων που συλλέγονται κατά τη διάρκεια μελετών της αλληλεπίδρασης χρηστών με φορητές εφαρμογές. Το εργαλείο παρέχει τη δυνατότητα παρακολούθησης των διακριτών φάσεων ανάπτυξης μιας φορητής εφαρμογής και επιτρέπει τη σύγκριση των προβλημάτων ευχρηστίας που παρατηρούνται σε αυτές, χρησιμοποιώντας κοινό σχήμα κωδικοποίησης των προβλημάτων. Παράλληλα, ενσωματώνοντας κατάλληλα σχεδιασμένες λειτουργίες, βοηθάει τον αναλυτή να απομονώσει συγκεκριμένους τύπους δράσεων που υποδεικνύουν πρόβλημα στη χρήση των εξεταζόμενων εφαρμογών. Τέλος στα πλαίσια της παρούσας διατριβής, εξετάζεται η εφαρμοσιμότητα της προτεινόμενης μεθοδολογίας καθώς και η αποτελεσματικότητα του εργαλείου ανάλυσης, μέσα από μία μελέτη περίπτωσης που περιλαμβάνει τη διενέργεια 3 διακριτών πειραμάτων. Η αξιολόγηση αφορά μία συνεργατική εκπαιδευτική φορητή εφαρμογή προορισμένη να πληροφορεί μαθητές για τα εκθέματα ενός Μουσείου. / This thesis deals with the problem of effective usability evaluation of mobile applications. The term “mobile applications” describes the electronic services that are designed to operate under mobile devices in order to meet the everyday needs of people. There are special characteristics of mobile applications, compared to established desktop applications. Thus, the dynamic context of use and the small size of mediating mobile devices differentiate their use and increase the complexity of their usability evaluation. There are various established methods that have been extensively used in traditional human-computer interaction research in order to evaluate the use of desktop applications. This thesis, firstly examines the suitability of such methods in usability evaluation of mobile applications. The survey indicated that all these methods can be effective. However their application produces different types of data and requires different amount and kind of resources. In the frame of this thesis, MOBELIC, a new methodology for the usability evaluation of mobile applications, is proposed. The goal of MOBELIC is the optimization of evaluation process due to the short life-cycle of mobile applications. It is an effective combination of selected established methods supporting the redesign of a mobile application during its development life-cycle. The main characteristic of this methodology is that it proposes the iterative application of each evaluation method, depending on certain factors, such as the mobile application implementation phase, the quality of the expected method results and the required resources. Subsequently, the design and the implementation of a usability evaluation tool, the ActivityLens, that support the proposed methodology, are described in this thesis. ActivityLens integrates and synchronizes multiple heterogeneous data that describe the interaction of real users with mobile applications. Furthermore, the tool incorporates especially designed mechanisms for annotation and analysis of collected data in order to facilitate usability experts to extract meaningful information. The applicability of the proposed methodology and the effectiveness of the ActivityLens are examined through an extended case study in which the usability of an educational mobile application is evaluated. The case study consists of three discrete experiments including the use of different evaluation methods according to the proposed methodology.

Η παρούσα διατριβή πραγματεύεται το πρόβλημα της αποτελεσματικής σχεδίασης ιστοτόπων που υποστηρίζουν την εύχρηστη διαδραστική αναζήτηση. Με τον όρο διαδραστική αναζήτηση περιγράφεται η διερευνητική αλληλεπίδραση ενός χρήστη με έναν ιστότοπο, με στόχο την εύρεση πληροφορίας στο πλαίσιο μίας εργασίας του, χωρίς τη χρήση διαδικτυακών μηχανών αναζήτησης. Η διατριβή εντάσσεται στην περιοχή της ευχρηστίας του Διαδικτύου και γενικότερα της μελέτης αλληλεπίδρασης ανθρώπου-υπολογιστή και ειδικότερα αλληλεπίδρασης χρηστών με πληροφορία. Ένας ιστότοπος είναι συχνά, όχι μόνο μια εφαρμογή με την οποία αλληλεπιδρά ο χρήστης αλλά και ένας πληροφοριακός χώρος, του οποίου η κατάλληλη δόμηση και διασύνδεση του περιεχομένου επηρεάζουν σε μεγάλο βαθμό την ευχρηστία του. Συνεπώς, η ανάπτυξη μεθοδολογιών για τον επιτυχή σχεδιασμό της πληροφοριακής αρχιτεκτονικής (information architecture) ενός ιστοτόπου παραμένει μία σημαντική σχεδιαστική πρόκληση. Η διατριβή προτείνει μία νέα μεθοδολογία σχεδιασμού και αξιολόγησης της πληροφοριακής αρχιτεκτονικής ιστοτόπων, τη MEDIAMIS (Methodology for the Efficient Design of Information Architectures based on Models of Interactive Search). Η συνεισφορά της έγκειται στο γεγονός ότι βελτιστοποιεί και συστηματοποιεί τη διαδικασία σχεδιασμού ή αξιολόγησης. Η MEDIAMIS είναι εμπνευσμένη από εδραιωμένες χρηστοκεντρικές τεχνικές και πρόσφατα μοντέλα της συμπεριφοράς των ανθρώπων κατά τη διαδραστική αναζήτηση. Η μεθοδολογία απευθύνεται σε μηχανικούς του Διαδικτύου και αποσκοπεί στη δημιουργία ιστοτόπων που υποστηρίζουν την εύχρηστη διαδραστική αναζήτηση από τους χρήστες τους. Προκειμένου να υποστηριχθεί η MEDIAMIS αναπτύχθηκαν δύο πρωτότυπα εργαλεία, το AutoCardSorter (Automated Card Sorting Tool) και το ISEtool (InfoScent Evaluator Tool). Το πρώτο υποστηρίζει τη διαδικασία δόμησης του περιεχομένου ενός ιστοτόπου, ενώ το δεύτερο τη δημιουργία σημασιολογικά κατάλληλων λεκτικών περιγραφών για τους υπερσυνδέσμους ενός ιστοτόπου. Τέλος, στο πλαίσιο της διατριβής, εξετάζεται η εγκυρότητα και αποδοτικότητα της MEDIAMIS και των υποστηρικτικών εργαλείων, μέσα από έξι πειραματικές μελέτες. Στις μελέτες αυτές συγκρίθηκαν εκτενώς τα αποτελέσματα της προτεινόμενης προσέγγισης με αυτά καθιερωμένων χρηστοκεντρικών τεχνικών και μετρικών της παρατηρούμενης συμπεριφοράς των χρηστών. Τα συμπεράσματα των μελετών έδειξαν ότι η MEDIAMIS παράγει αποτελέσματα εφάμιλλης ποιότητας με εδραιωμένες χρηστοκεντρικές τεχνικές, αλλά με σημαντικά αποδοτικότερο τρόπο. / This thesis addresses the problem of effective design of websites that enhance findability of information during interactive search. The term interactive search is used to describe the exploratory, goal−directed browsing activity of a user, while seeking information in a website. Seeking information using a search engine is not an object of study in this thesis. The thesis falls into the field of human computer interaction, and the subfields of Web usability and human information interaction. A website should be treated both as a user interface as well as a hypertext information space, whose structural design has a significant influence on intuitive access to content, task completion and overall user experience. In today’s information explosion, one of the biggest challenges in web design is the effective design of its information architecture. The latter constitutes the research objective of this thesis. The thesis proposes a new methodology to design and evaluate the information architecture of websites, the MEDIAMIS (Methodology for the Efficient Design of Information Architectures based on Models of Interactive Search). The contribution of the proposed approach is that is optimizes and systemizes the information architecture design or evaluation process. MEDIAMIS is inspired by established user-centered techniques and recent cognitive models of user’s interactive search behavior. MEDIAMIS is addressed to Web practitioners and deals with the design or evaluation of a website’s information structure and labeling system. In the context of the proposed methodology, two innovative tools have been developed. The first tool, AutoCardSorter (Automated Card Sorting Tool), supports the structural design of a website. The second tool, ISEtool (InfoScent Evaluator Tool), facilitates the production of semantically appropriate hyperlink labels for the typical goals of a website. The applicability of the proposed methodology and the effectiveness and efficiency of the associated tools were examined through six experimental studies. These studies compared both quantitavely and qualitatively the results of the proposed methodology against the ones derived from established user-centered design approaches, such as card sorting, and against observed and subjective user data. It was found that the proposed methodology lead to a substantial efficiency gain, without expense in the quality of results.