"Intelligent Tutoring Systems have historically been shown to be an effective means of educating an audience. While there is great benefit from such systems they are generally very costly to build and maintain. It has been estimated that 200 hours of time is required to produce one hour of Intelligent Tutoring System content. The Office of Navel Research has funding this thesis because they are interested in reducing the cost of construction for Intelligent Tutoring Systems. In order for Intelligent Tutoring Systems to be widely accepted and used in the classroom environment there needs to be a toolset that allows for even the most novice user to maintain and grow the system with minimal cost. The goal of this thesis is to create such a toolset targeted towards the Assistments Project. One of the goals of the Assistments Project is to provide a means for teachers to receive meaningful data from the system that they can take to the classroom environment thus enabling a comprehensive learning solution. The effectiveness of the toolset was measured by its ability to reduce the overall time taken to package and distribute content in an Intelligent Tutoring System by providing the tools and allowing the completion of the tasks to be at a reasonable speed."

Common goals of Educational Data Mining are to model both student knowledge as well as student affect. While research continues along these lines of gathering data and building models of students' changing knowledge and affect states, little is being done to transform this collected (raw) data into meaningful entities that are more relatable to teachers, parents and other stakeholders, i.e. people who are not researchers. This research has entailed the iterative design and development of Teacher Tools, created with input from teachers and other experts. Teacher Tools is a web application designed as part of the MathSpring.org Intelligent Tutoring system --the component that teachers interact with, to set up classes as well as analyze resulting data from their students. In our study, we redesigned the existing version of MathSpring's Teacher Tools in three iterations, based on feedback gathered during each of those phases. The feedback captured from the first iteration clearly suggested for multiple design level changes with respect to math content organization, the interface, and the complexity level of the existing performance reports. Responses to Prototype I during the second iteration, designed on the basis of responses from the first iteration, were met by teachers with mixed to positive responses regarding usability and understandability. Experts at this point suggested further areas of improvement from a usability standpoint, which resulted in Prototype II of the Teacher Tools. Prototype II was then subjected to a third and final improvement iteration; this one was well received by a new set of 10 math teachers and other experts, who thought that Prototype II was very useful to them, in general. Teachers were able to appreciate the use they could give to these Teacher Tools to understand their students better, as well as guide future action plans that would alter their teaching based on information about their students' behavior, performance and affect of their students. In summary, we have created a software product for teachers that supplements the MathSpring tutoring system, which summarizes rich information from data logs into visualizations and other representations. These Teacher Tools have proved useful to teachers in Middle Schools in Massachusetts, who claim they are ready to use this information to change their teaching plans.

Η συνεργασία με στόχο τη μάθηση αποτελεί μια ερευνητική περιοχή και ταυτόχρονα μια πρακτική με μακρά ιστορία. Μελέτες πάνω στη συνεργασία αναφέρονται από το 1924 (Webb & Palincsar, 1996; Alport, 1924). Με την εξέλιξη της τεχνολογίας η συνεργασία με στόχο τη μάθηση (όπως παράλληλα και στο χώρο της εργασίας) υποστηρίχθηκε από υπολογιστικά συστήματα. Αναπτύχθηκε η ερευνητική περιοχή της Συνεργατικής μάθησης που υποστηρίζεται ή διαμεσολαβείται από υπολογιστή, γνωστή ως CSCL (Computer Supported Collaborative Learning), αναπτύχθηκαν θεωρίες, υιοθετήθηκαν μέθοδοι έρευνας και δημιουργήθηκαν σχετικά εργαλεία (Stahl et al, 2006) με στόχο την μελέτη της συνεργασίας ομάδων και την επίδραση που η συνεργασία έχει στη μάθηση. Η εστίαση ήταν στην μελέτη της ομάδας, των αλληλεπιδράσεων, των εργαλείων που διαμεσολαβούν τη συνεργασία, και στην αποτελεσματικότητά τους. Αρχικά μελετήθηκαν συστηματικά οι μαθητές ώστε να συναχθούν συμπεράσματα σχετικά με την αποτελεσματικότητα των προσεγγίσεων και εργαλείων. Σε δεύτερη φάση, πιο πρόσφατα, διαπιστώθηκε η ανάγκη, ως συνέπεια της ωρίμανσης της περιοχής, η μελέτη να περιλάβει τους διδάσκοντες σε περιβάλλοντα συνεργατικής μάθησης, οι οποίοι αποτελούν προϋπόθεση για την ένταξη τέτοιων προσεγγίσεων σε αυθεντικές συνθήκες διδασκαλίας και μάθησης. Ο ρόλος του καθηγητή θα πρέπει να μελετηθεί στις συνθήκες αυτές, καθώς αυτός λαμβάνει τα χαρακτηριστικά του διαμεσολαβητή και υποστηρικτή της συνεργασίας, δεδομένου ότι οι μαθητές αναλαμβάνουν πιο ενεργό ρόλο από ότι σε πιο παραδοσιακές συνθήκες μάθησης (Dimitracopoulou, 2005). Τα ερωτήματα που αφορούν το νέο ρόλο του καθηγητή, καθώς και η υποστήριξή του από τεχνολογίες και εργαλεία, επισημάνθηκαν ως ένας από τους πέντε άξονες προτεραιότητας στην ερευνητική αυτή περιοχή (Dillenbourg, 2009). Η παρούσα διατριβή μελέτησε το ρόλο του καθηγητή που επιβλέπει ομαδοσυνεργατικές δραστηριότητες, που διαμεσολαβούνται από υπολογιστές, όταν οι δραστηριότητες αυτές λαμβάνουν χώρα σε περιβάλλον σχολικής τάξης,. Αφετηρία της έρευνας υπήρξε η μελέτη παρόμοιων συνεργατικών δραστηριοτήτων και υπολογιστικών συστημάτων, όπως αναφέρονται στη βιβλιογραφία, στα οποία εντοπίστηκαν κοινές απόψεις όσον αφορά το ρόλο και την υποστήριξη του καθηγητή με κατάλληλα εργαλεία. Η ανάγκη της παρακολούθησης των διαφορετικών κοινωνικών επιπέδων της τάξης, δηλαδή του μεμονωμένου εκπαιδευόμενου, της ομάδας και της τάξης (Dillenbourg & Jermann, 2010), αναδείχθηκε πρώτη. Εντοπίστηκαν επίσης τάσεις που περιλάμβαναν την υποστήριξη της επίβλεψης της ομαδοσυνεργατικής δραστηριότητας σε διάφορες φάσεις της και με διαφορετικό βαθμό εστίασης, την καταγραφή της δράσης των μαθητών και την εξαγωγή ποσοτικών και ποιοτικών δεικτών που αντιπροσωπεύουν την κατάσταση των ομάδων και της τάξης, τη χρήση συνοπτικών και συμβολικών αναπαραστάσεων για την αποτύπωση της κατάστασης αυτής, καθώς και την ανάπτυξη και πειραματική χρήση «ευφυών» υποστηρικτών των διδασκόντων. Με βάση την αρχική αυτή μελέτη διατυπώθηκαν ερευνητικά ερωτήματα, που αφορούσαν τον τρόπο με τον οποίο ο καθηγητής κατά την επίβλεψη ομαδοσυνεργατικών δραστηριοτήτων μέσα στην τάξη, δημιουργεί και συντηρεί την αντίληψή του για τα φαινόμενα που εξελίσσονται. Τα ερωτήματα εξετάσθηκαν σε μια σειρά από μελέτες μέσα σε τάξεις οι οποίες ενέπλεξαν μαθητές και διδάσκοντες. Στο σχεδιασμό των μελετών μας όπου υπεισέρχονταν νέες πρακτικές και τεχνουργήματα λάβαμε υπόψη ότι τα τεχνουργήματα μετατρέπονται σε εργαλεία από τους χρήστες βάση του αρχικού τους προσανατολισμού και σχεδιασμού αλλά και του νοήματος που αποκτούν κατά τη χρήση (Stahl et al.,2006). Για το λόγο αυτό οι τεχνολογίες στην περιοχή της συνεργατικής μάθησης θα πρέπει να συνδυάζονται με μελέτες, που να παρατηρούν και να αναδεικνύουν τους τρόπους που τελικά αξιοποιήθηκαν τα εργαλεία, οι οποίες είτε γίνονται με πειραματικές διαδικασίες (πχ μέσα σε ένα εργαστήριο) , είτε ακολουθούν την εθνομεθοδολογική παράδοση μέσα στην τάξη (Jeong & Hmelo-Silver, 2010). Η μεθοδολογία μας ήταν αυτή της έρευνας σχεδιασμού (Collins, 1992) και η συλλογή δεδομένων κατά τη διάρκεια των μελετών είχε εθνομεθοδολογικά χαρακτηριστικά (Stahl, 2006). Για τις μελέτες μας δημιουργήθηκε μια μέθοδος που αναπαριστούσε με διαγραμματικό τρόπο τη δραστηριότητα του καθηγητή σε τάξη όπου υφίστανται συγκεκριμένες τεχνολογίες για την υποστήριξη της συνεργασίας. Αυτό συνδυάστηκε με μια προσέγγιση , που βασιζόμενη στα δεδομένα που συλλέχθηκαν κατά τη διάρκεια των μελετών αυτών, αναζήτησε και συνέκρινε πρότυπα της συμπεριφοράς των καθηγητών όταν χρησιμοποιούν εργαλεία τα οποία υποστηρίζουν τις ομάδες της τάξης. Στην πρώτη φάση των μελετών οι καθηγητές δεν χρησιμοποίησαν ειδικά εργαλεία επίβλεψης, ενώ στη δεύτερη φάση νέα εργαλεία αναπτύχθηκαν και χρησιμοποιήθηκαν από τους καθηγητές. Η κύρια διαφορά ανάμεσα στις δύο φάσεις ήταν ότι στη δεύτερη οι καθηγητές είχαν επίγνωση της κατάστασης της κάθε ομάδας που παρεχόταν με ποικίλες αναπαραστάσεις. Αυτό επηρέασε την συμπεριφορά τους. Σε τρίτη φάση τα δεδομένα που παράχθηκαν στις πρώτες φάσεις αξιολογήθηκαν με τη βοήθεια των εργαλείων που αναπτύχθηκαν χωρίς τους χρονικούς περιορισμούς που εισάγει το περιβάλλον της τάξης. Για να μπορέσουν να αποτυπωθούν οι επιδράσεις των εργαλείων και των αναπαραστάσεων που χρησιμοποιήθηκαν σε κάθε φάση και να εντοπιστούν πρότυπα συμπεριφορών, ορίστηκε μια διαδικασία κωδικοποίησης των ενεργειών του καθηγητή κατά τη διάρκεια της παρακολούθησης της συνεργατικής δραστηριότητας, της αξιολόγησής της, με βάση τις αναπαραστάσεις που διατέθηκαν. Ορίστηκαν επίπεδα εστίασης και παρέμβασης του καθηγητή κατά την ομαδοσυνεργατική διδασκαλία και αυτά συσχετίστηκαν με αναπαραστάσεις των δεδομένων, καθώς και με τις ενέργειές του καθηγητή που μπορούν να υποστηριχθούν. Διαπιστώθηκε ότι ο καθηγητής στην τάξη, κινείται στο επίπεδο της ομάδας, εστιάζει στο άτομο, ενώ χρειάζεται διαρκώς να παρακολουθεί το σύνολο των ομάδων της τάξης. Κατά τη συνεργασία παράγεται μεγάλος όγκος πληροφορίας και ο καθηγητής πρέπει να τον αξιοποιήσει κατά τον βέλτιστο δυνατό τρόπο, καθώς αναζητά φαινόμενα που τον βοηθούν να αντιληφθεί την κατάσταση της τάξης. Η επίβλεψη της δραστηριότητας, με στόχο την αντίληψη της κατάστασης, απαιτεί συνεπώς από τον επιβλέποντα την μετακίνηση μεταξύ διαφορετικών επιπέδων εστίασης, καθώς και την πλοήγησή του στη διάσταση του χρόνου. Με τον τρόπο αυτό αξιοποιεί και συνδυάζει διαφορετικές αναπαραστάσεις, προσπαθώντας να συνθέσει τα κύρια σημεία της δραστηριότητας κάθε ομάδας, τη συλλογιστική της ώστε να εντοπίσει πιθανές αποκλίσεις από το μοντέλο που είχε διαμορφώσει ο ίδιος κατά το σχεδιασμό της δραστηριότητας. Η διαδικασία αυτή απαιτεί τον εντοπισμό και επισημείωση φαινομένων που απαιτούν μελέτη σε ύστερο χρόνο και μπορεί να αποτελέσουν παραδείγματα καλής πρακτικής ή υλικό για διάγνωση και ανατροφοδότηση. Η αξιολόγηση της ομαδοσυνεργατικής δραστηριότητας απαιτεί αφενός εξοικείωση με την τεχνολογία που χρησιμοποιείται, αφετέρου την εφαρμογή κατάλληλων μοντέλων αξιολόγησης, ώστε να λαμβάνεται υπόψη η πορεία των ομαδοσυνεργατικών δραστηριοτήτων, και όχι μόνο το τελικό αποτέλεσμά τους, και να παρέχεται ανατροφοδότηση στις επί μέρους ομάδες, στα μέλη τους, αν παραστεί ανάγκη, αλλά και στην τάξη ως σύνολο. Διαπιστώθηκε από τις μελέτες μας, ότι η έρευνα σε αυτήν την περιοχή, προϋποθέτει καθηγητές και σχολικά περιβάλλοντα με εμπειρίες σε ομαδοσυνεργατική μάθηση μέσω υπολογιστή, κάτι που είναι ιδιαίτερα δύσκολο ακόμη και σήμερα, όπως και κατά την εποχή διεξαγωγής των εμπειρικών μελετών πεδίου που έγιναν στο πλαίσιο της διατριβής. Παρά την εγγενή αυτή δυσκολία, οι διαπιστώσεις της διατριβής συμβάλουν στον καλύτερο προσδιορισμό του ρόλου του καθηγητή σε αυτό το πλαίσιο διδασκαλίας και μάθησης και των εργαλείων που υποστηρίζουν αυτό το ρόλο. Η γενικότερη κατεύθυνση της περιοχής της μάθησης με χρήση υπολογιστή μας κάνει να υποθέσουμε ότι οι πρακτικές που μελετώνται εδώ θα αποκτήσουν ευρεία διάδοση στο εγγύς μέλλον. Τούτο στηρίζεται αφενός στη γενικότερη διαπίστωση της εισαγωγής της τεχνολογίας στη ζωή των μαθητών (Dave, 2010), και μάλιστα αυτής που υποστηρίζει τη συνεργασία, όπως οι τεχνολογίες κοινωνικής δικτύωσης, των δυνατοτήτων αξιοποίησης της τεχνολογίας αυτής μέσα στην τάξη με τη μορφή νέων συσκευών, νέων μέσων συνεργασίας και αλληλεπίδρασης, πολλαπλών μέσων επικοινωνίας, νέων τρόπων πρόσβασης στα δεδομένα, κλπ. Συνεπώς αυτό το σύνθετο τεχνολογικό και κοινωνικό περιβάλλον που περιβάλει ήδη τις σχολικές εμπειρίες και τις επηρεάζει, απαιτεί επαναπροσδιορισμό του ρόλου του καθηγητή, ο οποίος παραμένει μεν ο καθοδηγητής της μαθησιακής διαδικασίας αλλά συνάμα και ενορχηστρωτής μιας σύνθετης δραστηριότητας (Dillenbourg, 2009; Dillenbourg et al. 2011) . / Collaborative learning is an area of research and practice with a long history. Studies on collaborative learning are referred back in 1924 (Webb & Palincsar, 1996; Alport, 1924). With advances in technology in recent years, collaborative learning (as with collaborative work) has been supported by computer systems. So a new research area was introduced, that of computer-supported collaborative learning (CSCL). In this new field theories were developed, research methods adopted and developed related tools (Stahl et al, 2006). The objective has been to study collaboration in groups and the impact of collaboration on learning. The focus was on the study of groups, on interactions, on the tools that mediate collaboration, and their effectiveness. Initially students were studied systematically in order to draw conclusions about the effectiveness of approaches and tools. Subsequently, more recently, there was a need, as a consequence of the advances of the field, the study to include teachers in collaborative learning environments, which are a condition for the integration of such approaches in authentic teaching and learning conditions. The role of the teacher should be studied in this set up as the teacher takes up new roles, that of the facilitator and supporter of collaboration, given that students take a more active role than in more traditional learning situations (Dimitracopoulou, 2005). The question concerning the new role of the teacher, and her support of technologies and tools, has been identified as one of the five research priorities in this area (Dillenbourg, 2009). This PhD Thesis studies the role of the teacher who is involved in supervising collaborative activities mediated by computers, where these activities take place in a typical classroom. The starting point of this research was the study of similar research efforts and collaborative computing systems, as reported in the literature, which identified common views on the role and on possible requirements for supporting the teacher by appropriate tools. The need for monitoring of different social class levels, i.e. the individual student, group and class (Dillenbourg & Jermann, 2010), first emerged. Also trends were identified that include support for monitoring activity of groupwork in different phases with different degree of focus, recording the activities of students and exporting of quantitative and qualitative indicators that represent the state of the groups and the class, the use of symbolic and synoptic representation to fix this situation, and the development and experimental use of "intelligent" assistants of the teachers. Based on this initial study, research questions were formed concerning the way in which the teacher in supervising group activities in the classroom, creates and maintains the perception of the phenomena that evolve. These research questions were examined in a series of studies in classes that involved students and teachers. In the design of our studies involving new practices and artifacts we considered that the artifacts used are transformed into tools by the users, based on their initial orientation and design and the meaning they acquire during use (Stahl et al., 2006). For this reason, the technologies in the area of collaborative learning should be combined with studies that point out and highlight the ways that ultimately utilized tools, which are either made with experimental procedures (eg in a laboratory), or follow the ethnomethodological tradition in classrooms (Jeong & Hmelo-Silver, 2010). Our methodology was that of Research Design (Collins, 1992) while evidence was collected from the study following an ethnomethodological approach (Stahl, 2006). For our studies we created a notation to represent the activity of the teacher in the class where there are certain technologies used to support collaborative student activities. This notation was used in an approach, that involved use of data collected during the studies, that allowed comparison of patterns of teacher behavior when using tools to support group class activities. In the first phase of studies, the teachers did not use specific tools of supervision, while during the second phase the teachers used new tools that were developed in order to support them. The main effect of these new tools was that they allowed the teachers to be aware of the state of each student group through a variety of representations. This affected teacher behavior. In the third phase, the data produced in the other two phases were evaluated off-line by teachers, using the tools developed without the time constraints of the real time classroom environment. In order to depict the effects of tools and representations used in each phase and identify patterns of behavior, a notation of the teacher's actions during the monitoring of collaborative activity was used, which involved the teacher objectives and the representations that were used. Focus levels were set and types of interventions teacher, associated with representations of data, and the teacher's actions that were supported. It was found that the teacher in the classroom moves from the level of the group on to the individual, while there is a need to constantly monitor all the groups in the class. During collaborative activities a large amount of information was produced, and the teacher had to use it in the best possible way, as she tries to identify occurrence of phenomena that help her improve understanding of the situation of the classroom. The supervision of the activity aimed at understanding the situation, thus requiring the supervisor to move between different levels of focus, and also navigate back and forth in the time dimension. In this way the teacher exploits and combines different representations, trying to synthesize the main points of each group activity, its reasoning to identify possible deviations from the model that was formed about expected problem solving behaviour, originally during the design of the activity. This process requires the identification and annotation of events that require longer term study and can serve as examples of good practice or material for diagnosis and feedback. The evaluation of groupwork activity requires both familiarity with the technology used, while on the other hand the application of appropriate assessment models to take account of the evolution of groupwork activities, and not just inspection of the final result, and provide feedback to individual groups, and group members if necessary, as well as to the whole class. It was found from our studies that research in this area, requires teachers and school environments with experience in computer supported collaborative learning, which is particularly difficult, even today, as it was in the time when the field studies were conducted. Despite this inherent difficulty, the findings of this study help to better define the role of the teacher in this context of teaching and learning and evaluation of the tools that support this role. The general direction of the field of technology enhanced learning makes us assume that the practices studied here will become widespread in the near future. This one is based on general observation of the introduction of technology in the lives of students (Dave, 2010), especially technologies that support social interaction and collaboration, such as social networking technologies, the potential use of this technology in the classroom in the form of new devices, new instruments of collaboration and interaction, multi-media, new ways to access data, etc. Therefore this complex technological and social environment that surrounds and influences the school experiences requires redefinition of the role of the teacher, who still remains as the leader of learning process yet takes up the role of orchestrator of more complex activities (Dillenbourg, 2009; Dillenbourg et al. 2011).