{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:1321429"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:1321429","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"The effect of cross-media semantic relations on eye-movements while watching dynamic audiovisual stimuli","abstract":"Η οπτική προσοχή είναι μία διεργασία η οποία διέπεται τόσο από χαμηλού όσο και από ανωτέρου επιπέδου παράγοντες. Η επίδραση και η καταλυτική συμβολή ανώτερων γνωστικών παραγόντων στην κατεύθυνση του βλέμματος έχει αναδειχθεί ύστερα από ενδελεχή έρευνα στην παρακολούθηση στατικών και δυναμικών σκηνών. Ωστόσο, ο ρόλος της ακουστικής τροπικότητας δεν έχει διερευνηθεί σε μεγάλο βαθμό. Η επιρροή του ήχου στις οπτικές στρατηγικές φαίνεται από την μικρή διακύμανση στις περιοχές εστίασης που υπάρχει ανάμεσα σε πολλούς παρατηρητές. Στην παρούσα εργασία, εξετάσαμε μία σειρά από σημασιολογικές οπτικοακουστικές σχέσεις και την επίδραση τους στις οφθαλμοκινήσεις ενώ οι συμμετέχοντες παρακολουθούσαν δυναμικές οπτικοακουστικές σκηνές. Χρησιμοποιήσαμε σχέσεις ασυμφωνίας, ασυνέπειας, αβεβαιότητας και πλεονασμού από το πλαίσιο COSMOROE, το οποίο αποτελεί μία τυπική περιγραφή της αλληλεπίδρασης πληροφορίας πολυμέσων για τη μετάδοση σημασίας. Η πλειοψηφία των οφθαλμοκινητικών μετρικών δεν κατάφεραν να αναδείξουν διαφοροποιήσεις στην οπτική συμπεριφορά, γεγονός που υποδηλώνει ότι η οπτική προσοχή μπορεί να είναι απρόσβλητη σε ακουστικές σημασιολογικές επιδράσεις. Η απουσία σημαντικών αποτελεσμάτων μπορεί να οφείλεται στη χρήση αφήγησης ως ακουστικού ερεθισμού και ως αποτέλεσμα στη μικρή χρονική συσχέτιση ανάμεσα στα δύο σήματα πληροφορίας. Επιπλέον, η ανθρώπινη αντίληψη μπορεί να μη διέπεται από τους κανόνες του πλαισίου COSMOROE, καθώς είναι ένα θεωρητικό πλαίσιο και η επικύρωση του βασίζεται στην επισημείωση πάνω σε ντοκιμαντέρ. Παρ 'όλα αυτά, η εργασία μας κατάφερε να αναπαράξει τα αποτελέσματα προηγούμενων ερευνών που δείχνουν ότι η ελεύθερη παρακολούθηση δυναμικών σκηνών οδηγεί σε μειωμένη διακύμανση του βλέμματος.","abstract_html":"Η οπτική προσοχή είναι μία διεργασία η οποία διέπεται τόσο από χαμηλού όσο και από ανωτέρου επιπέδου παράγοντες. Η επίδραση και η καταλυτική συμβολή ανώτερων γνωστικών παραγόντων στην κατεύθυνση του βλέμματος έχει αναδειχθεί ύστερα από ενδελεχή έρευνα στην παρακολούθηση στατικών και δυναμικών σκηνών. Ωστόσο, ο ρόλος της ακουστικής τροπικότητας δεν έχει διερευνηθεί σε μεγάλο βαθμό. Η επιρροή του ήχου στις οπτικές στρατηγικές φαίνεται από την μικρή διακύμανση στις περιοχές εστίασης που υπάρχει ανάμεσα σε πολλούς παρατηρητές. Στην παρούσα εργασία, εξετάσαμε μία σειρά από σημασιολογικές οπτικοακουστικές σχέσεις και την επίδραση τους στις οφθαλμοκινήσεις ενώ οι συμμετέχοντες παρακολουθούσαν δυναμικές οπτικοακουστικές σκηνές. Χρησιμοποιήσαμε σχέσεις ασυμφωνίας, ασυνέπειας, αβεβαιότητας και πλεονασμού από το πλαίσιο COSMOROE, το οποίο αποτελεί μία τυπική περιγραφή της αλληλεπίδρασης πληροφορίας πολυμέσων για τη μετάδοση σημασίας. Η πλειοψηφία των οφθαλμοκινητικών μετρικών δεν κατάφεραν να αναδείξουν διαφοροποιήσεις στην οπτική συμπεριφορά, γεγονός που υποδηλώνει ότι η οπτική προσοχή μπορεί να είναι απρόσβλητη σε ακουστικές σημασιολογικές επιδράσεις. Η απουσία σημαντικών αποτελεσμάτων μπορεί να οφείλεται στη χρήση αφήγησης ως ακουστικού ερεθισμού και ως αποτέλεσμα στη μικρή χρονική συσχέτιση ανάμεσα στα δύο σήματα πληροφορίας. Επιπλέον, η ανθρώπινη αντίληψη μπορεί να μη διέπεται από τους κανόνες του πλαισίου COSMOROE, καθώς είναι ένα θεωρητικό πλαίσιο και η επικύρωση του βασίζεται στην επισημείωση πάνω σε ντοκιμαντέρ. Παρ &#x27;όλα αυτά, η εργασία μας κατάφερε να αναπαράξει τα αποτελέσματα προηγούμενων ερευνών που δείχνουν ότι η ελεύθερη παρακολούθηση δυναμικών σκηνών οδηγεί σε μειωμένη διακύμανση του βλέμματος.","abstract_has_math":false,"creators":["Τσιλιώνης Ευθύμιος"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2016,"date_issued":"2016","date_published":"2016","updated_at":"2026-11-19T05:26:43Z","subjects":[],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1321429"],"render_values":[{"text":"uoadl:1321429","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1321429","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1321429","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A1321429","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Τσιλιώνης Ευθύμιος"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2016"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1321429","https://pergamos.lib.uoa.gr/uoa/dl/object/1321429"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η οπτική προσοχή είναι μία διεργασία η οποία διέπεται τόσο από χαμηλού όσο και από ανωτέρου επιπέδου παράγοντες. Η επίδραση και η καταλυτική συμβολή ανώτερων γνωστικών παραγόντων στην κατεύθυνση του βλέμματος έχει αναδειχθεί ύστερα από ενδελεχή έρευνα στην παρακολούθηση στατικών και δυναμικών σκηνών. Ωστόσο, ο ρόλος της ακουστικής τροπικότητας δεν έχει διερευνηθεί σε μεγάλο βαθμό. Η επιρροή του ήχου στις οπτικές στρατηγικές φαίνεται από την μικρή διακύμανση στις περιοχές εστίασης που υπάρχει ανάμεσα σε πολλούς παρατηρητές. Στην παρούσα εργασία, εξετάσαμε μία σειρά από σημασιολογικές οπτικοακουστικές σχέσεις και την επίδραση τους στις οφθαλμοκινήσεις ενώ οι συμμετέχοντες παρακολουθούσαν δυναμικές οπτικοακουστικές σκηνές. Χρησιμοποιήσαμε σχέσεις ασυμφωνίας, ασυνέπειας, αβεβαιότητας και πλεονασμού από το πλαίσιο COSMOROE, το οποίο αποτελεί μία τυπική περιγραφή της αλληλεπίδρασης πληροφορίας πολυμέσων για τη μετάδοση σημασίας. Η πλειοψηφία των οφθαλμοκινητικών μετρικών δεν κατάφεραν να αναδείξουν διαφοροποιήσεις στην οπτική συμπεριφορά, γεγονός που υποδηλώνει ότι η οπτική προσοχή μπορεί να είναι απρόσβλητη σε ακουστικές σημασιολογικές επιδράσεις. Η απουσία σημαντικών αποτελεσμάτων μπορεί να οφείλεται στη χρήση αφήγησης ως ακουστικού ερεθισμού και ως αποτέλεσμα στη μικρή χρονική συσχέτιση ανάμεσα στα δύο σήματα πληροφορίας. Επιπλέον, η ανθρώπινη αντίληψη μπορεί να μη διέπεται από τους κανόνες του πλαισίου COSMOROE, καθώς είναι ένα θεωρητικό πλαίσιο και η επικύρωση του βασίζεται στην επισημείωση πάνω σε ντοκιμαντέρ. Παρ 'όλα αυτά, η εργασία μας κατάφερε να αναπαράξει τα αποτελέσματα προηγούμενων ερευνών που δείχνουν ότι η ελεύθερη παρακολούθηση δυναμικών σκηνών οδηγεί σε μειωμένη διακύμανση του βλέμματος.","The allocation of attention is influenced by numerous low- and high-level factors. The systematic exploration of gaze deployment in dynamic scene viewing has shown that semantic factors play a crucial role in guiding sight. However, very few studies have considered the role of audition in gaze deployment. Sound seems to affect decisively viewing strategies by minimizing the variability of fixated locations among multiple observers. In the present study, we investigated a number of semantic relations, being the product of the interplay between vision and audition, and their impact on attention and eye movements while participants watched dynamic audiovisual scenes. The cross-modal conditions examined, covered relations of congruency, inconsistency, uncertainty, and redundancy. These relations have been proposed by the COSMOROE framework, which is a formal description of how multimedia information interact to convey meaning. The majority of the oculomotor measures failed to reveal differential effects in viewing behavior, suggesting that visual attention may be immune to auditory semantic contributions. One possible factor for the absence of significant results may be the low temporal correlation shared by the sensory channels, since our auditory stimulation was in the form of narration. Additionally, the formation of the COSMOROE framework is theoretical with validation on manual annotation in documentaries, and, thus, may not be grounded in human perception. Nevertheless, our study replicated previous research showing that free viewing of dynamic scenes leads to small gaze variance."]},{"key":"dc:title","label":"Title","values":["The effect of cross-media semantic relations on eye-movements while watching dynamic audiovisual stimuli"]}]}],"canonical_facts":{"dc:creator":["Τσιλιώνης Ευθύμιος"],"dc:date":["2016"],"dc:description":["Η οπτική προσοχή είναι μία διεργασία η οποία διέπεται τόσο από χαμηλού όσο και από ανωτέρου επιπέδου παράγοντες. Η επίδραση και η καταλυτική συμβολή ανώτερων γνωστικών παραγόντων στην κατεύθυνση του βλέμματος έχει αναδειχθεί ύστερα από ενδελεχή έρευνα στην παρακολούθηση στατικών και δυναμικών σκηνών. Ωστόσο, ο ρόλος της ακουστικής τροπικότητας δεν έχει διερευνηθεί σε μεγάλο βαθμό. Η επιρροή του ήχου στις οπτικές στρατηγικές φαίνεται από την μικρή διακύμανση στις περιοχές εστίασης που υπάρχει ανάμεσα σε πολλούς παρατηρητές. Στην παρούσα εργασία, εξετάσαμε μία σειρά από σημασιολογικές οπτικοακουστικές σχέσεις και την επίδραση τους στις οφθαλμοκινήσεις ενώ οι συμμετέχοντες παρακολουθούσαν δυναμικές οπτικοακουστικές σκηνές. Χρησιμοποιήσαμε σχέσεις ασυμφωνίας, ασυνέπειας, αβεβαιότητας και πλεονασμού από το πλαίσιο COSMOROE, το οποίο αποτελεί μία τυπική περιγραφή της αλληλεπίδρασης πληροφορίας πολυμέσων για τη μετάδοση σημασίας. Η πλειοψηφία των οφθαλμοκινητικών μετρικών δεν κατάφεραν να αναδείξουν διαφοροποιήσεις στην οπτική συμπεριφορά, γεγονός που υποδηλώνει ότι η οπτική προσοχή μπορεί να είναι απρόσβλητη σε ακουστικές σημασιολογικές επιδράσεις. Η απουσία σημαντικών αποτελεσμάτων μπορεί να οφείλεται στη χρήση αφήγησης ως ακουστικού ερεθισμού και ως αποτέλεσμα στη μικρή χρονική συσχέτιση ανάμεσα στα δύο σήματα πληροφορίας. Επιπλέον, η ανθρώπινη αντίληψη μπορεί να μη διέπεται από τους κανόνες του πλαισίου COSMOROE, καθώς είναι ένα θεωρητικό πλαίσιο και η επικύρωση του βασίζεται στην επισημείωση πάνω σε ντοκιμαντέρ. Παρ 'όλα αυτά, η εργασία μας κατάφερε να αναπαράξει τα αποτελέσματα προηγούμενων ερευνών που δείχνουν ότι η ελεύθερη παρακολούθηση δυναμικών σκηνών οδηγεί σε μειωμένη διακύμανση του βλέμματος.","The allocation of attention is influenced by numerous low- and high-level factors. The systematic exploration of gaze deployment in dynamic scene viewing has shown that semantic factors play a crucial role in guiding sight. However, very few studies have considered the role of audition in gaze deployment. Sound seems to affect decisively viewing strategies by minimizing the variability of fixated locations among multiple observers. In the present study, we investigated a number of semantic relations, being the product of the interplay between vision and audition, and their impact on attention and eye movements while participants watched dynamic audiovisual scenes. The cross-modal conditions examined, covered relations of congruency, inconsistency, uncertainty, and redundancy. These relations have been proposed by the COSMOROE framework, which is a formal description of how multimedia information interact to convey meaning. The majority of the oculomotor measures failed to reveal differential effects in viewing behavior, suggesting that visual attention may be immune to auditory semantic contributions. One possible factor for the absence of significant results may be the low temporal correlation shared by the sensory channels, since our auditory stimulation was in the form of narration. Additionally, the formation of the COSMOROE framework is theoretical with validation on manual annotation in documentaries, and, thus, may not be grounded in human perception. Nevertheless, our study replicated previous research showing that free viewing of dynamic scenes leads to small gaze variance."],"dc:identifier":["uoadl:1321429","https://pergamos.lib.uoa.gr/uoa/dl/object/1321429"],"dc:language":["English"],"dc:title":["The effect of cross-media semantic relations on eye-movements while watching dynamic audiovisual stimuli"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:26:43Z"}