{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2856714"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2856714","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Behavioral validation of inverse effectiveness and the interactions with the temporal rule of multisensory integration","abstract":"Ένας από τους θεμελιώδεις κανόνες της πολυαισθητηριακής ενοποίησης είναι ο κανόνας της αντίστροφης αποτελεσματικότητας (ΚΑΑ) ο οποίος προβλέπει ότι το πολυαισθητικό όφελος μεγιστοποιείται όταν τα μονοαισθητηριακά μέρη ενός συμβάντος προκαλούν ασθενικές νευρωνικές αποκρίσεις. Οι συμπεριφορικές μελέτες του ΚΑΑ συχνά περιορίζονται στη χρήση ερεθισμάτων λόγου και εστιάζουν κυρίως στην εισαγωγή θορύβου στο ακουστικό κανάλι. Στην παρούσα μελέτη εξετάσαμε πρώτα τον ΚΑΑ συμπεριφορικά, εισάγοντας τεχνητό θόρυβο και στα δύο κανάλια ενός οπτικοακουστικού ερεθίσματος λόγου. Χρησιμοποιήσαμε ακουστικές, οπτικές και οπτικοακουστικές παρουσιάσεις τριών συλλαβών (/ ba /, / fa /, / tha /) σε διαφορετικά επίπεδα θορύβου και συνδυασμούς θορύβου, ενώ οι συμμετέχοντες εκτέλεσαν ένα έργο ταυτοποίησης συλλαβών. Το πολυαισθητηριακό όφελος υπολογίστηκε με τέσσερις διαφορετικούς δείκτες. Σύμφωνα με το δείκτη Αντίθεσης, το όφελος ελαχιστοποιήθηκε όταν ο ακουστικός θόρυβος μεγιστοποιήθηκε, ανεξάρτητα από τον οπτικό θόρυβο, για τη συλλαβή / ba /, ενώ δεν παρατηρήθηκαν διαφορές για τα / fa / και / tha /. Σύμφωνα με το δείκτη Απόλυτης Διαφοράς (σε %), συνδυασμοί υψηλών επιπέδων ακουστικού και χαμηλών επιπέδων οπτικού θορύβου οδήγησαν σε μέγιστο κέρδος για τα / ba / και / fa /, ενώ για το / tha / το όφελος μεγιστοποιήθηκε όταν και τα δύο κανάλια είχαν χαμηλά επίπεδα θορύβου. Τέλος, σύμφωνα με τους δείκτες Πολυαισθητηριακής Ενοποίησης και Απόλυτης Διαφοράς το όφελος ελαχιστοποιήθηκε στα μέγιστα επίπεδα ακουστικού θορύβου για το / ba / αλλά όχι για τα / fa / και / tha /. Έτσι, ο ΚΑΑ επαληθεύτηκε μόνο για ορισμένους από τους δείκτες και τα ερεθίσματα που χρησιμοποιήθηκαν αλλά όχι συνολικά, ενισχύοντας τη συζήτηση σχετικά με την εγκυρότητα του ΚΑΑ στο συμπεριφορικό επίπεδο. Στη συνέχεια, εξετάσαμε τον τρόπο με τον οποίο ο ΚΑΑ αλληλεπιδρά με τον χρονικό κανόνα (ο οποίος προβλέπει ότι σήματα που παρουσιάζονται κοντά στο χρόνο είναι πιο πιθανό να ενοποιηθούν) της πολυαισθητηριακής ενοποίησης. Στο Πείραμα 2 παρουσιάστηκαν τα οπτικοακουστικά ερεθίσματα που οδήγησαν στο υψηλότερο και το χαμηλότερο πολυαισθητηριακό όφελος από το Πείραμα 1, σε διαφορετικά επίπεδα ασυγχρονίας μεταξύ των δύο καναλιών. Τα αποτελέσματα από το έργο κρίσης χρονικής σειράς έδειξαν ότι οι συμμετέχοντες είχαν υψηλότερη ανοχή στην ασυγχρρονία μεταξύ οπτικού και ακουστικού καναλιού για ερεθίσματα υψηλού οφέλους σε σύγκριση με ερεθίσματα χαμηλού οφέλους. Συνολικά, τα ευρήματα αυτά υποδηλώνουν ότι το μέγεθος του πολυαισθητηριακού οφέλους και το εύρος του χρονικού παραθύρου ενοποίησης αλληλεπιδρούν συναρτήσει της αποτελεσματικότητας των ακουστικών και οπτικών καναλιών ενός ερεθίσματος λόγου.","abstract_html":"Ένας από τους θεμελιώδεις κανόνες της πολυαισθητηριακής ενοποίησης είναι ο κανόνας της αντίστροφης αποτελεσματικότητας (ΚΑΑ) ο οποίος προβλέπει ότι το πολυαισθητικό όφελος μεγιστοποιείται όταν τα μονοαισθητηριακά μέρη ενός συμβάντος προκαλούν ασθενικές νευρωνικές αποκρίσεις. Οι συμπεριφορικές μελέτες του ΚΑΑ συχνά περιορίζονται στη χρήση ερεθισμάτων λόγου και εστιάζουν κυρίως στην εισαγωγή θορύβου στο ακουστικό κανάλι. Στην παρούσα μελέτη εξετάσαμε πρώτα τον ΚΑΑ συμπεριφορικά, εισάγοντας τεχνητό θόρυβο και στα δύο κανάλια ενός οπτικοακουστικού ερεθίσματος λόγου. Χρησιμοποιήσαμε ακουστικές, οπτικές και οπτικοακουστικές παρουσιάσεις τριών συλλαβών (/ ba /, / fa /, / tha /) σε διαφορετικά επίπεδα θορύβου και συνδυασμούς θορύβου, ενώ οι συμμετέχοντες εκτέλεσαν ένα έργο ταυτοποίησης συλλαβών. Το πολυαισθητηριακό όφελος υπολογίστηκε με τέσσερις διαφορετικούς δείκτες. Σύμφωνα με το δείκτη Αντίθεσης, το όφελος ελαχιστοποιήθηκε όταν ο ακουστικός θόρυβος μεγιστοποιήθηκε, ανεξάρτητα από τον οπτικό θόρυβο, για τη συλλαβή / ba /, ενώ δεν παρατηρήθηκαν διαφορές για τα / fa / και / tha /. Σύμφωνα με το δείκτη Απόλυτης Διαφοράς (σε %), συνδυασμοί υψηλών επιπέδων ακουστικού και χαμηλών επιπέδων οπτικού θορύβου οδήγησαν σε μέγιστο κέρδος για τα / ba / και / fa /, ενώ για το / tha / το όφελος μεγιστοποιήθηκε όταν και τα δύο κανάλια είχαν χαμηλά επίπεδα θορύβου. Τέλος, σύμφωνα με τους δείκτες Πολυαισθητηριακής Ενοποίησης και Απόλυτης Διαφοράς το όφελος ελαχιστοποιήθηκε στα μέγιστα επίπεδα ακουστικού θορύβου για το / ba / αλλά όχι για τα / fa / και / tha /. Έτσι, ο ΚΑΑ επαληθεύτηκε μόνο για ορισμένους από τους δείκτες και τα ερεθίσματα που χρησιμοποιήθηκαν αλλά όχι συνολικά, ενισχύοντας τη συζήτηση σχετικά με την εγκυρότητα του ΚΑΑ στο συμπεριφορικό επίπεδο. Στη συνέχεια, εξετάσαμε τον τρόπο με τον οποίο ο ΚΑΑ αλληλεπιδρά με τον χρονικό κανόνα (ο οποίος προβλέπει ότι σήματα που παρουσιάζονται κοντά στο χρόνο είναι πιο πιθανό να ενοποιηθούν) της πολυαισθητηριακής ενοποίησης. Στο Πείραμα 2 παρουσιάστηκαν τα οπτικοακουστικά ερεθίσματα που οδήγησαν στο υψηλότερο και το χαμηλότερο πολυαισθητηριακό όφελος από το Πείραμα 1, σε διαφορετικά επίπεδα ασυγχρονίας μεταξύ των δύο καναλιών. Τα αποτελέσματα από το έργο κρίσης χρονικής σειράς έδειξαν ότι οι συμμετέχοντες είχαν υψηλότερη ανοχή στην ασυγχρρονία μεταξύ οπτικού και ακουστικού καναλιού για ερεθίσματα υψηλού οφέλους σε σύγκριση με ερεθίσματα χαμηλού οφέλους. Συνολικά, τα ευρήματα αυτά υποδηλώνουν ότι το μέγεθος του πολυαισθητηριακού οφέλους και το εύρος του χρονικού παραθύρου ενοποίησης αλληλεπιδρούν συναρτήσει της αποτελεσματικότητας των ακουστικών και οπτικών καναλιών ενός ερεθίσματος λόγου.","abstract_has_math":false,"creators":["Λιάπη Λυδία-Καλλιόπη","Liapi Lydia-Kalliopi"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2019,"date_issued":"2019","date_published":"2019","updated_at":"2026-11-19T05:33:40Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2856714"],"render_values":[{"text":"uoadl:2856714","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2856714","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2856714","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2856714","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Λιάπη Λυδία-Καλλιόπη","Liapi Lydia-Kalliopi"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2019"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2856714","https://pergamos.lib.uoa.gr/uoa/dl/object/2856714"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Ένας από τους θεμελιώδεις κανόνες της πολυαισθητηριακής ενοποίησης είναι ο κανόνας της αντίστροφης αποτελεσματικότητας (ΚΑΑ) ο οποίος προβλέπει ότι το πολυαισθητικό όφελος μεγιστοποιείται όταν τα μονοαισθητηριακά μέρη ενός συμβάντος προκαλούν ασθενικές νευρωνικές αποκρίσεις. Οι συμπεριφορικές μελέτες του ΚΑΑ συχνά περιορίζονται στη χρήση ερεθισμάτων λόγου και εστιάζουν κυρίως στην εισαγωγή θορύβου στο ακουστικό κανάλι. Στην παρούσα μελέτη εξετάσαμε πρώτα τον ΚΑΑ συμπεριφορικά, εισάγοντας τεχνητό θόρυβο και στα δύο κανάλια ενός οπτικοακουστικού ερεθίσματος λόγου. Χρησιμοποιήσαμε ακουστικές, οπτικές και οπτικοακουστικές παρουσιάσεις τριών συλλαβών (/ ba /, / fa /, / tha /) σε διαφορετικά επίπεδα θορύβου και συνδυασμούς θορύβου, ενώ οι συμμετέχοντες εκτέλεσαν ένα έργο ταυτοποίησης συλλαβών. Το πολυαισθητηριακό όφελος υπολογίστηκε με τέσσερις διαφορετικούς δείκτες. Σύμφωνα με το δείκτη Αντίθεσης, το όφελος ελαχιστοποιήθηκε όταν ο ακουστικός θόρυβος μεγιστοποιήθηκε, ανεξάρτητα από τον οπτικό θόρυβο, για τη συλλαβή / ba /, ενώ δεν παρατηρήθηκαν διαφορές για τα / fa / και / tha /. Σύμφωνα με το δείκτη Απόλυτης Διαφοράς (σε %), συνδυασμοί υψηλών επιπέδων ακουστικού και χαμηλών επιπέδων οπτικού θορύβου οδήγησαν σε μέγιστο κέρδος για τα / ba / και / fa /, ενώ για το / tha / το όφελος μεγιστοποιήθηκε όταν και τα δύο κανάλια είχαν χαμηλά επίπεδα θορύβου. Τέλος, σύμφωνα με τους δείκτες Πολυαισθητηριακής Ενοποίησης και Απόλυτης Διαφοράς το όφελος ελαχιστοποιήθηκε στα μέγιστα επίπεδα ακουστικού θορύβου για το / ba / αλλά όχι για τα / fa / και / tha /. Έτσι, ο ΚΑΑ επαληθεύτηκε μόνο για ορισμένους από τους δείκτες και τα ερεθίσματα που χρησιμοποιήθηκαν αλλά όχι συνολικά, ενισχύοντας τη συζήτηση σχετικά με την εγκυρότητα του ΚΑΑ στο συμπεριφορικό επίπεδο. Στη συνέχεια, εξετάσαμε τον τρόπο με τον οποίο ο ΚΑΑ αλληλεπιδρά με τον χρονικό κανόνα (ο οποίος προβλέπει ότι σήματα που παρουσιάζονται κοντά στο χρόνο είναι πιο πιθανό να ενοποιηθούν) της πολυαισθητηριακής ενοποίησης. Στο Πείραμα 2 παρουσιάστηκαν τα οπτικοακουστικά ερεθίσματα που οδήγησαν στο υψηλότερο και το χαμηλότερο πολυαισθητηριακό όφελος από το Πείραμα 1, σε διαφορετικά επίπεδα ασυγχρονίας μεταξύ των δύο καναλιών. Τα αποτελέσματα από το έργο κρίσης χρονικής σειράς έδειξαν ότι οι συμμετέχοντες είχαν υψηλότερη ανοχή στην ασυγχρρονία μεταξύ οπτικού και ακουστικού καναλιού για ερεθίσματα υψηλού οφέλους σε σύγκριση με ερεθίσματα χαμηλού οφέλους. Συνολικά, τα ευρήματα αυτά υποδηλώνουν ότι το μέγεθος του πολυαισθητηριακού οφέλους και το εύρος του χρονικού παραθύρου ενοποίησης αλληλεπιδρούν συναρτήσει της αποτελεσματικότητας των ακουστικών και οπτικών καναλιών ενός ερεθίσματος λόγου.","One of the most fundamental principles of multisensory integration is that of inverse effectiveness (IE), whereby multisensory gain is maximized when the unisensory components of an event evoke weak neuronal responses. Behavioral investigations of IE are often limited to the use of speech stimuli and focus mostly on the artificial degradation of the auditory stream. Here, we first examined IE behaviorally by implementing naturalistic degradation in both streams of an audiovisual speech signal. We used auditory, visual, and audiovisual presentations of three syllables (/ba/, /fa/, /tha/) at different levels of noise and noise combinations, while participants performed a syllable-identification task. Multisensory gain was calculated with four different indices. For the Contrast index, gain was minimized when the auditory stream was of the highest noise independent of visual noise for the syllable /ba/, while no differences were noted for /fa/ and /tha/. For the Absolute Difference (in %) index, combinations of high auditory and low visual noise levels led to a maximum gain for /ba/ and /fa/, while for /tha/, maximum gain was obtained when both streams were of low noise. For the Multisensory Integration and Absolute Difference indices, gain was minimized when the auditory stream was of the highest noise for /ba/ but not for /fa/ and /tha/. Thus, the IE effect was verified only for some of the indices and stimuli utilized but not for all, thus adding to the discussion of the validity of the IE at a behavioral level. Subsequently, we examined how IE interacts with the temporal rule (i.e., signals presented close in time are more likely to be integrated) of multisensory integration. In Exp. 2, we presented the audiovisual stimuli that led to the highest and lowest multisensory gain from Exp. 1 at different stimulus onset asynchronies. Participants’ temporal order judgments showed a higher asynchrony tolerance when high gain stimuli were presented as compared to low gain audiovisual pairs. Taken together, these findings suggest that the magnitude of multisensory gain and the width of the temporal window of integration interact as a function of the effectiveness levels of the auditory and visual streams of the speech event."]},{"key":"dc:title","label":"Title","values":["Behavioral validation of inverse effectiveness and the interactions with the temporal rule of multisensory integration"]}]}],"canonical_facts":{"dc:creator":["Λιάπη Λυδία-Καλλιόπη","Liapi Lydia-Kalliopi"],"dc:date":["2019"],"dc:description":["Ένας από τους θεμελιώδεις κανόνες της πολυαισθητηριακής ενοποίησης είναι ο κανόνας της αντίστροφης αποτελεσματικότητας (ΚΑΑ) ο οποίος προβλέπει ότι το πολυαισθητικό όφελος μεγιστοποιείται όταν τα μονοαισθητηριακά μέρη ενός συμβάντος προκαλούν ασθενικές νευρωνικές αποκρίσεις. Οι συμπεριφορικές μελέτες του ΚΑΑ συχνά περιορίζονται στη χρήση ερεθισμάτων λόγου και εστιάζουν κυρίως στην εισαγωγή θορύβου στο ακουστικό κανάλι. Στην παρούσα μελέτη εξετάσαμε πρώτα τον ΚΑΑ συμπεριφορικά, εισάγοντας τεχνητό θόρυβο και στα δύο κανάλια ενός οπτικοακουστικού ερεθίσματος λόγου. Χρησιμοποιήσαμε ακουστικές, οπτικές και οπτικοακουστικές παρουσιάσεις τριών συλλαβών (/ ba /, / fa /, / tha /) σε διαφορετικά επίπεδα θορύβου και συνδυασμούς θορύβου, ενώ οι συμμετέχοντες εκτέλεσαν ένα έργο ταυτοποίησης συλλαβών. Το πολυαισθητηριακό όφελος υπολογίστηκε με τέσσερις διαφορετικούς δείκτες. Σύμφωνα με το δείκτη Αντίθεσης, το όφελος ελαχιστοποιήθηκε όταν ο ακουστικός θόρυβος μεγιστοποιήθηκε, ανεξάρτητα από τον οπτικό θόρυβο, για τη συλλαβή / ba /, ενώ δεν παρατηρήθηκαν διαφορές για τα / fa / και / tha /. Σύμφωνα με το δείκτη Απόλυτης Διαφοράς (σε %), συνδυασμοί υψηλών επιπέδων ακουστικού και χαμηλών επιπέδων οπτικού θορύβου οδήγησαν σε μέγιστο κέρδος για τα / ba / και / fa /, ενώ για το / tha / το όφελος μεγιστοποιήθηκε όταν και τα δύο κανάλια είχαν χαμηλά επίπεδα θορύβου. Τέλος, σύμφωνα με τους δείκτες Πολυαισθητηριακής Ενοποίησης και Απόλυτης Διαφοράς το όφελος ελαχιστοποιήθηκε στα μέγιστα επίπεδα ακουστικού θορύβου για το / ba / αλλά όχι για τα / fa / και / tha /. Έτσι, ο ΚΑΑ επαληθεύτηκε μόνο για ορισμένους από τους δείκτες και τα ερεθίσματα που χρησιμοποιήθηκαν αλλά όχι συνολικά, ενισχύοντας τη συζήτηση σχετικά με την εγκυρότητα του ΚΑΑ στο συμπεριφορικό επίπεδο. Στη συνέχεια, εξετάσαμε τον τρόπο με τον οποίο ο ΚΑΑ αλληλεπιδρά με τον χρονικό κανόνα (ο οποίος προβλέπει ότι σήματα που παρουσιάζονται κοντά στο χρόνο είναι πιο πιθανό να ενοποιηθούν) της πολυαισθητηριακής ενοποίησης. Στο Πείραμα 2 παρουσιάστηκαν τα οπτικοακουστικά ερεθίσματα που οδήγησαν στο υψηλότερο και το χαμηλότερο πολυαισθητηριακό όφελος από το Πείραμα 1, σε διαφορετικά επίπεδα ασυγχρονίας μεταξύ των δύο καναλιών. Τα αποτελέσματα από το έργο κρίσης χρονικής σειράς έδειξαν ότι οι συμμετέχοντες είχαν υψηλότερη ανοχή στην ασυγχρρονία μεταξύ οπτικού και ακουστικού καναλιού για ερεθίσματα υψηλού οφέλους σε σύγκριση με ερεθίσματα χαμηλού οφέλους. Συνολικά, τα ευρήματα αυτά υποδηλώνουν ότι το μέγεθος του πολυαισθητηριακού οφέλους και το εύρος του χρονικού παραθύρου ενοποίησης αλληλεπιδρούν συναρτήσει της αποτελεσματικότητας των ακουστικών και οπτικών καναλιών ενός ερεθίσματος λόγου.","One of the most fundamental principles of multisensory integration is that of inverse effectiveness (IE), whereby multisensory gain is maximized when the unisensory components of an event evoke weak neuronal responses. Behavioral investigations of IE are often limited to the use of speech stimuli and focus mostly on the artificial degradation of the auditory stream. Here, we first examined IE behaviorally by implementing naturalistic degradation in both streams of an audiovisual speech signal. We used auditory, visual, and audiovisual presentations of three syllables (/ba/, /fa/, /tha/) at different levels of noise and noise combinations, while participants performed a syllable-identification task. Multisensory gain was calculated with four different indices. For the Contrast index, gain was minimized when the auditory stream was of the highest noise independent of visual noise for the syllable /ba/, while no differences were noted for /fa/ and /tha/. For the Absolute Difference (in %) index, combinations of high auditory and low visual noise levels led to a maximum gain for /ba/ and /fa/, while for /tha/, maximum gain was obtained when both streams were of low noise. For the Multisensory Integration and Absolute Difference indices, gain was minimized when the auditory stream was of the highest noise for /ba/ but not for /fa/ and /tha/. Thus, the IE effect was verified only for some of the indices and stimuli utilized but not for all, thus adding to the discussion of the validity of the IE at a behavioral level. Subsequently, we examined how IE interacts with the temporal rule (i.e., signals presented close in time are more likely to be integrated) of multisensory integration. In Exp. 2, we presented the audiovisual stimuli that led to the highest and lowest multisensory gain from Exp. 1 at different stimulus onset asynchronies. Participants’ temporal order judgments showed a higher asynchrony tolerance when high gain stimuli were presented as compared to low gain audiovisual pairs. Taken together, these findings suggest that the magnitude of multisensory gain and the width of the temporal window of integration interact as a function of the effectiveness levels of the auditory and visual streams of the speech event."],"dc:identifier":["uoadl:2856714","https://pergamos.lib.uoa.gr/uoa/dl/object/2856714"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Behavioral validation of inverse effectiveness and the interactions with the temporal rule of multisensory integration"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:33:40Z"}